惡性腫瘤作為一種復(fù)雜且兇險(xiǎn)的疾病，近年來呈現(xiàn)出年輕化、發(fā)病率上升的態(tài)勢,，是威脅人類健康的“頭號殺手”。隨著國家醫(yī)療水平的提升和居民健康意識的增強(qiáng)，癌癥的篩查和診斷逐漸受到重視,，隨之而來的是病理科等科室醫(yī)生日益飽和的工作量和驟升的診斷壓力。

面向臨床病理診斷的真需求,，從2020年起,，浙江大學(xué)計(jì)算機(jī)學(xué)院宋明黎教授團(tuán)隊(duì)聯(lián)合浙江大學(xué)附屬第一醫(yī)院章京教授團(tuán)隊(duì)，依托豐富的數(shù)據(jù)和算力資源,，組建起一支計(jì)算機(jī)+醫(yī)學(xué)的學(xué)科交叉團(tuán)隊(duì),，致力于用AI技術(shù)賦能臨床精準(zhǔn)診斷，提高醫(yī)生工作效率和醫(yī)療質(zhì)量,。

近日,，團(tuán)隊(duì)發(fā)布視覺與語言模型融合的AI病理助手——OmniPT。該病理助手已在浙大一院病理科多個(gè)高發(fā)病率癌癥開展臨床驗(yàn)證,，1-3秒內(nèi)就能鎖定病理圖中癌癥病灶,。

今天，讓我們一起走進(jìn)他們的故事,，了解他們?nèi)绾螢榘┌Y診斷裝上智能“大腦”,。

讓機(jī)器“聽懂”醫(yī)生的話

對于計(jì)算機(jī)背景的宋明黎團(tuán)隊(duì)來說，學(xué)習(xí)基礎(chǔ)的醫(yī)學(xué)知識,、理解病理學(xué)的復(fù)雜性和多樣性是開展交叉研究的第一大挑戰(zhàn),。

“與普通X光或CT的讀片相比，病理診斷的難度在于依據(jù)復(fù)雜多樣的關(guān)鍵組織結(jié)構(gòu)進(jìn)行精準(zhǔn)定性及定量分析,。”浙大一院病理科副主任醫(yī)師張秀明介紹,，癌癥組織的單個(gè)切片雖然只有指甲蓋大小，但多切片的掃描圖像有著驚人的尺寸——數(shù)10億像素,，是手機(jī)照片的數(shù)千倍,。

上億個(gè)細(xì)胞圖像背后隱藏著無數(shù)的生命信息和醫(yī)學(xué)奧秘。醫(yī)生在分析病理切片時(shí),，需要耗費(fèi)大量時(shí)間觀察微觀細(xì)節(jié),，在長期讀片的工作中,，容易出現(xiàn)視覺疲勞。而且早期癌癥的病變細(xì)胞數(shù)量少,，漏診也是醫(yī)生們最為擔(dān)心的問題之一,。

AI助手的加入，無疑為病理科醫(yī)生和病人們來了新的希望,。宋明黎團(tuán)隊(duì)研讀大量的醫(yī)學(xué)文獻(xiàn),，與章京團(tuán)隊(duì)長期深入交流，逐漸構(gòu)建起病理學(xué)的知識框架,。

然而,，如何將人類的知識理念轉(zhuǎn)化為機(jī)器能夠“聽”得懂的語言？

團(tuán)隊(duì)成員們歸納癌癥病理結(jié)構(gòu)的形態(tài)特征,，在圖像上進(jìn)行精細(xì)的標(biāo)注和分類,，反復(fù)打磨細(xì)胞檢測、組織分割等算法工具,，磨合人-機(jī)的溝通方式,，4年間，從無到有建立起多個(gè)癌癥病種的診斷分析專用模型,，OmniPT就此誕生,。

為了提高推理效率，OmniPT在處理超大尺寸病理圖像時(shí)采用了一種跨層級的快速鎖定技術(shù)：先抓取大范圍的可疑區(qū)域,，再對這些可疑部分逐級放大,，分析細(xì)節(jié)。

軟件學(xué)院副教授馮尊磊說,，這種“抓重點(diǎn)”的讀圖模式模仿了病理科醫(yī)生在臨床診斷時(shí)的思路,，實(shí)現(xiàn)病理智能診斷分析效率的大幅提升。人工耗時(shí)至少10多分鐘分析的圖像,，OmniPT只需要1-3秒就能快速鎖定病灶區(qū)域,。

經(jīng)過無數(shù)次的嘗試和優(yōu)化，OmniPT突破了超大尺寸病理圖秒級推理,、精準(zhǔn)分析的難題,，在胃癌、結(jié)直腸癌和宮頸癌等十余個(gè)高發(fā)病率癌種上取得了95%以上診斷準(zhǔn)確性,，為病理科醫(yī)生帶來了強(qiáng)大的助力,，也為患者爭取到了更快、更準(zhǔn)的診斷結(jié)果,。

人機(jī)交互,，助力科研

“OmniPT的設(shè)計(jì)也充分考慮了醫(yī)生的使用習(xí)慣和需求，融入了文本和視覺的強(qiáng)對齊功能。”馮尊磊說,，這使它更像是一位懂得“察言觀色”的智能伙伴。

醫(yī)生可以通過輸入文本或框選圖像的方式,，快速標(biāo)注出需要重點(diǎn)關(guān)注的區(qū)域,，跨層級的高效特征鎖定技術(shù)為醫(yī)生和OmniPT之間搭建了一座溝通的橋梁，實(shí)現(xiàn)了真正的人機(jī)“交流”,。醫(yī)生可以隨心所欲地引導(dǎo)OmniPT,，讓它聚焦于自己關(guān)心的每一個(gè)細(xì)節(jié)，使讀片診斷變得更加智能,、更具針對性,。

腫瘤標(biāo)志物作為癌癥診斷和治療監(jiān)測的重要生物指標(biāo)，其表達(dá)水平與腫瘤的生物學(xué)行為及臨床預(yù)后具有相關(guān)性,，可為個(gè)體化治療方案的選擇提供重要參考依據(jù),。OmniPT通過其高性能計(jì)算分析能力，對細(xì)胞形態(tài)學(xué)特征和組織結(jié)構(gòu)特征進(jìn)行定量解析,，從大規(guī)模高分辨率病理圖中成功識別出多個(gè)具有潛在臨床應(yīng)用價(jià)值的新型腫瘤標(biāo)志物,。“這些標(biāo)志物在腫瘤的早期診斷、分型及預(yù)后評估中具有重要價(jià)值,。”張秀明說,。

此外，OmniPT還揭示了這些標(biāo)志物與腫瘤發(fā)生,、發(fā)展之間的潛在關(guān)聯(lián),，為腫瘤的診斷、治療和藥物設(shè)計(jì)提供了新的思路和方法,，為未來的科研工作奠定了堅(jiān)實(shí)的基礎(chǔ),。

構(gòu)建智能化病理生態(tài)

“我們的這項(xiàng)工作將助力推動臨床診療指南的更新，為指南的制定提供更加科學(xué),、系統(tǒng)的依據(jù),。”馮尊磊說，這有助于提高診療的規(guī)范性和有效性,，為患者帶來更好的治療效果,。

AI醫(yī)生是否會取代人類醫(yī)生？

面對這一備受關(guān)注的問題,，團(tuán)隊(duì)成員們給出了答案：不會,。OmniPT的定位非常清晰，在醫(yī)療診斷中它只是醫(yī)生的助手,。“醫(yī)學(xué)是一門復(fù)雜的學(xué)科,，醫(yī)生是診斷的責(zé)任主體，數(shù)據(jù)和算法固然重要,，但最終還是需要回歸到醫(yī)生的經(jīng)驗(yàn)和判斷,。”章京說,。

對于未來，宋明黎團(tuán)隊(duì)有著更加長遠(yuǎn)的規(guī)劃和愿景,。依托于工信部和國家藥監(jiān)局聯(lián)合審批的數(shù)字病理人工智能醫(yī)療器械臨床試驗(yàn)中心,，他們希望通過OmniPT的臨床應(yīng)用和底層數(shù)字病理掃描設(shè)備的結(jié)合，深度推動病理科的高效,、精準(zhǔn)診斷分析,。同時(shí)，他們還計(jì)劃將OmniPT拓展到更多癌種及非腫瘤疾病中,，構(gòu)建一個(gè)智能化的病理生態(tài),。

“我們的目標(biāo)是構(gòu)建一個(gè)智能化的病理生態(tài)。”宋明黎說,，“在這個(gè)生態(tài)中,，AI技術(shù)將與醫(yī)學(xué)知識深度融合，為醫(yī)生提供更加便捷,、高效的輔助工具,。同時(shí)，我們也希望這個(gè)生態(tài)能夠推動醫(yī)學(xué)的進(jìn)步和發(fā)展,，為患者帶來更好的治療效果和生活質(zhì)量,。”

從組建團(tuán)隊(duì)到研發(fā)OmniPT

從拓展應(yīng)用領(lǐng)域

到構(gòu)建智能化病理生態(tài)

宋明黎團(tuán)隊(duì)用他們的智慧和汗水

書寫了一段傳奇

他們不僅為癌癥診斷

裝上了智能“大腦”

更為醫(yī)學(xué)的進(jìn)步和發(fā)展

注入了新的活力

來源：浙江大學(xué)官微