深度學(xué)習在眼科，皮膚科，放射科和病理學(xué)等醫(yī)學(xué)學(xué)科的應(yīng)用最近顯示出巨大的前景，可以為全世界患者提高高質(zhì)量醫(yī)療保健的準確性和可用性。谷歌的報告同樣說明，卷積神經(jīng)網(wǎng)絡(luò)能夠在一定程度上準確地檢測淋巴結(jié)中的乳腺癌轉(zhuǎn)移，其水平能夠媲美經(jīng)過專業(yè)訓(xùn)練的病理學(xué)家。但通過復(fù)合光學(xué)顯微鏡進行直接的組織可視化仍然是病理學(xué)家診斷疾病的主要手段，所以影響病理學(xué)廣泛采用深度學(xué)習的關(guān)鍵障礙是：微觀組織的數(shù)字可視化。

在今天舉行的美國癌癥研究協(xié)會年度會議上，谷歌的科學(xué)家公布了一份名為“An Augmented Reality Microscope for Real-time Automated Detection of Cancer”的論文，他們描述了一個增強現(xiàn)實顯微鏡（Augmented Reality Microscope，ARM）平臺，并認為這可以幫助加速全世界的病理學(xué)家采用深度學(xué)習工具。這個平臺由改進的光學(xué)顯微鏡組成，支持實時圖像分析，并且能將機器學(xué)習算法的結(jié)果直接渲染在視場之中。重要的是，谷歌的ARM平臺可以通過低成本，易于使用的組件來集成到各個醫(yī)院和診所中現(xiàn)有的光學(xué)顯微鏡，同時不需要分析整個組織的數(shù)字化版本。

現(xiàn)代計算組件和深度學(xué)習模型將支持大范圍的預(yù)訓(xùn)練模型運行在這一平臺。在傳統(tǒng)的模擬顯微鏡中，用戶主要是通過目鏡觀察樣品。機器學(xué)習算法能夠?qū)⑤敵鰧崟r投影回光路，數(shù)字投影將疊加在樣本的原始（模擬）圖像上，從而幫助用戶定位或量化目標特征。重要的是，計算和視覺反饋能夠迅速更新，速度約為每秒10幀，所以模型輸出能夠?qū)崿F(xiàn)無縫更新。

左圖：ARM的示意圖。數(shù)碼相機能夠捕捉與用戶相同的視場，并將圖像傳送到能夠運行機器學(xué)習模型實時參考的附加計算單元。結(jié)果將反饋到一個自定義的，與目鏡一致的AR顯示屏中，并將模型輸出投影到與顯微鏡玻璃片相同的平面上。右圖：谷歌原型已改裝成典型的臨床級光學(xué)顯微鏡。

原則上，ARM可以提供各種視覺反饋，包括文本，箭頭，輪廓，熱圖或動畫，并且能夠運行多種類型的機器學(xué)習算法以解決不同的問題，如對象檢測，量化或分類。

為了展示ARM的潛在用途，谷歌將其配置為運行兩種不同的癌癥檢測算法：一種檢測淋巴結(jié)標本中的乳腺癌轉(zhuǎn)移；另一種檢測前列腺切除標本中的前列腺癌。模型可以在4-40倍的放大倍數(shù)下運行，并且通過綠色輪廓來突出檢測到的腫瘤區(qū)域，從來顯示給定模型的結(jié)果。綠色輪廓有助于將病理學(xué)家的注意力吸引到相關(guān)區(qū)域，同時不會掩蓋潛在的腫瘤細胞外觀。

上圖：通過ARM透鏡觀察到的示例視圖，其顯示了4倍，10倍，20倍和40倍顯微鏡物鏡下的淋巴結(jié)轉(zhuǎn)移模型。

在最初的訓(xùn)練中，兩種癌癥模型采用了搭載明顯不同光學(xué)配置的全視野數(shù)字切片掃描儀圖像，但即便沒有額外的重新培訓(xùn)，模型在ARM上的表現(xiàn)都十分優(yōu)秀。例如，淋巴結(jié)轉(zhuǎn)移模型的曲線下面積（AUC）為0.98，而在ARM上運行時，谷歌前列腺癌模型在視場中的癌癥檢測AUC為0.96，性能略低于WSI（全視野數(shù)字化切片）。谷歌表示，通過利用直接從ARM獲取的數(shù)字圖像進行額外訓(xùn)練，他們可以進一步提高模型的性能。

谷歌表示，他們相信ARM有潛力對全球健康帶來重大的積極作用，特別是對發(fā)展中國家中傳染病的診斷，如肺結(jié)核和瘧疾。另外，對于正在采用數(shù)字病理工作流程，但其掃描儀仍然面臨重大挑戰(zhàn)或需要快速結(jié)果的醫(yī)院而言，ARM同樣能夠發(fā)揮重要的作用。當然，光學(xué)顯微鏡在病理學(xué)以外的很多行業(yè)都已經(jīng)證明了自己的作用，而ARM可以廣泛適用于醫(yī)療保健，生命科學(xué)研究和材料科學(xué)等應(yīng)用。谷歌進一步指出，他們對進一步探索ARM如何能加速機器學(xué)習的普及來積極地影響世界感到十分興奮。