多年來，許多人工智能發(fā)燒友和研究人員一直承諾，機(jī)器學(xué)習(xí)將改變現(xiàn)代醫(yī)學(xué)。已經(jīng)開發(fā)了成千上萬種算法來診斷癌癥，心臟病和精神病等疾病。現(xiàn)在，正在通過識別肺部CT掃描和X射線圖像中的模式來訓(xùn)練算法來檢測COVID-19。

這些模型中的許多模型旨在預(yù)測哪些患者的結(jié)局最嚴(yán)重，哪些患者需要呼吸機(jī)。激動是顯而易見的。如果這些模型是準(zhǔn)確的，它們可以為醫(yī)生提供測試和治療患者的巨大優(yōu)勢。

但是，使用AI輔助藥物治療真正的COVID-19患者的吸引力似乎還很遙遠(yuǎn)。世界各地的一組統(tǒng)計(jì)學(xué)家都對絕大多數(shù)機(jī)器學(xué)習(xí)模型的質(zhì)量以及如果醫(yī)院盡快采用它們可能造成的危害表示關(guān)注。

“ ［它］使我們很多人感到恐懼，因?yàn)槲覀冎揽梢允褂媚Ｐ蛠碜龀鲠t(yī)療決定，”荷蘭烏得勒支大學(xué)醫(yī)學(xué)中心的醫(yī)學(xué)統(tǒng)計(jì)學(xué)家Maarten van Smeden說。“如果模型不好，他們可能會使醫(yī)療決策更糟。因此它們實(shí)際上可以傷害患者。”

Van Smeden與一大批國際研究人員共同領(lǐng)導(dǎo)一個項(xiàng)目，以使用標(biāo)準(zhǔn)化標(biāo)準(zhǔn)評估COVID-19模型。該項(xiàng)目是BMJ的首次現(xiàn)場審查，這意味著他們的40名審查員（并且正在不斷增長）的團(tuán)隊(duì)將在發(fā)布新模型時(shí)積極更新其審查。

到目前為止，他們對COVID-19機(jī)器學(xué)習(xí)模型的評論并不理想：他們嚴(yán)重缺乏數(shù)據(jù)，并且缺乏來自廣泛研究領(lǐng)域的必要專業(yè)知識。但是，新的COVID-19算法面臨的問題根本就不是新問題：醫(yī)學(xué)研究中的AI模型已經(jīng)存在嚴(yán)重缺陷，多年來，van Smeden等統(tǒng)計(jì)學(xué)家一直試圖發(fā)出警告以扭轉(zhuǎn)局勢。

折磨數(shù)據(jù)

在COVID-19大流行之前，范德比爾特大學(xué)的生物統(tǒng)計(jì)學(xué)家弗蘭克·哈雷爾（Frank Harrell）環(huán)游全國，與醫(yī)學(xué)研究人員就當(dāng)前醫(yī)學(xué)AI模型的廣泛問題進(jìn)行了討論。他經(jīng)常借用著名經(jīng)濟(jì)學(xué)家的話來描述這個問題：醫(yī)學(xué)研究人員正在使用機(jī)器學(xué)習(xí)來“折磨他們的數(shù)據(jù)，直到吐出口供為止”。

這些數(shù)字證明了Harrell的主張，這表明絕大多數(shù)醫(yī)學(xué)算法幾乎不符合基本質(zhì)量標(biāo)準(zhǔn)。2019年10月，由英國伯明翰大學(xué)的劉曉軒和Alastair Denniston領(lǐng)導(dǎo)的一組研究人員發(fā)表了第一個系統(tǒng)綜述，旨在回答這一時(shí)髦卻難以捉摸的問題：機(jī)器在診斷患者方面是否能比患者更好甚至更好？人類醫(yī)生？他們得出的結(jié)論是，從醫(yī)學(xué)成像檢測疾病時(shí)，大多數(shù)機(jī)器學(xué)習(xí)算法都可以與人類醫(yī)生媲美。然而，還有另一個更健壯和令人震驚的發(fā)現(xiàn)-自2012年以來，在發(fā)表的關(guān)于疾病檢測算法的總共20，530項(xiàng)研究中，只有不到1%的方法學(xué)嚴(yán)謹(jǐn)性足以納入其分析。