各平臺和其他互聯(lián)網(wǎng)參與者使用自動程序?qū)ζ湎到y(tǒng)上的非法內(nèi)容進(jìn)行處理，如仇恨言論或恐怖主義內(nèi)容。他們還使用相同的技術(shù)來要求其用戶強(qiáng)制執(zhí)行自己的自愿服務(wù)條款，以維護(hù)網(wǎng)絡(luò)環(huán)境的穩(wěn)定性和吸引力。

來自監(jiān)管部門的壓力，要求更多地依賴自動化來進(jìn)行內(nèi)容刪除，這有可能會削弱網(wǎng)絡(luò)空間的合法性。

由“民主與科技中心(Center for Democracy and Technology)”在布魯塞爾主辦的小組討論會中，我講述了AI驅(qū)動的內(nèi)容檢測技術(shù)的功能和局限性。其他小組成員包括現(xiàn)在就職于標(biāo)普全球公司(S&P Global)的Armineh Nourbakhsh，她講述了在路透社協(xié)助開發(fā)的Tracer工具，然后在“民主與科技中心”就職的Emma Llansó講述了她最近參與合著的論文《混合信息?自動社交媒體內(nèi)容分析的局限性》。來自歐盟委員會的Prabhat Agarwal提出了一個富有洞察力的決策者觀點。

各平臺和其他互聯(lián)網(wǎng)參與者使用自動程序?qū)ζ湎到y(tǒng)上的非法內(nèi)容進(jìn)行處理，如仇恨言論或恐怖主義內(nèi)容。他們還使用相同的技術(shù)來要求其用戶強(qiáng)制執(zhí)行自己的自愿服務(wù)條款，以維護(hù)網(wǎng)絡(luò)環(huán)境的穩(wěn)定性和吸引力。最后，有一種中間類型的內(nèi)容，它不僅不吸引人，本身并不完全違法，但它是有害的，需要加以控制。虛假消息傳播活動就屬于這一類。

來自政府的壓力要求使用自動化系統(tǒng)，這一情況日益增長

現(xiàn)在我們討論將這些內(nèi)容自動刪除的原因不僅僅是在技術(shù)上的。政策制定者非常關(guān)注用于內(nèi)容檢測的系統(tǒng)的有效性，并且正在推動平臺來做越來越多的工作。有時這會滲透到監(jiān)管的法規(guī)要求中。

最近歐盟宣布的防止網(wǎng)上恐怖主義內(nèi)容的試行條例就是一個很好的例子。人們非常關(guān)注于該條例，其允許歐盟成員國的國家主管機(jī)關(guān)來要求各個平臺在收到通知后一小時內(nèi)刪除特定的恐怖主義內(nèi)容。但更令人擔(dān)憂的是，該條例要求各平臺采取“主動措施”，以便從一開始就防止恐怖主義內(nèi)容出現(xiàn)在平臺上。由于主動措施是一些針對恐怖主義內(nèi)容的自動屏蔽系統(tǒng)，因此該試行條例明顯削弱了當(dāng)前電子商務(wù)指令的效力，以強(qiáng)制監(jiān)測系統(tǒng)擔(dān)負(fù)起監(jiān)督恐怖主義內(nèi)容。更糟糕的是，如果某一家公司收到過多的刪除指令，卻無法與監(jiān)管機(jī)構(gòu)所設(shè)計的改進(jìn)目標(biāo)達(dá)成一致，則該公司可能需要部署和維護(hù)監(jiān)管機(jī)構(gòu)所指定的某個自動內(nèi)容刪除系統(tǒng)。

需要采取保護(hù)措施以使內(nèi)容刪除決定變得公平

內(nèi)容刪除決定必須有明確的標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)必須透明，以便用戶對超出范圍和可接受范圍能形成預(yù)期。此外，需要對單個內(nèi)容刪除決定進(jìn)行解釋，這一決定應(yīng)說明觸發(fā)該決定的內(nèi)容的特定特征或方面。最后，因為沒有一個系統(tǒng)是完美的，所以需要一個補(bǔ)救機(jī)制，以便在內(nèi)容被錯誤刪除后能夠恢復(fù)。作為一個榜樣，請看看美國信貸業(yè)的做法，他們數(shù)代人將這些透明度、解釋說明和補(bǔ)救機(jī)制融入其工作中。

出于EmmaLlansó在她的論文中概述的原因，單純依靠自動化系統(tǒng)進(jìn)行內(nèi)容刪除是錯誤的。由于錯誤率太高，所以始終需要人工審查以確保在內(nèi)容刪除之前充分考慮其內(nèi)容的上下文和含義。

這些自動化系統(tǒng)具有積極且有益的作用

首先，這些系統(tǒng)可用于非常具體和有價值的目的。Armineh說道，由路透社開發(fā)的Tracer系統(tǒng)可掃描Twitter以發(fā)現(xiàn)一些突發(fā)新聞故事，并將其傳遞給路透社的編輯和記者進(jìn)行審查。該系統(tǒng)可檢測到大多數(shù)(但并非全部)的虛假謠言和故意誤導(dǎo)內(nèi)容，并只傳遞這些極有可能具有新聞價值的內(nèi)容，從而使記者能夠更有效地工作。然而，即使在路透社，也需要采取保護(hù)措施，以避免例如特定來源或用戶的信息被分析。

第二個重要用途是篩選可能需要刪除的內(nèi)容。當(dāng)系統(tǒng)在現(xiàn)代社交網(wǎng)絡(luò)的范圍內(nèi)運行時，對所有潛在有害內(nèi)容進(jìn)行人工審查是根本不可能的。自動化系統(tǒng)可以提供一個可管理的問題內(nèi)容列表，以供人工審閱者來確定是否刪除。

最后，自動系統(tǒng)可以非常有效地防止上傳那些先前已被識別并刪除的內(nèi)容。該模型可有效地應(yīng)用于兒童色情圖片，并通過一個自動內(nèi)容識別系統(tǒng)來防止未經(jīng)授權(quán)來上傳受版權(quán)保護(hù)的內(nèi)容。

前進(jìn)的道路上我們可采取公私合作伙伴關(guān)系

對于自動內(nèi)容刪除的擔(dān)憂并不意味著會削弱從在線系統(tǒng)中刪除危險內(nèi)容的一般性主張，鑒于恐怖主義的嚴(yán)重挑戰(zhàn)，刪除危險內(nèi)容是一個極為緊迫的問題。但是，我們必須著眼未來以及我們的迫切需要，并應(yīng)謹(jǐn)慎建立保障措施，以防止在極為不同的政治環(huán)境中濫用任何新的監(jiān)管權(quán)力，而在這種情況下，風(fēng)險可能是來自政府機(jī)構(gòu)的過度干預(yù)。

在前進(jìn)的道路上我們要認(rèn)識到，所面對的問題要比技術(shù)更嚴(yán)重。恐怖主義事件來自技術(shù)行業(yè)沒有形成且不能自行改善的基礎(chǔ)社會、政治和經(jīng)濟(jì)過程中。但是，他們的體系不應(yīng)該被用來使問題變得更糟，他們的內(nèi)容刪除工作將從公私合作伙伴關(guān)系中受益，這種公私合作關(guān)系依賴于政府提供信息和引薦以及召集行業(yè)參與者來制定和實施行業(yè)最佳實踐。

然而，一個重大的危險是政策制定者似乎愿意忽視錯誤的實際成本，很明顯，他們認(rèn)為，只要能成功地刪除危險內(nèi)容，犯錯誤就是值得的。畢竟，他們似乎認(rèn)為，各平臺總能恢復(fù)那些因錯誤而被刪除的內(nèi)容。

這種觀點忽視了許多在線交流內(nèi)容的時效性，在這種情況下，花費幾周甚至幾天后所恢復(fù)的內(nèi)容是毫無意義的。而且，所涉及的錯誤范圍很容易被低估。數(shù)十億次使用中的一個很小的錯誤率可能意味著不是數(shù)百，不是數(shù)千，而是數(shù)億次的錯誤。綜合起來，隨著時間的推移，這個錯誤的量級將損害這些體系的可信性和合法性，使其失去多種合法政治話語權(quán)的好處。