前言：6年前，微軟推出智能聊天機器人Tay，因她從不良用戶那里“學壞”，小姑娘只好被下線結(jié)束了短暫的生命。最近，微軟投資OpenAI推出了ChatGPT，它在安全性上一定大有改善，但是人工智能帶來的安全風險有很多未知數(shù)，在這篇文章中提出了他對ChatGPT安全問題的見解，這對用戶、廠商、監(jiān)管部門都很有參考價值，CSA大中華區(qū)專家們快速將此文翻譯為中文，希望也懂中文的ChatGPT能在中外都經(jīng)受考驗成為人們的終生聊天好伙伴。 李雨航 Yale Li CSA 大中華區(qū)主席兼研究院院長 ?

ChatGPT 是 OpenAI 開發(fā)的大型語言模型。它使用機器學習技術(shù)根據(jù)接收到的輸入生成類似人類的文本。它在人工生成的大量文本數(shù)據(jù)集上進行訓練，可以針對各種自然語言處理任務(wù)進行微調(diào)，例如：語言翻譯、對話生成和問答。ChatGPT 可用于在聊天機器人應(yīng)用程序和自動化客戶服務(wù)交互中生成類似人類的響應(yīng)。然而，它的功能也使其成為尋求便于網(wǎng)絡(luò)攻擊的惡意行為者的潛在工具。

向ChatGPT提出了四個問題，其目的是創(chuàng)建一份報告草案，從四個方面討論 ChatGPT對安全的影響：ChatGPT如何被惡意行為者用來網(wǎng)絡(luò)攻擊？企業(yè)如何使用 ChatGPT 改進網(wǎng)絡(luò)安全計劃？ChatGPT 如何被直接攻擊而產(chǎn)生不正確或其他不好的結(jié)果？我們?nèi)绾问蛊髽I(yè)能夠安全地使用ChatGPT？以下是由ChatGPT生成的回答。

01、ChatGPT 如何被惡意行為者用來網(wǎng)絡(luò)攻擊?

惡意行為者可能會使用 ChatGPT 或類似的語言模型通過以下幾種方式提高其網(wǎng)絡(luò)攻擊的有效性：

1.社會工程：通過使用來自社交媒體或其他來源的大量文本數(shù)據(jù)訓練模型，攻擊者可以使用它生成極具說服力的網(wǎng)絡(luò)釣?電子郵件或消息，旨在誘騙受害者泄露敏感信息。

2.撞庫攻擊：攻擊者可以使用語言模型生成大量可用于對在線帳戶進行自動攻擊的潛在用戶名和密碼組合進行撞庫攻擊。

3.垃圾郵件和虛假信息：惡意行為者可以使用語言模型來生成大量旨在影響公眾輿論或傳播錯誤信息的垃圾郵件或虛假信息。

4.生成惡意軟件：利用自然語言編寫的能力，攻擊者可以使用 ChatGPT 編寫惡意軟件說明和指令，從而逃避防病毒軟件的檢測。

5.創(chuàng)建虛假社交媒體資料或聊天機器人帳戶：惡意行為者可以使用ChatGPT從受害者那里收集敏感信息，這些虛假資料可用于冒充真實的人或組織來誘騙受害者提供個人信息，例如登錄憑據(jù)或信用卡號。

6.生成旨在操縱或欺騙受害者的自動消息：惡意行為者可以使用ChatGPT 在社交媒體或論壇上生成數(shù)千條自動消息，傳播虛假信息或宣傳以影響公眾輿論或破壞政治活動。 請務(wù)必注意，這些只是如何在攻擊中使用ChatGPT語言模型的可能示例，單獨使用語言模型無法執(zhí)行任何這些操作，但它可以輔助攻擊者自動化和提高攻擊的有效性。

02、企業(yè)如何使用 ChatGPT 改進網(wǎng)絡(luò)安全計劃?

企業(yè)可以使用 ChatGPT 或類似的語言模型以多種方式改進其網(wǎng)絡(luò)安全計劃：

1.釣?檢測：通過訓練釣?郵件的語言模型和消息，分析傳入的電子郵件和消息的文本與已知網(wǎng)絡(luò)釣?示例的相似之處，企業(yè)可以使用它來檢測新的網(wǎng)絡(luò)釣?嘗試。

2.密碼破解：企業(yè)可以使用語言模型生成潛在的密碼組合，可用于測試自己密碼的強度或識別需要更改的弱密碼。

3.惡意軟件檢測：企業(yè)可以使用語言模型來分析惡意軟件的說明和指令，以識別惡意軟件中 常用的語言模式，這有助于檢測新的惡意軟件變體。

4.網(wǎng)絡(luò)威脅情報：企業(yè)可以使用語言模型來分析來自各種來源 ?(例如：社交媒體)的大量文本數(shù)據(jù)，以識別潛在的網(wǎng)絡(luò)威脅并了解攻擊者使用的戰(zhàn)術(shù)、技術(shù)和程序（TTP）。

5.自動事件響應(yīng)：可以使用語言模型生成對某些類型的網(wǎng)絡(luò)事件的自動響應(yīng)，例如：阻止 IP 地址或關(guān)閉服務(wù)。 需要注意的是，這些只是如何使用語言模型來提高網(wǎng)絡(luò)安全的示例，它不是靈丹妙藥，它應(yīng)該與其他網(wǎng)絡(luò)安全工具和最佳實踐結(jié)合使用。

像 ChatGPT 這樣的工具可以通過幾種方式幫助記錄信息安全管理程序：

1.生成策略模板：ChatGPT可以在現(xiàn)有信息上對安全策略和法規(guī)進行訓練，生成合規(guī)的策略模板以符合特定標準，例如：ISO 27001 或 HIPAA。這可以為企業(yè)節(jié)省時間和資源。

2.自動更新政策：ChatGPT 可用于自動更新政策以響應(yīng)法規(guī)或行業(yè)標準的變化。

3.一致性和標準化：ChatGPT 有助于確保所有信息安全政策和程序的一致性和標準化。

4.生成事件響應(yīng)計劃：ChatGPT 可以針對事件對響應(yīng)最佳實踐和模板進行訓練，以生成可定制的事件響應(yīng)計劃以滿足企業(yè)的特定需求。

5.合規(guī)文檔：ChatGPT針對合規(guī)培訓要求和行業(yè)標準進行訓練，以協(xié)助生成合規(guī)性文件。

需要注意的是：雖然 ChatGPT 可以幫助記錄信息安全管理程序，但不應(yīng)將其用作人類專業(yè)知 識和判斷的替代品。模型生成的方針政策和程序應(yīng)由具有特定標準或法規(guī)專業(yè)知識的合格專業(yè)人員審查和批準。此外，組織應(yīng)該有一個流程來隨著企業(yè)和威脅形勢的變化不斷審查和更新方針政策和程序。

企業(yè)應(yīng)該具備許多不同類型的信息安全策略來保護敏感數(shù)據(jù)和系統(tǒng)。其中最重要的包括：

1. 訪問控制策略：該政策介紹了僅允許獲得授權(quán)的個人訪問敏感信息和系統(tǒng)的程序和控制措施。

2. 事件響應(yīng)策略：該策略介紹了企業(yè)在發(fā)生數(shù)據(jù)泄露或網(wǎng)絡(luò)攻擊等安全事件時將采取的步驟。

3. 數(shù)據(jù)分類策略：該策略定義了企業(yè)處理的不同類型的數(shù)據(jù)，例如機密、個人或公共數(shù)據(jù)，以及每種類型數(shù)據(jù)所需的保護級別。

4. 密碼策略：該策略介紹了創(chuàng)建和管理強密碼的要求，例如長度、復雜度和有效期。

5. 網(wǎng)絡(luò)安全策略：該策略介紹了企業(yè)為保護其網(wǎng)絡(luò)基礎(chǔ)設(shè)施而采取的措施，例如防火墻、入侵檢測系統(tǒng)和 VPN。

6. 合規(guī)策略：該策略介紹了企業(yè)必須遵守的合規(guī)要求，例如 HIPAA、PCI?DSS、SOX 等。

7. 移動設(shè)備策略：該策略介紹了企業(yè)內(nèi)使用的移動設(shè)備（例如智能手機和平板電腦）的安全要求 。

?8. 云安全策略：該策略介紹了基于云的服務(wù)的安全措施，例如數(shù)據(jù)加密、訪問控制和事件響應(yīng)。需要注意的是，這些只是企業(yè)應(yīng)該具備的策略示例，具體策略將根據(jù)企業(yè)的行業(yè)、規(guī)模和處理的數(shù)據(jù)類型而有所不同。

03、ChatGPT 如何被直接攻擊而產(chǎn)生不正確或其他不好的結(jié)果?

ChatGPT 與任何機器學習模型一樣，可以被多種方式直接攻擊從而產(chǎn)生不正確或其他不好結(jié)果?？梢灾苯庸鬋hatGPT的方式包括：

1. 對抗樣本：攻擊者通過創(chuàng)建經(jīng)過特殊設(shè)計的輸入，以讓 ChatGPT 產(chǎn)生不正確或誤導性的結(jié)果。這被稱為對抗樣本，可以通過向輸入數(shù)據(jù)添加細微或精心選擇的擾動來實現(xiàn)。

2. 過擬合：在有限的數(shù)據(jù)集上訓練ChatGPT會導致過擬合，使模型在新的、未見過的數(shù)據(jù)上表現(xiàn)不佳。(?過擬合：過擬合是一種不受歡迎的機器學習行為，當機器學習模型為訓練數(shù)據(jù)提供準確的預測而不是新數(shù)據(jù)時，就會發(fā)生這種行為 ) 3.數(shù)據(jù)投毒：攻擊者通過將惡意數(shù)據(jù)注入到用于訓練ChatGPT模型的訓練集中，以讓模型產(chǎn)生不正確或誤 導性的結(jié)果。

4. 模型竊取：攻擊者通過獲取訓練過的 ChatGPT 模型的參數(shù)，并使用這些參數(shù)創(chuàng)建建具有類似功能的新模型，以讓新模型產(chǎn)生不正確或誤導性的結(jié)果。

5. 分布式拒絕服務(wù) (DDoS) 攻擊：攻擊者可以發(fā)起 DDoS攻擊托管 ChatGPT 的服務(wù)器，導致其不可用或返回不正確或誤導性的結(jié)果。

6. 隱私泄露：攻擊者未經(jīng)授權(quán)訪問用于訓練 ChatGPT 的數(shù)據(jù)，可能暴露敏感信息并導致模型產(chǎn)生不正確或誤導性的結(jié)果。

7. 反饋循環(huán)：攻擊者可以通過不斷向模型提供虛假或誤導性信息來引起反饋循環(huán)，導致模型隨著時間 的推移產(chǎn)生不正確或誤導性的結(jié)果。 為了減輕這些攻擊，企業(yè)應(yīng)該使用健壯的安全協(xié)議，例如加密和訪問控制，并定期監(jiān)控和審計他們的 ChatGPT 使用情況。此外，企業(yè)應(yīng)使用數(shù)據(jù)驗證、數(shù)據(jù)清洗和數(shù)據(jù)調(diào)整等技術(shù)預防對抗樣本和數(shù)據(jù)投毒。

04、我們?nèi)绾问蛊髽I(yè)能夠安全地使用ChatGPT？

企業(yè)使用 ChatGPT 保護公司敏感信息和消費者數(shù)據(jù)的指南：

1. 識別敏感信息：在使用ChatGPT之前，企業(yè)應(yīng)該識別被視為敏感的信息類型，例如財務(wù)數(shù)據(jù)、個人信息和機密商業(yè)信息。

2. 限制對敏感信息的訪問：對敏感信息的訪問應(yīng)該是僅限于有業(yè)務(wù)需求并接受過正確數(shù)據(jù)處理程序培訓的人員。

3. 使用數(shù)據(jù)脫敏：企業(yè)應(yīng)該使用數(shù)據(jù)脫敏技術(shù)來隱藏敏感信息，例如使用占位符字符或隨機化數(shù)據(jù)字段。

4.實施安全控制協(xié)議：企業(yè)應(yīng)該實施安全協(xié)議防止未經(jīng)授權(quán)的訪問，例如使用加密和SSL證書連接。

5. 定期監(jiān)控使用情況：企業(yè)應(yīng)定期監(jiān)控 ChatGPT 的使用情況，以發(fā)現(xiàn)和預防任何未經(jīng)授權(quán)的訪問或敏感信息濫用。

6. 定期進行安全審計：企業(yè)應(yīng)定期進行安全審計，以發(fā)現(xiàn)和解決使用 ChatGPT 中可能存在的漏洞。

7. 保持軟件更新：企業(yè)應(yīng)確保他們使用最新版本的 ChatGPT 和任何相關(guān)軟件，因為更新可能包括安全修復。

8. 對客戶保持透明：如果一家公司使用 ChatGPT 為客戶提供服務(wù)，應(yīng)向客戶明示對其使用、收集了哪些數(shù)據(jù)以及如何使用這些數(shù)據(jù)。

9. 培訓員工：企業(yè)應(yīng)培訓員工如何處理敏感信息和正確使用 ChatGPT 以防止意外泄露。通過遵循這些準則，企業(yè)可以在使用 ChatGPT 時保護公司敏感信息和客戶數(shù)據(jù)。

附錄：ChatGPT 關(guān)于? “總結(jié)?CSA 頂級威脅報告”的回答 確定了云計算的十一種主要威脅。這些威脅包括：

1. 數(shù)據(jù)泄露：當未經(jīng)授權(quán)的個人訪問敏感信息時，就會發(fā)生數(shù)據(jù)泄露。在云中，數(shù)據(jù)泄露可能是由于缺乏適當?shù)脑L問控制、弱密碼和其他安全漏洞造成的。

2. 賬戶或服務(wù)流量劫持：這種威脅發(fā)生在攻擊者采取通過用戶帳戶或?qū)⒘髁恐囟ㄏ虻教摷侔姹镜姆?wù)。這可以是通過網(wǎng)絡(luò)釣?、惡意軟件或其他惡意策略完成。

3. 內(nèi)部威脅：內(nèi)部威脅包括員工、承包商或其他有權(quán)訪問云環(huán)境但將其用于惡意目的的個人。這可能包括竊取敏感信息、刪除或修改數(shù)據(jù)，或者對系統(tǒng)發(fā)起攻擊。

4. 高級持續(xù)威脅 (APT)：APT 是復雜的攻擊，使用多個階段和技術(shù)來獲取對系統(tǒng)的訪問權(quán)限、泄露數(shù)據(jù)并保持對被入侵系統(tǒng)的控制。APT可以由民族國家、有組織的犯罪集團或其他行為者發(fā)起。

5. 濫用和惡意使用云服務(wù)：這種威脅發(fā)生在云服務(wù)服務(wù)用于非法活動，例如托管惡意軟件、分發(fā)垃圾郵件或進行 DDoS 攻擊。

6.共享技術(shù)漏洞：云提供商經(jīng)常使用共享基礎(chǔ)設(shè)施，例如管理程序和存儲系統(tǒng)，它們可能會引入可被攻擊者利用的漏洞。

7. 惡意內(nèi)部人員：惡意內(nèi)部人員是指有意或無意濫用其對云環(huán)境的訪問權(quán)限的員工、承包商或第三方供應(yīng)商。

8. 云提供商漏洞：云提供商的系統(tǒng)中可能存在漏洞，攻擊者可以利用這些漏洞訪問客戶數(shù)據(jù)或?qū)ζ渌到y(tǒng)發(fā)起攻擊。

9. 數(shù)據(jù)丟失：數(shù)據(jù)丟失可能由于硬件故障、軟件錯誤或其他問題而導致的。在云中，數(shù)據(jù)丟失也可能是由于缺乏適當?shù)膫浞莼驗?zāi)難恢復計劃造成的。

10. 配置錯誤：當云環(huán)境配置不當時，可能會發(fā)生配置錯誤，從而導致安全漏洞或數(shù)據(jù)泄露。

11. 有限的可見性：對云環(huán)境的有限可見性會使企業(yè)難以檢測和響應(yīng)安全威脅。 為了防范這些威脅，企業(yè)應(yīng)該實施強大的安全控制，例如加密和訪問控制，定期監(jiān)控和審計他們的云使用情況，并制定事件響應(yīng)計劃。此外，企業(yè)組織應(yīng)確保其云提供商具有強大的安全控制和事件響應(yīng)能力。

編輯：黃飛

?