智能駕駛時代的新挑戰(zhàn)：AI功能安全

寫在前面：

隨著人工智能（AI）技術(shù)在自動駕駛汽車等領(lǐng)域的快速發(fā)展，其功能安全性成為了一個不可忽視的議題。功能安全指的是在正常或異常操作情況下，系統(tǒng)能夠安全運行的能力，這對于直接影響人類生命安全的自動駕駛汽車尤為重要。為了全面管理安全生命周期，確保車輛AI系統(tǒng)在各種情況下都能保持預(yù)期的安全性能，需要系統(tǒng)地實施安全措施。

本文將詳細探討AI功能安全的生命周期，從ISO/CD PAS 8800標準的角度，講述如何實施生命周期內(nèi)的各項安全措施，以及這些措施如何幫助實現(xiàn)AI系統(tǒng)的可持續(xù)、安全運行。

01.

AI安全管理

AI安全生命周期流程，主要用來支撐整個ISO/CD PAS 8800標準，把ISO/CD PAS 8800標準的所有章節(jié)都融入到此流程。

圖2-1-AI安全生命周期

（參考ISO/CD PAS 8800 chapter7 Figure7-1）

AI安全生命周期流程是一個全面的框架，旨在確保AI系統(tǒng)從設(shè)計到部署的各個階段都符合安全標準。這一流程開始于需求分配階段，其中上游系統(tǒng)輸入的需求首先在第9章中進行詳細的規(guī)劃和優(yōu)化，然后將優(yōu)化后的需求傳遞到開發(fā)階段。在開發(fā)階段，進行AI系統(tǒng)的開發(fā)和測試驗證，以確保系統(tǒng)滿足所有安全要求。

開發(fā)和驗證確認活動完成后，AI系統(tǒng)將進行安全認證，以驗證其是否滿足輸入的安全要求。如果認證成功，系統(tǒng)則可投入市場。上市后，將執(zhí)行運營階段的監(jiān)控工作，確保系統(tǒng)的持續(xù)安全性能。整個過程形成一個完整的閉環(huán)，每個階段的工作產(chǎn)出都將支持最終的安全認證。

此外，流程中還考慮了軟件工具的資質(zhì)認證，包括如何進行相關(guān)的軟件開發(fā)和資質(zhì)認證工作，從而確保AI系統(tǒng)在整個生命周期中的安全性和可靠性。

圖2-1-AI安全生命周期的V&V階段

（參考ISO/CD PAS 8800 chapter7 Figure7-2）

其中，專門針對AI系統(tǒng)的V模型開發(fā)生命周期模型與ISO 26262標準中的生命周期具有相似之處。V模型的開發(fā)流程從最左側(cè)開始，涵蓋AI系統(tǒng)的設(shè)計和AI組件的設(shè)計與實施。一旦AI組件開發(fā)完成，接下來是AI組件的驗證，隨后進行整個AI系統(tǒng)的集成，包括進一步的驗證和確認環(huán)節(jié)。

在V模型的整個過程中，功能安全分析是必不可少的，它幫助識別和預(yù)防各個環(huán)節(jié)中可能出現(xiàn)的潛在安全失效和功能不足。此外，數(shù)據(jù)的重要性在AI系統(tǒng)中尤為突出，因此在V模型的開發(fā)過程中也特別強調(diào)對數(shù)據(jù)相關(guān)性的考量。數(shù)據(jù)管理同樣遵循自身的生命周期，確保數(shù)據(jù)的有效性和安全性貫穿AI系統(tǒng)開發(fā)的每一個階段。這樣的流程設(shè)計確保了AI系統(tǒng)在安全性和功能性方面能夠滿足預(yù)設(shè)的標準和要求。

02.

總結(jié)和展望

AI安全生命周期流程和V模型的實施不僅保證了AI系統(tǒng)在功能和安全性方面的高標準，還提供了一種適應(yīng)未來技術(shù)發(fā)展的靈活框架。隨著AI技術(shù)的快速發(fā)展和應(yīng)用領(lǐng)域的不斷擴展，這種全面的安全管理方法顯得尤為重要。未來，隨著更多的技術(shù)創(chuàng)新和新的安全挑戰(zhàn)的出現(xiàn)，這一流程將需要不斷地更新和優(yōu)化，以適應(yīng)新的安全需求和標準，從而保證AI系統(tǒng)在所有使用場景中的安全性和可靠性。這將要求業(yè)界、學界和標準制定者之間有更深入的合作和持續(xù)的技術(shù)革新，以推動AI安全管理向更高水平發(fā)展。

03.

面對的挑戰(zhàn)

實施AI安全生命周期流程和V模型面臨的挑戰(zhàn)包括技術(shù)的快速變化、數(shù)據(jù)管理和隱私保護問題、跨學科合作困難、缺乏詳細的安全認證和標準、資源和成本限制、不確定性和未知風險以及需適應(yīng)不斷變化的監(jiān)管和法規(guī)要求。這些挑戰(zhàn)要求組織必須具備高度的技術(shù)能力和戰(zhàn)略規(guī)劃，建立內(nèi)部的跨部門合作及與外部監(jiān)管和標準化機構(gòu)的密切協(xié)作，通過技術(shù)創(chuàng)新和持續(xù)的政策更新來有效管理風險并保障AI系統(tǒng)的安全性。

作者

邊俊

磐時創(chuàng)始人/首席安全專家

汽車安全社區(qū)SASETECH發(fā)起人；智能網(wǎng)聯(lián)預(yù)期功能安全工作組核心成員；國內(nèi)最早從事汽車功能安全、預(yù)期功能安全的專家之一