針對互聯(lián)網(wǎng)亂象紛飛的欺詐行為，芯盾時代一直秉持著零容忍的態(tài)度，在虛假交易、薅羊毛、信息泄露、信用欺詐、洗錢等場景的檢測防控技術手段一直在不斷演進。經(jīng)過多年在證券、銀行、第三方支付、政府、互聯(lián)網(wǎng)金融等領域大數(shù)據(jù)機器學習項目的沉淀和積累，芯盾時代形成了一套完整有效的反欺詐解決方案，其中持續(xù)自適應機器學習引擎迭代機制是其擁有不斷進化能力的關鍵。

在實時檢測場景中，芯盾時代機器學習引擎應用了大數(shù)據(jù)實時流-批混合特征計算、畫像數(shù)據(jù)分析探索、分布式圖挖掘技術、多模型在線實時預測服務等技術手段來鑒別欺詐行為。

圖1 機器學習引擎運轉機制

芯盾時代機器學習引擎運轉體制可以從實時流-批混合機器學習、案件庫管理、模型輸出可視化三個維度進行說明。

實時流-批混合一站式機器學習引擎

反欺詐領域面對的欺詐模式可分為未知欺詐和已知欺詐。未知欺詐通過流式處理的異常檢測算法、實時圖譜技術進行小樣本發(fā)掘，經(jīng)過差集檢測處理后，為批處理模式機器學習模型提供樣本標簽。批處理模式機器學習則可以通過算法復雜度高的模型系統(tǒng)不斷挖掘新的欺詐模式，應對黑色產(chǎn)業(yè)鏈的發(fā)展。

而機器學習引擎構建也面臨兩個方面難題：

1）大數(shù)據(jù)量并行計算，支撐模型并行和數(shù)據(jù)并行計算；

2）離線特征和流式特征分離式開發(fā)，造成重復開發(fā)、維護困難。

圖2 實時流-批混合一站式機器學習引擎

芯盾時代實時流-批混合一站式機器學習引擎采用分層架構模式，具體包括模型實時服務組件、消息中間件、實時計算組件、數(shù)據(jù)緩存組件、離線計算組件、圖計算組件等。整體架構具備敏捷開發(fā)性、易部署性、可測試性、高伸縮性、易開發(fā)性等優(yōu)點。

數(shù)據(jù)實時計算組件實時消費來自消息中間件報文數(shù)據(jù)并實時計算，加工完成的特征指標采用冗余存儲方式，即數(shù)據(jù)緩存和離線拍照，數(shù)據(jù)緩存為模型在線實時服務提供特征來源。離線拍照數(shù)據(jù)為離線計算框架數(shù)據(jù)同步模塊從消息中間件提取數(shù)據(jù)，并按預定拍照方案沉淀數(shù)據(jù)，為離線機器學習模型、圖計算、OLAP等提供數(shù)據(jù)支撐。此種方式統(tǒng)一了離線和在線模型特征口徑，節(jié)省特征開發(fā)人力資源，方便后續(xù)特征版本升級更新。

模型輸出可視

IPA模型管理平臺為模型輸出可視化提供支撐，支持鉆取、切塊、旋轉等OLAP分析功能；

案件庫管理

通過流式異常檢測算法篩選出的疑似高欺詐風險記錄作為進件沉淀到案件庫管理平臺，評審員參考IPA模型管理之用戶畫像體系、欺詐關聯(lián)圖譜可視化平臺對疑似案件作出專家判斷，判斷結果作為新進案件沉淀到案件庫，為離線機器學習模型訓練提供素材。

在大數(shù)據(jù)和人工智能快速發(fā)展的時代背景下，具備智慧的反欺詐系統(tǒng)才能在與欺詐產(chǎn)業(yè)鏈的持續(xù)對抗中立于不敗之地。芯盾時代本著“知人善認，獨具匠芯” 的發(fā)展理念，臻于至善，讓欺詐無所遁形。