調(diào)研：黃勇 武宇

撰寫：蘭壹凡

隨著數(shù)字經(jīng)濟(jì)發(fā)展，各行業(yè)數(shù)字化轉(zhuǎn)型的深入和萬物互聯(lián)的發(fā)展趨勢下，“數(shù)據(jù)即資產(chǎn)”成為企業(yè)共識，數(shù)據(jù)價值挖掘成為企業(yè)關(guān)注的重點。與此同時，隨著企業(yè)對決策與分析時效性要求的日益提升，能夠傳遞實時、可用信息的“熱數(shù)據(jù)”價值逐步凸顯。

過去由于技術(shù)發(fā)展限制，雖然企業(yè)產(chǎn)生了大量的“熱數(shù)據(jù)”，但卻無法充分發(fā)揮其價值。因此，讓“熱數(shù)據(jù)”直接產(chǎn)生價值，解決業(yè)務(wù)場景下海量數(shù)據(jù)實時處理和智能決策的技術(shù)，成為企業(yè)在數(shù)字經(jīng)濟(jì)發(fā)展中提質(zhì)增效高質(zhì)量發(fā)展的關(guān)鍵。

提到大數(shù)據(jù)處理技術(shù)，不得不提在數(shù)據(jù)實時智能處理領(lǐng)域持續(xù)深耕并縱橫向前的邦盛科技，其核心技術(shù)之一就是能夠?qū)崟r快速、高并發(fā)處理數(shù)據(jù)的流立方技術(shù)，特別是在海量數(shù)據(jù)規(guī)模大、分析延時短、復(fù)雜事件或復(fù)雜指標(biāo)、智能化決策及時序數(shù)據(jù)等典型特征的行業(yè)場景中，通過實時感知、識別和智能決策，充分發(fā)揮“熱數(shù)據(jù)”即時、可用的業(yè)務(wù)價值，幫助企業(yè)更好地實現(xiàn)精準(zhǔn)預(yù)測、瞬時決策、降低業(yè)務(wù)成本、提升服務(wù)質(zhì)效。

又快又智能的人工智能才是真正的人工智能。為了探討實時智能決策技術(shù)的發(fā)展及應(yīng)用趨勢，近期，愛分析專訪了邦盛科技CEO王新宇博士。邦盛科技是實時智能決策技術(shù)的領(lǐng)軍企業(yè)之一，其自研的實時智能決策與分析技術(shù)在數(shù)據(jù)規(guī)模量大、超低延時性要求和復(fù)雜事件決策等場景中給企業(yè)帶來了巨大的業(yè)務(wù)價值，并在數(shù)字金融、智慧交通、電子政務(wù)、信息通訊等領(lǐng)域?qū)崿F(xiàn)了落地應(yīng)用。

王新宇博士表示，隨著數(shù)字經(jīng)濟(jì)發(fā)展，新基建的規(guī)劃部署在各行各業(yè)深入推進(jìn)，實時智能決策技術(shù)能夠很好地同時滿足海量數(shù)據(jù)實時處理和智能決策的復(fù)雜計算要求，并與具體業(yè)務(wù)場景相結(jié)合，真正賦能行業(yè)業(yè)務(wù)價值提升，不僅智能化，更要實時性。未來，實時智能決策技術(shù)覆蓋的業(yè)務(wù)場景會越來越廣，實時智能決策技術(shù)將大有可為。

01

在時效性和智能化兼?zhèn)涞膱鼍跋?，“熱?shù)據(jù)”價值得以體現(xiàn)

愛分析：您認(rèn)為應(yīng)該怎樣理解“熱數(shù)據(jù)”？

王新宇博士：數(shù)據(jù)從產(chǎn)生開始，它的應(yīng)用價值就在隨著時間流逝呈指數(shù)式下降。數(shù)據(jù)的價值，就像是一座有無數(shù)寶藏的礦山，對數(shù)據(jù)的洞察力、提取力和分析力決定了能挖出的是鉆石還是煤炭。數(shù)據(jù)剛剛產(chǎn)生時熱度最強，也就是“熱數(shù)據(jù)”，通過對數(shù)據(jù)的及時處理、分析，最能夠體現(xiàn)數(shù)據(jù)在應(yīng)用上的價值。

剛剛在線上產(chǎn)生的數(shù)據(jù)，需要結(jié)合歷史數(shù)據(jù)，才能對它進(jìn)行實時的價值判斷，要讓數(shù)據(jù)分析兼具準(zhǔn)確度和速度，這就好比魚和熊掌兼得，難度非常大。實時智能處理是實現(xiàn)“熱數(shù)據(jù)”價值最大化的唯一途徑，可以將實時采集到的“熱數(shù)據(jù)”和歷史數(shù)據(jù)相結(jié)合，進(jìn)行實時處理和實時分析，并基于處理和分析結(jié)果給出智能化決策。

許多業(yè)務(wù)場景需要基于單個行為對整體意圖做出判斷，并快速做出處置。這些業(yè)務(wù)場景往往對時效性要求很高，比如互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用場景中，用戶體驗提升、個性化服務(wù)、智能分析、事中決策等，由于業(yè)務(wù)復(fù)雜度較高，如何能快速計算出支撐業(yè)務(wù)中的復(fù)雜指標(biāo)成為實時業(yè)務(wù)場景中的關(guān)鍵因素。

愛分析：具體到應(yīng)用中，實時智能決策技術(shù)是如何釋放“熱數(shù)據(jù)”價值的？

王新宇博士：和時間賽跑，邦盛科技的技術(shù)思路，繞不開對時間和速度的要求。邦盛的流立方在其中扮演的角色是一個實時大數(shù)據(jù)處理引擎，兼具數(shù)據(jù)的時間跨度和新鮮度，還有計算速度，解決數(shù)據(jù)倍增、數(shù)據(jù)處理時效性差和數(shù)據(jù)處理毫秒級需求的問題。

比如，在物聯(lián)網(wǎng)環(huán)境中，各個傳感器產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)通常包含時間、位置、環(huán)境和行為等內(nèi)容。由于傳感器的多元化、差異化及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出鮮明的異構(gòu)性、多樣化、非結(jié)構(gòu)化、有噪聲、高增長率等特征，所產(chǎn)生的數(shù)據(jù)量之密度、實時性之強、價值密度之低是前所未有的，這對計算系統(tǒng)的實時性、吞吐量、可靠性等方面的要求非常高，既要有智能化的判斷和分析，又疊加了時效性特征。

在金融領(lǐng)域的業(yè)務(wù)中，往往會產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的時效性很短，每時每刻都有大量的數(shù)據(jù)在各個系統(tǒng)間流動，并需要實時計算。同時金融系統(tǒng)與其他系統(tǒng)也有大量的數(shù)據(jù)流動，這些數(shù)據(jù)不僅有結(jié)構(gòu)化的數(shù)據(jù)，也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。通過對這些大數(shù)據(jù)的實時分析計算，發(fā)現(xiàn)隱含于其中的內(nèi)在特征，可以幫助金融機(jī)構(gòu)進(jìn)行實時的智能化決策。

以全國最大的收單機(jī)構(gòu)為例，每年有1300多億刷卡流水，45億張銀行卡，峰值5萬TPS，近千個規(guī)則模型的超大數(shù)據(jù)量，同時要求在銀行卡刷卡請求時，50毫秒內(nèi)分析完成該卡過去1年交易行為的超高實時性。邦盛科技的這套基于“流立方”的實時智能決策技術(shù)，可以做到每一筆刷卡瞬間在10個毫秒內(nèi)完成近千個規(guī)則模型的全年刷卡行為分析計算，事中智能識別風(fēng)險并做出相應(yīng)的風(fēng)險處置決策。

批流結(jié)合的實時智能決策技術(shù)，橫向來看，可以應(yīng)用在金融、交通、通訊、政務(wù)、公安等各個行業(yè)。縱向來看，每個行業(yè)的報表數(shù)據(jù)實時處理、可視化分析、精準(zhǔn)營銷、合規(guī)檢查等也都需要這項技術(shù)。

02

邦盛科技實時智能決策與分析技術(shù)釋放“熱數(shù)據(jù)”價值

愛分析：邦盛科技的實時智能決策與分析技術(shù)體系是怎樣的？解決的主要問題是什么？

王新宇博士：流批一體的概念提出最早是在2015年，但那時真正應(yīng)用流批一體的落地案例極少。這是因為流批一體的大前提是需要統(tǒng)一的計算引擎，流計算和批計算從計算方式、支撐模塊、資源調(diào)度策略到流程規(guī)劃等都存在差異。因此，流批一體融合存在不少技術(shù)問題需要解決。

相較于流計算和批處理分離的系統(tǒng)架構(gòu)來說，流批一體重點關(guān)注數(shù)據(jù)源的統(tǒng)一、開發(fā)的統(tǒng)一、計算的統(tǒng)一、存儲的統(tǒng)一，實現(xiàn)技術(shù)棧的收斂，減少開發(fā)和運維成本，消除重復(fù)的計算框架帶來的邏輯不一致性。

從整體架構(gòu)來看，我們的流批一體實時智能決策與分析技術(shù)體系將常見的數(shù)據(jù)資產(chǎn)分為四層，并提出了對應(yīng)的三層數(shù)據(jù)處理架構(gòu)，以知識為媒介，揉合流處理、批處理、決策等多種技術(shù)體系，是一種面向業(yè)務(wù)的流批一體的數(shù)據(jù)處理體系架構(gòu)。

這項技術(shù)降低了流批結(jié)合模式的開發(fā)和運維成本，也進(jìn)一步拓寬了實時計算的應(yīng)用范圍，為事件驅(qū)動型應(yīng)用及高實時性的數(shù)據(jù)統(tǒng)計分析型應(yīng)用提供了高效的計算模式，尤其是在對時效性非常關(guān)注的智能化判斷和分析場景下，這套技術(shù)體系具備獨一無二的競爭優(yōu)勢。

愛分析：市場上已經(jīng)有一些開源框架能解決實時數(shù)據(jù)處理的問題，邦盛科技為什么要選擇自主研發(fā)流立方？

王新宇博士：一般公司都是基于開源架構(gòu)進(jìn)行增強，然后產(chǎn)出產(chǎn)品實現(xiàn)商業(yè)化。而市場上的開源框架大部分是國外的技術(shù)產(chǎn)品，如果我們都基于國外的開源框架基礎(chǔ)上搭建實時數(shù)據(jù)產(chǎn)品體系，實時數(shù)據(jù)處理將成為國內(nèi)卡脖子的技術(shù)難題，所以我們開始自主研發(fā)構(gòu)建基礎(chǔ)平臺，徹底實現(xiàn)實時數(shù)據(jù)處理基礎(chǔ)平臺國產(chǎn)化，讓我國能夠擁有自主研發(fā)的實時數(shù)據(jù)處理技術(shù)底座。

第二個原因是，傳統(tǒng)開源框架無法適配企業(yè)既快又靈活的實時決策需求。當(dāng)前實時計算的框架分成兩個流派，一個是“原始態(tài)”，比如Oracle的數(shù)據(jù)庫，擁有靈活的特性但是處理速度較慢；一個是“最終態(tài)”，比如Spark、Storm，處理速度快但是不夠靈活，無法滿足在實時決策中進(jìn)行實時智能調(diào)整和適配要求。

為了滿足這些要求，我們提出了“時序中間態(tài)”理念，在技術(shù)研發(fā)上投入五年時間和上億資金，最終形成流立方核心技術(shù)。流立方結(jié)合了“原始態(tài)”和“最終態(tài)”兩派的優(yōu)勢，每次計算都能夠進(jìn)行實時數(shù)據(jù)的靈活重組，性能上提升了幾十倍，任何時間、復(fù)雜事件的中間段都可以在毫秒內(nèi)吐出結(jié)果，既迅速又靈活，遇到復(fù)雜因子及時間序列，流立方依舊可以做到毫秒級產(chǎn)出結(jié)果。

愛分析：流立方在技術(shù)上是如何實現(xiàn)性能提升的？

王新宇博士：流立方是大數(shù)據(jù)實時智能處理平臺，是基于“時序中間態(tài)”理念進(jìn)行研發(fā)的，也就是在數(shù)據(jù)流轉(zhuǎn)過程中嵌入流處理引擎，對所有流過的數(shù)據(jù)進(jìn)行實時處理，處理的結(jié)果是個中間結(jié)果。

比如同樣計算三個月交易平均額，F(xiàn)link是直接計算最終三個月交易結(jié)果，如果要求得到兩個月交易數(shù)據(jù)就需要重新計算。而流立方把時間切成了細(xì)碎的“切片”，可以計算出1小時內(nèi)、1分鐘或者500毫秒“切片”的交易平均額，這就是中間結(jié)果。目前流立方數(shù)據(jù)集群吞吐量可達(dá)到200萬筆每秒，當(dāng)要求計算出任何一個時間段內(nèi)交易數(shù)據(jù)時，流立方都可以在微秒時間內(nèi)對“切片”進(jìn)行動態(tài)重組，所以計算1年內(nèi)和計算3年內(nèi)平均交易額都可以在同樣時間內(nèi)得到結(jié)果。

流立方高性能的數(shù)據(jù)集群可以滿足數(shù)據(jù)量大、數(shù)據(jù)新鮮度高、事件/指標(biāo)復(fù)雜、決策智能化等特征，通過我們的大數(shù)據(jù)實時處理平臺可以快速地、實時地采集、加工、處理多源數(shù)據(jù)，解決開源流數(shù)據(jù)處理技術(shù)無法解決的問題，為各領(lǐng)域大數(shù)據(jù)實時計算處理提供底層的技術(shù)支撐。

愛分析：您介紹了很多邦盛科技實時智能決策與分析體系的特點，邦盛科技是否有考慮通過自身優(yōu)勢進(jìn)行更多的生態(tài)合作？

王新宇博士：在生態(tài)合作方面，目前我們以流立方和三核智能作為底層基礎(chǔ)決策軟件和決策引擎，進(jìn)一步來構(gòu)建上層的業(yè)務(wù)應(yīng)用產(chǎn)品生態(tài)和服務(wù)生態(tài)。根據(jù)不同的行業(yè)設(shè)置了不同的事業(yè)部，對業(yè)務(wù)占比較大的行業(yè)需求，生態(tài)合作情況較少，主要由事業(yè)部來實現(xiàn)軟件的實施落地；而業(yè)務(wù)占比較小的行業(yè)事業(yè)部，會尋找有行業(yè)know how的合作伙伴，通過提供技術(shù)底座支持行業(yè)應(yīng)用的方式，賦能合作伙伴，我們實現(xiàn)作為實時處理技術(shù)底座的價值，合作伙伴實現(xiàn)行業(yè)自動化的價值。

在未來，我們也會考慮和優(yōu)質(zhì)的合作伙伴進(jìn)行投資并購，結(jié)合公司的整體運作和業(yè)務(wù)布局實現(xiàn)更加深入的合作，為企業(yè)提供更符合需求的定制化解決方案。

03

國產(chǎn)化和產(chǎn)品化是實時智能決策技術(shù)的發(fā)展重點

愛分析：結(jié)合邦盛科技過往的案例實踐經(jīng)驗，您認(rèn)為實時智能決策技術(shù)要服務(wù)好客戶，有哪些關(guān)鍵能力要求？

王新宇博士:實時智能決策技術(shù)的應(yīng)用對于平臺的性能、模型的準(zhǔn)確度、功能的完善性、平臺的易用性等幾個方面都有要求。

平臺的性能體現(xiàn)在吞吐量上。2015年我們完成了流立方的產(chǎn)品研發(fā)，之后憑借流立方為核心的實時處理解決方案拿下了全國最大收單機(jī)構(gòu)的招標(biāo)項目。該項目要求在50毫秒內(nèi)實現(xiàn)近一年的重大行為回溯，與其他國外老牌廠商提出的解決方案相比，我們的解決方案性能大大提升。

平臺的決策效率還受到?jīng)Q策模型準(zhǔn)確度的影響，通過平臺輸出結(jié)果的誤報率和漏報率就能看出模型的準(zhǔn)確程度，那么模型設(shè)計階段就極為關(guān)鍵。如果能將圖決策納入決策模型考慮范圍，可以大幅提升實時決策引擎的性能，也是提升平臺決策效率的方式。

功能的完善性是建立在廠商的服務(wù)經(jīng)驗基礎(chǔ)上的。當(dāng)下企業(yè)要求實時智能引擎能夠匹配復(fù)雜的業(yè)務(wù)線，那么廠商對于復(fù)雜業(yè)務(wù)的理解程度和實時智能技術(shù)對多條業(yè)務(wù)線的支持能力決定了平臺功能的完善性。

平臺的易用性是要降低業(yè)務(wù)人員的平臺使用成本。以往業(yè)務(wù)人員想要調(diào)整模型時需要找到IT部門，運用歷史數(shù)據(jù)對模型進(jìn)行反復(fù)訓(xùn)練，后續(xù)還要上線和確認(rèn)模型，整個周期需要2周到一個月時間。而平臺的易用性就體現(xiàn)在決策引擎是不是面向業(yè)務(wù)人員的，盡量讓業(yè)務(wù)人員使用拖拉拽的方式就能管理和調(diào)整模型，訓(xùn)練好的模型在少量技術(shù)人員的幫助下就能上線知識應(yīng)用平臺，大幅縮減業(yè)務(wù)人員的平臺使用時間，從而提升決策效率。

愛分析：您認(rèn)為實時智能技術(shù)未來的發(fā)展方向是什么？

王新宇博士：大數(shù)據(jù)時代，數(shù)據(jù)是寶貴的資源，數(shù)字基礎(chǔ)設(shè)施建設(shè)是支持國家數(shù)字經(jīng)濟(jì)高速高質(zhì)發(fā)展的必要前提條件，隨著新基建的規(guī)劃部署在各行各業(yè)深入開展，企業(yè)內(nèi)沉淀的數(shù)據(jù)量、業(yè)務(wù)系統(tǒng)的終端用戶量都在呈現(xiàn)爆發(fā)式增長的趨勢，很多大型企業(yè)尤其是國家的支柱性行業(yè)，對有效應(yīng)對大規(guī)模、高時效、智能化等一系列的數(shù)字化技術(shù)需求將越來越旺盛。

從應(yīng)用趨勢來看，想要大規(guī)模應(yīng)用實時智能決策技術(shù)，要保證技術(shù)已經(jīng)實現(xiàn)高度的產(chǎn)品化。舉例來說，特征處理、模型訓(xùn)練等底層技術(shù)產(chǎn)品化率較高，中大型客戶對數(shù)據(jù)采集、處理、計算等基礎(chǔ)功能需求最廣，產(chǎn)品化率也因此不斷提升，而面向應(yīng)用價值的實時智能決策技術(shù)不容易實現(xiàn)高產(chǎn)品化率。隨著技術(shù)不斷積累和沉淀，決策模型的產(chǎn)品化率會逐漸提高。產(chǎn)品化是廠商期待實現(xiàn)的共同目標(biāo)，但在實現(xiàn)產(chǎn)品化的同時也要保證對業(yè)務(wù)支持的靈活性，才能夠應(yīng)對當(dāng)下日益精細(xì)化的市場需求。

未來數(shù)字經(jīng)濟(jì)建設(shè)中，很多企業(yè)需要通過場景感知，實時捕捉、識別和判斷客戶需求，實時從決策引擎中獲取業(yè)務(wù)價值平衡決策，并通過集中的后臺服務(wù)實時響應(yīng)客戶需求。實時智能決策與分析領(lǐng)域的提前布局，是很多行業(yè)、企業(yè)在數(shù)字化轉(zhuǎn)型中實現(xiàn)高質(zhì)量發(fā)展的關(guān)鍵舉措。

審核編輯 黃昊宇