調研：黃勇 武宇

撰寫：蘭壹凡

隨著數字經濟發展，各行業數字化轉型的深入和萬物互聯的發展趨勢下，“數據即資產”成為企業共識，數據價值挖掘成為企業關注的重點。與此同時，隨著企業對決策與分析時效性要求的日益提升，能夠傳遞實時、可用信息的“熱數據”價值逐步凸顯。

過去由于技術發展限制，雖然企業產生了大量的“熱數據”，但卻無法充分發揮其價值。因此，讓“熱數據”直接產生價值，解決業務場景下海量數據實時處理和智能決策的技術，成為企業在數字經濟發展中提質增效高質量發展的關鍵。

提到大數據處理技術，不得不提在數據實時智能處理領域持續深耕并縱橫向前的邦盛科技，其核心技術之一就是能夠實時快速、高并發處理數據的流立方技術，特別是在海量數據規模大、分析延時短、復雜事件或復雜指標、智能化決策及時序數據等典型特征的行業場景中，通過實時感知、識別和智能決策，充分發揮“熱數據”即時、可用的業務價值，幫助企業更好地實現精準預測、瞬時決策、降低業務成本、提升服務質效。

又快又智能的人工智能才是真正的人工智能。為了探討實時智能決策技術的發展及應用趨勢，近期，愛分析專訪了邦盛科技CEO王新宇博士。邦盛科技是實時智能決策技術的領軍企業之一，其自研的實時智能決策與分析技術在數據規模量大、超低延時性要求和復雜事件決策等場景中給企業帶來了巨大的業務價值，并在數字金融、智慧交通、電子政務、信息通訊等領域實現了落地應用。

王新宇博士表示，隨著數字經濟發展，新基建的規劃部署在各行各業深入推進，實時智能決策技術能夠很好地同時滿足海量數據實時處理和智能決策的復雜計算要求，并與具體業務場景相結合，真正賦能行業業務價值提升，不僅智能化，更要實時性。未來，實時智能決策技術覆蓋的業務場景會越來越廣，實時智能決策技術將大有可為。

01

在時效性和智能化兼備的場景下，“熱數據”價值得以體現

愛分析：您認為應該怎樣理解“熱數據”？

王新宇博士：數據從產生開始，它的應用價值就在隨著時間流逝呈指數式下降。數據的價值，就像是一座有無數寶藏的礦山，對數據的洞察力、提取力和分析力決定了能挖出的是鉆石還是煤炭。數據剛剛產生時熱度最強，也就是“熱數據”，通過對數據的及時處理、分析，最能夠體現數據在應用上的價值。

剛剛在線上產生的數據，需要結合歷史數據，才能對它進行實時的價值判斷，要讓數據分析兼具準確度和速度，這就好比魚和熊掌兼得，難度非常大。實時智能處理是實現“熱數據”價值最大化的唯一途徑，可以將實時采集到的“熱數據”和歷史數據相結合，進行實時處理和實時分析，并基于處理和分析結果給出智能化決策。

許多業務場景需要基于單個行為對整體意圖做出判斷，并快速做出處置。這些業務場景往往對時效性要求很高，比如互聯網/移動互聯網、物聯網等應用場景中，用戶體驗提升、個性化服務、智能分析、事中決策等，由于業務復雜度較高，如何能快速計算出支撐業務中的復雜指標成為實時業務場景中的關鍵因素。

愛分析：具體到應用中，實時智能決策技術是如何釋放“熱數據”價值的？

王新宇博士：和時間賽跑，邦盛科技的技術思路，繞不開對時間和速度的要求。邦盛的流立方在其中扮演的角色是一個實時大數據處理引擎，兼具數據的時間跨度和新鮮度，還有計算速度，解決數據倍增、數據處理時效性差和數據處理毫秒級需求的問題。

比如，在物聯網環境中，各個傳感器產生大量數據，這些數據通常包含時間、位置、環境和行為等內容。由于傳感器的多元化、差異化及環境的多樣化，這些數據呈現出鮮明的異構性、多樣化、非結構化、有噪聲、高增長率等特征，所產生的數據量之密度、實時性之強、價值密度之低是前所未有的，這對計算系統的實時性、吞吐量、可靠性等方面的要求非常高，既要有智能化的判斷和分析，又疊加了時效性特征。

在金融領域的業務中，往往會產生大量數據，這些數據的時效性很短，每時每刻都有大量的數據在各個系統間流動，并需要實時計算。同時金融系統與其他系統也有大量的數據流動，這些數據不僅有結構化的數據，也有半結構化和非結構化的數據。通過對這些大數據的實時分析計算，發現隱含于其中的內在特征，可以幫助金融機構進行實時的智能化決策。

以全國最大的收單機構為例，每年有1300多億刷卡流水，45億張銀行卡，峰值5萬TPS，近千個規則模型的超大數據量，同時要求在銀行卡刷卡請求時，50毫秒內分析完成該卡過去1年交易行為的超高實時性。邦盛科技的這套基于“流立方”的實時智能決策技術，可以做到每一筆刷卡瞬間在10個毫秒內完成近千個規則模型的全年刷卡行為分析計算，事中智能識別風險并做出相應的風險處置決策。

批流結合的實時智能決策技術，橫向來看，可以應用在金融、交通、通訊、政務、公安等各個行業。縱向來看，每個行業的報表數據實時處理、可視化分析、精準營銷、合規檢查等也都需要這項技術。

02

邦盛科技實時智能決策與分析技術釋放“熱數據”價值

愛分析：邦盛科技的實時智能決策與分析技術體系是怎樣的？解決的主要問題是什么？

王新宇博士：流批一體的概念提出最早是在2015年，但那時真正應用流批一體的落地案例極少。這是因為流批一體的大前提是需要統一的計算引擎，流計算和批計算從計算方式、支撐模塊、資源調度策略到流程規劃等都存在差異。因此，流批一體融合存在不少技術問題需要解決。

相較于流計算和批處理分離的系統架構來說，流批一體重點關注數據源的統一、開發的統一、計算的統一、存儲的統一，實現技術棧的收斂，減少開發和運維成本，消除重復的計算框架帶來的邏輯不一致性。

從整體架構來看，我們的流批一體實時智能決策與分析技術體系將常見的數據資產分為四層，并提出了對應的三層數據處理架構，以知識為媒介，揉合流處理、批處理、決策等多種技術體系，是一種面向業務的流批一體的數據處理體系架構。

這項技術降低了流批結合模式的開發和運維成本，也進一步拓寬了實時計算的應用范圍，為事件驅動型應用及高實時性的數據統計分析型應用提供了高效的計算模式，尤其是在對時效性非常關注的智能化判斷和分析場景下，這套技術體系具備獨一無二的競爭優勢。

愛分析：市場上已經有一些開源框架能解決實時數據處理的問題，邦盛科技為什么要選擇自主研發流立方？

王新宇博士：一般公司都是基于開源架構進行增強，然后產出產品實現商業化。而市場上的開源框架大部分是國外的技術產品，如果我們都基于國外的開源框架基礎上搭建實時數據產品體系，實時數據處理將成為國內卡脖子的技術難題，所以我們開始自主研發構建基礎平臺，徹底實現實時數據處理基礎平臺國產化，讓我國能夠擁有自主研發的實時數據處理技術底座。

第二個原因是，傳統開源框架無法適配企業既快又靈活的實時決策需求。當前實時計算的框架分成兩個流派，一個是“原始態”，比如Oracle的數據庫，擁有靈活的特性但是處理速度較慢；一個是“最終態”，比如Spark、Storm，處理速度快但是不夠靈活，無法滿足在實時決策中進行實時智能調整和適配要求。

為了滿足這些要求，我們提出了“時序中間態”理念，在技術研發上投入五年時間和上億資金，最終形成流立方核心技術。流立方結合了“原始態”和“最終態”兩派的優勢，每次計算都能夠進行實時數據的靈活重組，性能上提升了幾十倍，任何時間、復雜事件的中間段都可以在毫秒內吐出結果，既迅速又靈活，遇到復雜因子及時間序列，流立方依舊可以做到毫秒級產出結果。

愛分析：流立方在技術上是如何實現性能提升的？

王新宇博士：流立方是大數據實時智能處理平臺，是基于“時序中間態”理念進行研發的，也就是在數據流轉過程中嵌入流處理引擎，對所有流過的數據進行實時處理，處理的結果是個中間結果。

比如同樣計算三個月交易平均額，Flink是直接計算最終三個月交易結果，如果要求得到兩個月交易數據就需要重新計算。而流立方把時間切成了細碎的“切片”，可以計算出1小時內、1分鐘或者500毫秒“切片”的交易平均額，這就是中間結果。目前流立方數據集群吞吐量可達到200萬筆每秒，當要求計算出任何一個時間段內交易數據時，流立方都可以在微秒時間內對“切片”進行動態重組，所以計算1年內和計算3年內平均交易額都可以在同樣時間內得到結果。

流立方高性能的數據集群可以滿足數據量大、數據新鮮度高、事件/指標復雜、決策智能化等特征，通過我們的大數據實時處理平臺可以快速地、實時地采集、加工、處理多源數據，解決開源流數據處理技術無法解決的問題，為各領域大數據實時計算處理提供底層的技術支撐。

愛分析：您介紹了很多邦盛科技實時智能決策與分析體系的特點，邦盛科技是否有考慮通過自身優勢進行更多的生態合作？

王新宇博士：在生態合作方面，目前我們以流立方和三核智能作為底層基礎決策軟件和決策引擎，進一步來構建上層的業務應用產品生態和服務生態。根據不同的行業設置了不同的事業部，對業務占比較大的行業需求，生態合作情況較少，主要由事業部來實現軟件的實施落地；而業務占比較小的行業事業部，會尋找有行業know how的合作伙伴，通過提供技術底座支持行業應用的方式，賦能合作伙伴，我們實現作為實時處理技術底座的價值，合作伙伴實現行業自動化的價值。

在未來，我們也會考慮和優質的合作伙伴進行投資并購，結合公司的整體運作和業務布局實現更加深入的合作，為企業提供更符合需求的定制化解決方案。

03

國產化和產品化是實時智能決策技術的發展重點

愛分析：結合邦盛科技過往的案例實踐經驗，您認為實時智能決策技術要服務好客戶，有哪些關鍵能力要求？

王新宇博士:實時智能決策技術的應用對于平臺的性能、模型的準確度、功能的完善性、平臺的易用性等幾個方面都有要求。

平臺的性能體現在吞吐量上。2015年我們完成了流立方的產品研發，之后憑借流立方為核心的實時處理解決方案拿下了全國最大收單機構的招標項目。該項目要求在50毫秒內實現近一年的重大行為回溯，與其他國外老牌廠商提出的解決方案相比，我們的解決方案性能大大提升。

平臺的決策效率還受到決策模型準確度的影響，通過平臺輸出結果的誤報率和漏報率就能看出模型的準確程度，那么模型設計階段就極為關鍵。如果能將圖決策納入決策模型考慮范圍，可以大幅提升實時決策引擎的性能，也是提升平臺決策效率的方式。

功能的完善性是建立在廠商的服務經驗基礎上的。當下企業要求實時智能引擎能夠匹配復雜的業務線，那么廠商對于復雜業務的理解程度和實時智能技術對多條業務線的支持能力決定了平臺功能的完善性。

平臺的易用性是要降低業務人員的平臺使用成本。以往業務人員想要調整模型時需要找到IT部門，運用歷史數據對模型進行反復訓練，后續還要上線和確認模型，整個周期需要2周到一個月時間。而平臺的易用性就體現在決策引擎是不是面向業務人員的，盡量讓業務人員使用拖拉拽的方式就能管理和調整模型，訓練好的模型在少量技術人員的幫助下就能上線知識應用平臺，大幅縮減業務人員的平臺使用時間，從而提升決策效率。

愛分析：您認為實時智能技術未來的發展方向是什么？

王新宇博士：大數據時代，數據是寶貴的資源，數字基礎設施建設是支持國家數字經濟高速高質發展的必要前提條件，隨著新基建的規劃部署在各行各業深入開展，企業內沉淀的數據量、業務系統的終端用戶量都在呈現爆發式增長的趨勢，很多大型企業尤其是國家的支柱性行業，對有效應對大規模、高時效、智能化等一系列的數字化技術需求將越來越旺盛。

從應用趨勢來看，想要大規模應用實時智能決策技術，要保證技術已經實現高度的產品化。舉例來說，特征處理、模型訓練等底層技術產品化率較高，中大型客戶對數據采集、處理、計算等基礎功能需求最廣，產品化率也因此不斷提升，而面向應用價值的實時智能決策技術不容易實現高產品化率。隨著技術不斷積累和沉淀，決策模型的產品化率會逐漸提高。產品化是廠商期待實現的共同目標，但在實現產品化的同時也要保證對業務支持的靈活性，才能夠應對當下日益精細化的市場需求。

未來數字經濟建設中，很多企業需要通過場景感知，實時捕捉、識別和判斷客戶需求，實時從決策引擎中獲取業務價值平衡決策，并通過集中的后臺服務實時響應客戶需求。實時智能決策與分析領域的提前布局，是很多行業、企業在數字化轉型中實現高質量發展的關鍵舉措。

審核編輯 黃昊宇