嘉賓 | 潘臻軒
編輯 | 忠良
在網際網路時代，圖資料越來越多地呈現出海量和動態等特性，靜態圖計算的模型和方法難以應對資料處理的需求。而流式圖計算能基於實時變化的資料，流式地構建動態圖資料關係，並基於動態變化的圖資料之上實時地進行分析、計算和挖掘，是圖計算主流技術分支。
InfoQ 作為技術媒體對技術趨勢保持著格外的關注，本次我們採訪了螞蟻流式圖計算團隊負責人潘臻軒。流式圖計算是螞蟻大規模圖計算系統 TuGraph 的重要組成部分，可以有效地挖掘資料關係變化的趨勢和異動，承擔著重要的近線非同步圖計算等功能。潘臻軒為我們分享了螞蟻流式圖計算的應用經驗，以及圖計算在未來的發展趨勢。
“在 2017 年左右，那個時候對圖概念有了解的人並不多，即使有，也是僅限瞭解資料庫（比如業界的 Neo4j）和離線圖計算系統（Google 的 Pregel 等），當時，在工業界，根本沒有看到成熟的流式圖計算系統，也沒用看到典型的應用案例，我們只能摸著石頭過河。”
在與 InfoQ 聊到流圖計算的時候，潘臻軒表示，在那個時候，流圖計算專案僅僅算是內部探索專案，具體能否跑通，無人知曉。“作為這個專案的探路人，我也僅僅知道原理上可行，實際是否跑得通，還需要打問號”。
最初始階段，流圖計算團隊僅僅只有兩名成員。“我自己必須相信這個事情，才能吸引更多的人加入進來”，當談到最難的事的時候，潘臻軒如此說道。據他回憶，那個時候的他們，一方面需要探索系統應該如何去設計和構建，另外一方面需要找到典型的應用案例，證明流式實時圖的業務價值，從而才能讓更多的人相信該方向的價值。
嘗試、探索與驗證
踏過 2018 年，探索時間已經有一年多，潘臻軒也找到了可以使用流圖計算的場景。“那個時候，我們團隊主要去尋找適合流圖的應用場景，同時也貼合業務場景打造核心引擎的能力。在螞蟻內部信用風控等小的場景也做了一些落地嘗試。”潘臻軒這樣說道。
直到 2018 年雙十一，流圖計算才真正證明了自己的價值。在潘臻軒的一篇文章中曾提到，流圖計算做到了在雙十一大促極端流量高峰情況下，動態識別超過六度關係鏈（隱蔽性強）的異常資金風險，這一風控能力在業界也非常領先。
這個時候，流圖計算又出現了另外兩個問題，那就是如何讓使用者更多更好地用起來？首先是流式鏈路相對於離線圖計算整體的鏈路會複雜很多，相對於圖資料庫又會出現可互動性不強等問題，往往是業務方想用，但由於門檻較高而無法真正用起來。其次，當時流式圖計算團隊只有 3 位同學，由於系統完全是自主研發，因此核心上也有很多功能和特性需要完善。
當聊到如何解決門檻問題和人力問題的時候，潘臻軒坦言：“比較好的解決方案是讓大家相信流式圖計算本身的價值，一方面透過雙十一標杆場景帶來的業務場景做驅動，讓大家感知到，採用流式圖計算可以獲得非常好的業務效果。另一方面和中臺更好地聯動，透過支援特定的中臺（比如知識圖譜）快速覆蓋一類場景使用者，從而形成規模增長的飛輪，讓更多的業務用起流式圖計算。”
的確，只有不斷驗證流圖計算的價值，才能應對接踵而至的挑戰。當解決了這些問題之後，螞蟻流圖計算踏入了第三個階段，大約在 2020 年左右，隨著圖在螞蟻應用的越來越廣，體系化的建設給流圖計算團隊帶來了很大的挑戰。於是他們將流圖的能力從兩邊延伸提供了離線上一體化的能力，使得使用者可以基於一套 DSL 支援基於離線上的資料進行實驗。
就這樣，流式圖計算系統逐漸成為了螞蟻圖計算系統裡面的核心成員之一。根據潘臻軒介紹，當前的圖計算引擎廣泛應用到螞蟻的安全風控、信貸風控、知識圖譜、資料血緣、資金分析、流量歸因分析以及會員關係等場景。
進入 2022 年之後，螞蟻圖計算團隊開始了新的探索與創新，例如探索大規模的分散式圖機器學習系統、下一代圖資料庫以及線上圖計算系統的前沿能力探索，同時也將成熟的圖計算技術對外開放，應用於金融、能源、政務等領域。當前 GeaFlow 團隊也在積極的和外部交流溝通，希望將流式圖計算的能力開放到外部的場景，從而讓業界更多更好的使用圖計算的能力，發揮圖計算的價值。
創新與升級
這幾年的升級主要包含圍繞
流式圖體系化
的一系列工作，同時也繼續深化系統核心。在體系化方面，圍繞流式圖計算引擎，螞蟻圖計算團隊構建了從互動式離線圖探索到基於歷史資料長週期離線圖模擬，再到流式近線圖計算、動態時序圖計算等一套完整的流式圖計算體系。在系統核心方面，他們構建了計算和儲存分離，支援超大規模圖狀態管理和儲存。同時也圍繞圖特有的熱點 / 大點做了相關的深度最佳化。
流式圖計算在螞蟻基礎設施技術的應用越來越廣，當前， 螞蟻的大規模圖計算系統持續地不斷突破，已經成為螞蟻風控的核心基礎設施之一，流式圖計算是其中的重要組成部分。
流式圖計算在螞蟻集團主要承擔以下兩方面的職責。首先，隨著業務對圖的應用越來越廣泛以及對圖的理解越來越深刻，簡單圖關係的線上查詢並不能完全滿足業務場景的訴求，因此業務迫切地需要支援複雜圖查詢 / 圖計算的線上和實時處理能力。由於線上場景對延遲的要求非常高，因此當前業務會基於流式圖計算引擎構建複雜圖查詢 / 圖計算的預處理，從而將計算好的資料提前寫到 KV 儲存中，從而提供極低延遲的線上查詢能力。基於這樣的能力，螞蟻風控系統當前更好地組合了線上圖資料庫提供低延遲簡單圖查詢能力，以及流式圖計算提供複雜圖查詢 / 計算的實時圖計算能力，從而進一步在螞蟻內部讓業務更好地使用圖計算系統。
其次，隨著資料化和智慧化的進一步演進，流式圖引擎也更多地和圖的智慧化結合，比如和螞蟻的圖學習團隊合作，構建動態圖的離線訓練和實時圖推理能力。其中流式圖引擎提供離線上一體圖計算能力，既可以支援基於歷史資料進行模擬回溯驗證，也支援流式資料的實時圖處理能力。同時當前流式圖計算引擎還支援一套 DSL，從而打通使用者的離線訓練和流式上線兩個階段，極大地提升了研發的效能和使用體驗。
未來幾年，賽道可期
當我們談到，流式圖計算引擎 GeaFlow 的本質以及未來發展時，潘臻軒這樣說道：“GeaFlow 從技術上說是圖計算和流式計算融合交叉的計算技術，從計算語義和計算模型上，它更貼近於圖計算的語義和模型。從業務的使用角度來看，它更偏向流式計算，也會用到流式計算的相關技術。流式圖計算本質上還是一種增量計算，但是從計算語義和資料模型的角度是以圖為中心的視角。”
同時潘臻軒還表示，“我個人認為未來圖計算領域會越來越成熟並且越來越標準化。在資料體系方面，未來圖計算會像通用大資料體系一樣，越來越完備。比如圍繞實時的圖資料，可以構建一整體實時圖數倉的體系，基於這樣一套實時圖數倉的體系，可以構建圖資料實時的資料處理、實時圖資料訪問。既可以提升圖資料的鮮活性，還可以更大的發揮圖資料的價值。同時，在算力上，我相信圖計算的能力也會越來越強，更多的業務場景會採用圖資料結構，從而進一步深度的挖掘資料的價值，並且隨著算力的增強，也會有越來越來的圖計算場景從離線走向實時，從實時走向線上。”
就在去年，人民日報曾發文稱：在我國發展高效能圖計算，具備良好的技術基礎和現實條件。一方面，人們如今的日常生活離不開高效能計算。天氣預報、新藥研發、新型材料、安全係數更高的汽車、高鐵和飛機等都需要高效能計算作支撐。另一方面，由於圖的優秀表達能力、視覺化效果和堅實的數學基礎，圖計算也已在國家安全、金融安全等方面有很高的價值。有研究報告顯示，到 2023 年圖技術將促進全球 30% 企業的快速決策場景化，圖技術應用的年增長率超過 100%。
以螞蟻集團為例，圖計算已被成熟應用於螞蟻集團的支付和數字金融場景，為風控、反洗錢、反套現和社交網路應用提供了穩定的決策支援能力。其中，支撐支付寶的重要風險識別能力提升了近 100 倍，風險審理分析效率提升 90%。
數字化浪潮越卷越大，企業的線上資料也越來越多。透過資料進行決策一定會涉及到資料化的分析和運營，而圖作為一個高維的資料結構，可以更好地挖掘資料的關聯特性，為企業提供精準高效的決策。圖計算賽道未來的發展，值得期待。
活動推薦
在 6 月 19 日和 20 日，ArchSummit 全球架構師峰會即將落地上海，潘臻軒講師也會親臨現場與大家交流，另外在此峰會上，我們一共設定了十五個專題，其中包含大資料與人工智慧、中介軟體開發實戰、移動端開發實踐、微服務架構設計等等，詳細專題內容可透過下方 Banner 掃碼瞭解，期待和你一起現場交流。
點個在看少個 bug