近日在第二屆中國警務信息化建設成果推介活動中,經過公安客戶、技術專家和行業媒體的多輪篩選,明略科技的智慧公安數據中臺榮獲“最佳大數據解決方案獎”。
2019年很可能成為“數據中臺”元年,各行各業都在討論的數據中臺到底是什么?為什么要建立中臺?備受業內認可的明略智慧公安數據中臺的價值幾何?此篇文章將為您一一揭曉。
什么是數據中臺?
“如果需要對某個信息進行深度挖掘,但在系統中無法查詢,需要用另一個系統去查,數據在各系統之間無法共享,導致效率低下。各系統之間還會有功能和數據的沖突,服務和應用的沖突。”
為解決這些問題,就需要整合挖掘數據,打造數據中臺,漸漸讓各個體系融合在一起,建立統一的體系,就算再擴展業務也是納入這個中臺,用相同的技術和模式進行運營。由此看出,數據中臺的內核包括兩方面:一個是應用數據的技術能力,另一個是數據資產的管理。
本質上,數據中臺是基于方法論而實現的效率工具,行業數據中臺,則是“效率工具+行業知識+方法論+最佳實踐“的整合;是業務驅動的數據管理變革,是實現數據智能的有效路徑。
行業數據中臺架構
公安行業為什么要建立數據中臺?公安大數據發展主要問題:缺乏開放和融合
自2018年全國公安廳局長會議后,各地公安機關紛紛推進公安大數據戰略。要達到公安大數據建設中提到的“提升智能化水平、釋放警力、提高效能”,就必須要保證開放、融合。堅持集約化建設原則,打破部門警種壁壘,打通交換共享渠道,集聚優質資源,實現數據規模效益和價值最大化。但從目前情況看,“開放和融合”或成為公安大數據建設面臨的最大問題:
數據共享渠道壁壘未打通,數據深度共享層面尚未形成:安全域數據匯聚共享難,數據共享渠道不通暢,外部數據匯聚不通暢,評價體制尚未形成;
數據治理弱,應用智能化水平不高:大數據應用標準體系沒有建立,數據應用仍停留在傳統應用層面,數據智能應用體系仍處于起步階段,數據精準推送體系尚未建立;
體系不統一,數據應用能力不強:平臺技術架構互通互操作性差,數據應用支撐能力不強,數據應用發展不均衡。
目前公安體系正在努力推進新一代公安網的建設,將從根源上解決公安大數據發展過程中的主要問題,這也為國內數據中臺類的產品提供了廣闊的應用場景。
公安數據中臺核心價值:確保數據一致性和重用性,讓數據真正產生價值
數據中臺最核心的是數據管理體系,包括全局數據倉庫規劃、數據規范定義、數據建模研發、數據連接萃取、數據運維監控、數據資產管理工具等。
公安行業構建數據中臺,將能確保數據一致性和數據重用性。統一數據基礎模型將業務領域的數據實現互通,避免了數據重復加工、維護帶來的數據孤島效應和成本浪費。
從技術角度講,數據中臺是增加系統的靈活性,通過整合數據、產品和技術,形成強大的共享服務層,支持前臺各部門的業務發展。
從應用角度講,數據中臺是以業務視角呈現系統,讓數據真正產生價值,根據不同時期業務的需求和特點,能更快產生為業務服務的時效性應用。
獲得最佳大數據解決方案獎的“明略公安數據中臺“:多年技術與業務融合實踐的再升級
明略智慧公安數據中臺成功實現了對多源、海量、異構數據的實時和離線接入,打破數據孤島;解決數據標準化和管理問題,提升數據質量,管控數據資產,增益數據效能;數據深度加工,融合關聯全量異構數據形成知識圖譜,挖掘沉淀數據知識,為智能化分析及應用提供數據支撐;面向全警提供大數據資源服務,實現大數據成果慧警。
在明略看來,公安數據中臺包括四部分:
◆數據接入和融合:在分層解耦的前提下,對公安網絡大數據平臺和信息資源服務平臺數據資源,以及其他公安外部社會數據進行接入和融合,實現數據資源的集中匯聚;
◆數據關聯和統一:將數據中心,技術,數據庫等的海量數據信息采集,計算,加工,對數據的標準和質量進行統一;
◆數據資產積累:所有數據被整理后會形成行業特有的數據標準,再進行深入的挖掘,產出業務邏輯,算法模型和抽象統一,最后儲存起來,生成原始庫、資源庫、主題庫、知識庫等大數據資產,為業務服務;
◆數據服務:基于前三步的準備,開始定義服務中心和服務,提供數據資產管理目錄,根據實際需求提供實際業務。
因為公安數據的數據類型復雜,有上百種實體(人、案、物、地、組織等)、數十大類關系、成千上萬的事件類型,這給構建公安數據中臺帶來了巨大的困難。憑借多年與公安數據打交道的經驗,明略摸索出了一套基于知識圖譜的大型語義化網絡、對數據進行治理和知識構建的數據中臺構建之道。
基于“三個統一”原則的數據治理,完成公安數據中臺的艱難兩步走
秉承以下“三個統一”原則的數據治理服務,明略完成了數據關聯和統一、數據資產積累的艱難兩步走:
◆統一數據標準,數據規范定義、數據模型設計、數據開發規范;
◆統一實體,實體的屬性、關系、事件充分融合打通,讓數據融通而非以數據孤島的形式存在;
◆統一數據服務,實現數據復用,彈性可變換的模型構建,靈活支撐上層業務。
在這個過程中,明略擁有著高度產品化的工具依仗。明略自主研發的數據治理工具CONA,是行業內首款支持結構化與非結構化數據的自動化治理工具,能夠大規模、自動化地采集、清洗、歸類和關聯所有數據,形成統一數據視圖,大大提高行業知識圖譜構建效率。CONA集數據接入、數據清洗、數據融合、數據標準化、數據監控和數據管理于一體,實現AI驅動的數據治理。
從“數據治理”到“AI驅動的數據治理”,明略打造距離業務智能更近的數據治理方式
數據治理是任何公安系統建設的底層工作,當面對大量原有公安業務系統中近千張表,通過傳統數據治理工具需要半年以上才能完成的工作量,憑借CONA依靠AI驅動的自動數據治理能夠將過程縮短到2周以內,極大地提高了數據治理和關聯的效率,從而巨幅降低了行業大數據和行業人工智能的實施成本。
在數據標準化治理基礎上,基于公安的數據組成形式和特點,明略公安數據中臺通過多種手段整合數據,實現深度數據融合和廣泛的數據關聯。如:根據多點的時空軌跡特征,利用暴力挖掘、強化學習、遷移計算等方法,計算不同感知軌跡ID的關聯等。
此外,通過構建多層次的數據資源組織形態,明略提供二維表到多維圖的數據關聯組織,實現多源異構形態數據的集成治理能力,為不同實戰應用場景提供多樣化的信息支撐能力。
輸出統一數據服務,實現構建公安數據中臺的第三步
在完成數據中臺的前兩步準備后(數據關聯和統一、數據資產積累),就可實現輸出統一數據服務了:通過服務接口實現應用與數據隔離,加強數據安全管控,基于服務總線提供數資源目錄服務、全文檢索服務、數據鑒權服務、標簽服務、模型服務、應用服務、協同共享服務等。
公安數據中臺賦能實戰應用
公安數據中臺賦能實戰應用的呈現就是警務大腦。警務大腦的智慧,不僅僅來自數據+技術,還有大量一線民警及業務專家凝聚的研判法則,即通過業務知識實現智能模型,為應用提供高效支撐。
憑借多年覆蓋全國的公安項目實踐,基于對公安數據的治理經驗及業務理解,明略逐漸形成了基于“一主兩翼”的智慧警務解決方案架構,構建廣受認可的警務大腦,曾在公安情報指揮、刑偵、禁毒、治安、經偵、FK等各警種的實戰場景中屢獲佳績。
一主兩翼的“一主”指的是以明略公安知識圖譜產品為核心,融合了公安的標簽、軌跡、關系三大數據體系,為公安智能化應用提供高效服務支撐的公安數據中臺。“左翼”包括圖譜關聯檢索、全息檔案研判、在線比對碰撞等模塊,提供“從案到人、從案到案”的深度研判能力。“右翼”包括智能積分模型、高危團伙挖掘模塊等智能預測預警類應用,提供“從人到案、從證到供”的事前預測預警能力。
明略科技智慧警務解決方案
明略科技公安事業部總經理黃艷曾接受中國警察網采訪時談到,“數據中臺銜接了數據后臺與業務前臺,明略在把數據后臺規范化管理的同時,更把通用數據分析模型做成服務化接口,因此前臺業務人員不需要關注底層數據結構,可更專注于挖掘業務數據價值,從而提高實戰應用效率。”