2022年我國數(shù)字經濟規(guī)模首次突破至50.2萬億元，占GDP比重達到41.5%，當下，推進數(shù)字經濟和實體經濟深度融合，已成為我國產業(yè)基礎高級化與產業(yè)鏈現(xiàn)代化的重要途徑。通過做活大數(shù)據，激活數(shù)據要素價值，加快業(yè)務數(shù)據化、數(shù)據業(yè)務化，深化大數(shù)據應用創(chuàng)新勢在必行。
以運營商行業(yè)網絡數(shù)據處理技術應用為例，通過智能分析和挖掘用戶使用業(yè)務感知、設備信息、網絡質量等海量數(shù)據，提煉價值信息和規(guī)律性模式，不僅有助提升運營商的服務質量、商業(yè)決策、安全防護效果，也可以為政務、金融、新零售等多個行業(yè)提供高價值大數(shù)據產品，為行業(yè)數(shù)字化轉型賦能。
攜手鯤鵬，夯實數(shù)字基座
中國聯(lián)通智網創(chuàng)新中心緊密圍繞集團全面數(shù)字化轉型要求，以“強基固本、守正創(chuàng)新、融合開放”的新戰(zhàn)略為指導，持續(xù)探索大數(shù)據技術創(chuàng)新和應用。
在海量數(shù)據加工領域，為避免核心技術“卡脖子”成為制約創(chuàng)新發(fā)展的阻力，智網創(chuàng)新中心大數(shù)據團隊堅持沉淀創(chuàng)新研發(fā)技術，近日，成功開發(fā)了國內首個全棧自主創(chuàng)新大數(shù)據解決方案，該方案基于鯤鵬構建算力平臺，提供10萬個計算核心，軟件層基于開源Flink+Hadoop自研，具備獨立自主、開源開放、存算分離、批流一體的優(yōu)勢。方案通過將領先的大數(shù)據技術和豐富的最佳實踐相結合，提供了多項核心功能：
l 構建模塊化、分層化、工程化DPI數(shù)據加工軟件框架，支持數(shù)據實時計算和入庫(上億QPS)；
l 構建DPI數(shù)據的分層公共數(shù)據模型，通過數(shù)據服務化的方式支撐前端數(shù)據應用，支持數(shù)據的復用和共享；
l 提供全鏈路的數(shù)據質量稽核監(jiān)控，支持數(shù)據一致性、完整性、正確性和及時性的監(jiān)控，第一時間問題“早發(fā)現(xiàn)，早恢復”；
l 提供多樣化數(shù)據應用產品，支持用戶級感知詳單實時輸出和全國重點區(qū)域網絡質量和感知質量準實時流式輸出。
方案實現(xiàn)了對網絡全域數(shù)據的集中采集、存儲、加工、分析，面向全國一點提供網絡數(shù)據服務，構筑起聯(lián)通網絡創(chuàng)新與數(shù)字化運營轉型的堅實基座，并進一步激發(fā)大數(shù)據在更多行業(yè)應用的巨大潛力。
強基固本，深化融合創(chuàng)新
智網創(chuàng)新中心基于鯤鵬的大數(shù)據解決方案在行業(yè)中已形成了一定的先發(fā)優(yōu)勢，持續(xù)構建自主、可靠、領先的大數(shù)據技術能力是根本。
全棧、全流程獨立自主：鯤鵬硬件和大數(shù)據核心軟件自主創(chuàng)新，可持續(xù)演進；核心人員編排全自有；從方案設計到生產上線全獨立自主部署
超大規(guī)模集群：共計部署1100臺鯤鵬服務器，配置存儲容量100 PB，內存容量600 TB，以及10萬CPU，具備處理海量數(shù)據和高并發(fā)計算方面的強大能力，并采用了多層次的故障切換和備份機制，保證系統(tǒng)的高可靠性
核心軟件性能大幅提升： Flink采用“預加載維表關聯(lián)”優(yōu)化方法，維表對象總內存占用降低90%，算子對外部數(shù)據庫的查詢連接數(shù)減少90%；自主研發(fā)批量文件數(shù)據源接入方法，數(shù)據源接入時延減少50%，降低文件系統(tǒng)壓力，增強系統(tǒng)魯棒性；基于小文件優(yōu)化策略創(chuàng)新，文件數(shù)量減少80%，大大降低NameNode壓力，提升HDFS性能，增大數(shù)據保存周期等。
聯(lián)合創(chuàng)新實現(xiàn)性能超越：智網中心聯(lián)合華為基于鯤鵬大數(shù)據OmniRuntime套件算子下推、算子加速等新特性，在鯤鵬大數(shù)據平臺能夠實現(xiàn)查詢效率相比現(xiàn)有平臺提升53%。
數(shù)據賦能，創(chuàng)新場景應用
當前，智網創(chuàng)新中心基于鯤鵬的大數(shù)據解決方案已廣泛應用，為疫情防控、抗震救災、應急救援、防汛搶險、司法矯正、反欺詐等場景，供給高質量數(shù)據能力，支撐國家部委及政府工作，履行央企責任。為智慧信息、數(shù)睿廣告等多個公司行業(yè)大數(shù)據產品提供高品質核心數(shù)據，不斷為聯(lián)通帶來新的業(yè)務增長點。應用于集團內部，賦能中國聯(lián)通網絡精準建設、精準優(yōu)化、智慧客服、端網業(yè)協(xié)同等數(shù)字化轉型工作，實現(xiàn)降本增效。
未來，中國聯(lián)通智網創(chuàng)新中心將持續(xù)瞄準大數(shù)據、云計算、物聯(lián)網等技術前沿，基于鯤鵬研發(fā)網絡創(chuàng)新產品、賦能網絡運營轉型、催化網絡能力增值，打造全球領先的技術研發(fā)與服務平臺，面向全聯(lián)通、面向全行業(yè)提供互聯(lián)網及信息服務，提升產業(yè)供給能力和行業(yè)賦能效應，助力數(shù)字經濟高質量發(fā)展。
