中国联通智网创新中心大数据解决方案全栈自主创新,做活数据,赋智行业
日期:2023-06-15 来源:飞象网
2022年我国数字经济规模首次突破至50.2万亿元,占GDP比重达到41.5%,当下,推进数字经济和实体经济深度融合,已成为我国产业基础高级化与产业链现代化的重要途径。通过做活大数据,激活数据要素价值,加快业务数据化、数据业务化,深化大数据应用创新势在必行。
携手鲲鹏,夯实数字基座
中国联通智网创新中心紧密围绕集团全面数字化转型要求,以“强基固本、守正创新、融合开放”的新战略为指导,持续探索大数据技术创新和应用。
近日,智网创新中心大数据团队成功开发了国内首个全栈自主创新大数据解决方案。方案通过将领先的大数据技术和丰富的最佳实践相结合,提供了多项核心功能:
1、构建模块化、分层化、工程化DPI数据加工软件框架,支持数据实时计算和入库;
2、构建DPI数据的分层公共数据模型,支持数据的复用和共享;
3、提供全链路的数据质量稽核监控,支持数据一致性、完整性、正确性和及时性监控;
4、提供多样化数据应用产品,支持用户级感知详单实时输出和全国重点区域网络质量和感知质量准实时流式输出。
强基固本,深化融合创新
智网创新中心基于鲲鹏的大数据解决方案在行业中已形成了一定的先发优势,持续构建自主、可靠、领先的大数据技术能力是根本。
全栈、全流程独立自主:鲲鹏硬件和大数据核心软件自主创新,可持续演进;核心人员编排全自有;从方案设计到生产上线全独立自主部署。
超大规模集群:共计部署1100台鲲鹏服务器,配置存储容量100 PB,内存容量600 TB,以及10万CPU,具备处理海量数据和高并发计算方面的强大能力,并采用了多层次的故障切换和备份机制,保证系统的高可靠性
核心软件性能大幅提升:Flink采用“预加载维表关联”优化方法,维表对象总内存占用降低90%,算子对外部数据库的查询连接数减少90%;自主研发批量文件数据源接入方法,数据源接入时延减少50%,降低文件系统压力,增强系统鲁棒性;基于小文件优化策略创新,文件数量减少80%,大大降低NameNode压力,提升HDFS性能,增大数据保存周期等。
联合创新实现性能超越:智网中心联合华为基于鲲鹏大数据OmniRuntime套件算子下推、算子加速等新特性,在鲲鹏大数据平台能够实现查询效率相比现有平台提升53%。
数据赋能,创新场景应用
当前,智网创新中心基于鲲鹏的大数据解决方案已广泛应用,为疫情防控、抗震救灾、应急救援、防汛抢险、司法矫正、反欺诈等场景,供给高质量数据能力,支撑国家部委及政府工作。为智慧信息、数睿广告等多个公司行业大数据产品提供高品质核心数据。应用于集团内部,赋能中国联通网络精准建设、精准优化、智慧客服、端网业协同等数字化转型工作,实现降本增效。