12月30日,华为云TechWave云原生2.0峰会在深圳顺利举行。在此次大会上,华为云FusionInsight首席架构师徐礼锋出席并做主题演讲“华为云FusionInsight MRS云原生数据湖构建一企一湖、一城一湖”。

华为云FusionInsight MRS云原生数据湖为政企客户海量数据提供大数据解决方案,支持大数据实时分析、离线分析、交互查询、实时检索等应用场景,助力政企释放海量数据价值,实现一企一湖、一城一湖,业务洞见更准,价值兑现更快!

HC2020由华为云CTO张宇昕在峰会上重磅发布了华为云FusionInsight新一代智能数据湖,原FusionInsight HD与华为云MRS强强结合,架构、内核归一,全面升级到FusionInsight MRS云原生架构,将为客户提供以下更具竞争力的云原生数据湖:

OBS大数据存算分离方案:首先,相较传统大数据存算一体化方案,软硬件解耦,提供更高性价比、更灵活的OBS大数据存算分离方案。OBS+大数据将计算与存储资源按需灵活扩容,避免资源浪费,OBS采用企业级EC,传统大数据需3副本,华为提供最低1.2副本的大数据存算分离解决方案,存储利用率从33%提升至80%+,使得整体TCO降低60%+。其次,OBS大数据存算分离方案将数据统一存储在OBS,数据在一个支持多协议共享,实现多引擎共享,数据免搬迁;同时,全局一套数据,统一数据管理,从而降低了运维的难度。最后,在性能方面,OBS大数据存算分离方案通过算子下推、软硬件调优,与同等成本的集群相比,性能提升30%+。

Data Lake Catalog统一数据目录:相较传统数据孤岛,DLC统一全局数据视图,让元数据全局可见。DLC还兼容Hive MetaStore,性能超越其3~5倍,在保持高性能的前提下,实现数据的全局可视。

BMS裸金属服务器:相较传统虚拟机部署,性能零损耗。其兼具大数据所需资源弹性,更是做到分钟级发放。同时,华为云大数据具备独家的SDI技术,基于擎天加速卡,拥有超低时延,可做到100%释放完整算力,让大数据分析、计算等高CPU、高内存、高IO等计算密集型场景如虎添翼。

新版本的FusionInsight MRS云原生数据湖除过以上云原生优势,还在以下5个方面持续发力:

快:基于MRS可构建实时数据湖,湖内建仓,一份数据支持全场景,缩短分析链路,加速数据分析全过程。首先,在数据入湖方面,通过Hudi实现全量数据的T+0实时增量更新;其次,在数据集市构建方面,通过ClickHouse实时OLAP能力构建大数据实时数据湖,基于Kimball直面业务构建主题数据,湖内建仓将数据的贴源加工、整合关联、主题加工过程都在湖内完成,一份数据支持数据应用全场景,缩短数据加工链路;通过HetuEngine实现数据虚拟化访问,统一SQL接口,简化用数,全民BI!经实测,在某客户营销业务场景下(大表多表关联场景)使用HetuEngine,较传统大数据性能提升10倍!

融:助力客户从孤岛建设方式向云原生数据湖演进,提供跨源、跨域、跨引擎融合分析,数据免搬迁。

大:支持最大2万+节点大规模集群,可集群联邦无限扩容。

稳:支持在线滚动升级,无需拆集群、搬应用,使客户一个架构持续演进,十年无忧;支持资源隔离,业务互不影响;支持两地三中心高可用灾备,确保业务连续性!

开放:华为云FusionInsight MRS积极拥抱开源,与世界同行,已获专利500+;具有20+开源PMC&Committer,先后开放CarbonData和openLooKeng等组件。

同时,华为云FusionInsight MRS作为最懂行的大数据解决方案,拥有雄厚的技术研发实力,深入了解客户场景痛点,为政企数字化转型提供最坚实的数据底座,连续多年获得了客户和权威机构的认可。在IDC MarketScape报告中,华为云位居领导者(Leaders)象限,并在市场份额和技术实力两个维度双领先!2020年,华为云FusionInsight已连续四年入选中国大数据企业50强,并荣获金融行业大数据最佳解决方案奖、中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖。

截止2020年11月,华为云FusionInsight MRS云原生数据湖已广泛应用于政府、金融、运营商、大企业、互联网等行业,携手800+合作伙伴,服务于全球60+国家和地区3000+政企客户。

在金融领域,国内50%的TOP20金融客户(含银行、证券、保险等)均已使用华为云FusionInsight MRS构建其大数据平台。金融某大行之前使用传统大数据的三副本存储性价比低,往往10PB的存储空间,有效容量仅3PB;同时存在存储、计算等资源不均衡,往往存储利用率超过70%,但CPU利用率不足50%,扩容时需要计算、存储资源一起扩容,存在资源浪费现象;该金融客户使用FusionInsight后,实现了大数据平台与OBS对象存储服务的对接,在保证性能的前提下,实现了计算与存储独立按需扩容,提升整体资源利用率,TCO降低60%。

在运营商领域,国内三大运营商均使用华为云FusionInsight MRS构建其大数据平台。广东移动大数据平台的集群规模已超1500节点,日均处理作业21万+,承载业务达200+,其中包括对内精准营销、收入稽核,对外广告投放等关键业务,服务连续性需求较高。而大数据技术迭代快,传统升级方式需断电、重启等操作,升级操作复杂,运维繁琐,影响现网业务运行,且大集群升级耗时长,突发故障易中断升级动作。为了保持业务的连续性和技术引领,广东移动通过华为云FusionInsight MRS滚动升级能力,实现大集群分批次滚动升级,业务0中断;故障节点隔离功能确保升级动作的稳定运行,实现7*24小时不间断服务;1000+精细化运维指标及可视化操作简化运维,实现一个架构持续演进。

在交通领域,深圳地铁在6、10号线采用华为云FusionInsight MRS构建大数据分析平台,打造领先的5G+大数据方案,并构建其数据资产中心和运行监控中心,承载地铁各业务系统,支撑设备健康、能耗管理、客流统计、线路中心级监控、应急决策和图像型火灾分析等线路级数据分析,数据分析效率从周级缩短至分钟级,实现高效运营,推动深圳步入更美好的全联接数字化轨道交通新时代…

除过在以上各行业的应用,在环境保护方面,青海绿能数据有限公司基于华为云FusionInsight MRS构建了国内首个能源大数据创新平台,实现了规划辅助决策、用气象数据科学指导发电等创新业务,为上下游产业链企业提供25类47项数据服务,推动28座新能源场站实现了“无人值班、少人值守”,并有效支撑了青海“绿电15日”,以大数据为基石,建设绿色新青海,守护高原和谐生态。

同时,华为坚持“自己的降落伞自己先跳”,华为集团IT通过FusionInsight MRS构建OneData大数据集群,实现大数据平台在大规模场景下的开拓,OneData集群其规模已至1万+节点;同时,实现了统一的数据管理服务,在菩提海UniDB产品中,通过逻辑统一方式,把50+物理分散的计算集群(Hadoop),基于五统一(数据安全,元数据目录,数据集成,数据访问,任务调度),整合成湖仓一体的架构,支撑上千个企业租户的PB级数据分析处理需求。一个基于FusionInsight MRS 的“+治理,+AI,+运营,+云”的融合数据底座(菩提海)已经在华为集团IT广泛使用,未来可期。

以上只是“冰山的一角”,华为云FusionInsight MRS一方面不断深入理解客户不断发展的业务诉求,另一方面,持续技术创新并引领行业发展,商业诉求+技术创新双轮驱动行业可持续、高质量发展,“用数”助力客户商业成功!上面的论述已经充分证明,华为云是“懂行”的大数据领导者,真正让客户用好数、管好数、放心用,构建数字世界黑土地!