云原生下B站万亿规模管道化架构的演进

分论坛:技术创新

专题:云原生

分享时间:2022-11-27


内容简介:

伴随着B站多元化的高速发展,企业内部对数据的需求也变得越发强烈,而随着云原生时代的到来,数据集成作为大数据领域的建设基石,也有着更进一步的模式演进和架构升级,一方面要能覆盖采集复杂繁多的数据源,另一方面还要做到在万亿规模的数据体量下保障数据传输质量,容量伸缩、配额、多租户隔离等管道化的配套设施。本次演讲主要分享B站从数据的上报,边缘采集,实时传输,到流式分发的全链路一体化架构演进。核心内容要点包括边缘传输的架构实现,基于Flink流批一体的实时分发架构,以及云原生下管道化架构的关键配套设施与基础能力建设。

演讲提纲:

1. 传输体系面临的挑战 2. 边缘化传输架构的落地 3. 基于Flink实时分发架构的挑战 4. 云原生下管道化架构的基建能力

听众收益:

1. 了解大数据的整条传输分发链路 2. 了解数据的采集体系是如何在复杂需求的机制下构建的 3. 了解Flink流批一体的架构如何解决数据集成领域的各种问题 4. 了解云时代下数据管道化是如何结合云基础设施进一步来提升架构能力

联系我们
Contact Us
购票热线:4006-998-758
赞助合作:一竹 联系电话:18515447737 邮箱:sunyz@keylinking.com
媒体合作:Leo 联系电话:13717747738 邮箱:liumb@keylinking.com
活动地址
中国·上海