字节跳动云原生 YARN 实践|CommunityOverCode Asia 2023

502
0
2023-10-07 17:02:54
正在缓冲...
6
投币
4
2
转自https://www.bilibili.com/video/BV1Yw411e7rm/?vd_source=c09f0713b2507369924e94f4fec6c133 字节跳动内部离线业务具有庞大的规模,线上每天有数十万节点、数百万任务运行,每天使用的资源量达千万量级,内部由离线调度系统和在线调度系统分别负责离线业务和在线业务的调度管理。但随着业务规模发展,这一套系统暴露了一些短板:在离线属于两套系统,一些重大活动场景需要通过运维方式进行在离线资源转换,运维负担繁重,转换周期长;资源池不统一使得整体资源利用率不高,配额管控、机器运维等无法复用;大数据作业无法享受到云原生的各种好处,例如:可靠稳定的隔离能力、便捷的运维能力等。在离线系统亟待统一,而传统大数据引擎不是针对云原生设计难以直接云原生部署,各计算引擎和任务需要进行深度改造才能支持原先在 YARN 上的各种特性,改造成本巨大。基于此背景,字节跳动提出基于云原生的 YARN 解决方案 —— Serverless YARN,其 100% 兼容 Hadoop YARN 协议, Hadoop 生态下的大数据作业无需修改即可透明迁移到云原生系统上,在线资源和离线资源间可以高效灵活转换、分时复用,集群整体资源利用率得到显著提升。
分享字节跳动开源动态~
自动连播
5.2万播放
简介
字节跳动基于 PARQUET 格式的降本增效实践|CommunityOverCode Asia 2023
22:36
字节跳动 Spark 支持万卡模型推理实践|CommunityOverCode Asia 2023
27:25
字节跳动深度学习批流一体训练实践|CommunityOverCode Asia 2023
26:31
字节跳动千亿文件 HDFS 集群实践|CommunityOverCode Asia 2023
43:43
字节跳动云原生 YARN 实践|CommunityOverCode Asia 2023
21:40
字节跳动 MapReduce -> Spark 平滑迁移实践|CommunityOverCode Asia 2023
32:16
没有 Zookeeper 的 Kafka|CommunityOverCode Asia 2023
36:21
基于 Apache Calcite 的多引擎指标管理最佳实践|CommunityOverCode Asia 2023
52:37
基于 FLINK 构建实时数据湖的实践|CommunityOverCode Asia 2023
31:10
大数据行列混合权限精细化管理实践|CommunityOverCode Asia 2023
36:58
主题演讲《开源贡献难吗?》李本超|CommunityOverCode Asia 2023
20:31
客服
顶部
赛事库 课堂 2021拜年纪