18-4 字节跳动千亿文件 HDFS 集群实践 熊睦_哔哩哔哩_bilibili

Name: 18-4 字节跳动千亿文件 HDFS 集群实践 熊睦
Uploaded: 2023-09-19T00:21:46.000Z
Duration: 44 min 13 s
Channel: ALC_Beijing

ALC_Beijing

随着大数据技术的深入发展，数据规模和使用复杂度越来越高，Apache HDFS 面临着新的挑战。在字节跳动，HDFS 既是传统 Hadoop 数仓业务的存储，也是存算分离架构计算引擎的底座，还是机器学习模型训练的存储底座。字节跳动大数据存储团队基于 HDFS 本身，搭建了服务于大规模计算资源调度跨多地区的存储调度能力提升计算任务稳定性；也提供了统合用户侧缓存、常规三副本、冷存的数据识别和冷热调度能, 视频播放量 1808、弹幕量 0、点赞数 36、投硬币枚数 20、收藏人数 93、转发人数 11, 视频作者 ALC_Beijing, 作者简介 Apache Local Community 北京本地社区，相关视频：字节跳动 SparkSQL 降本增效实践，19-2 字节跳动 MapReduce到Spark 平滑迁移实践 魏中佳，18-6 字节跳动基于 Parquet 格式的降本增效实践 徐庆,王恩策，18-7 基于 Apache Calcite 的多引擎指标管理最佳实践 谢佳君，18-3 Apache Arrow DataFusion 极致性能的向量化执行框架 刘昆，Lance：面向多模态 AI 前沿的数据格式 - Lei Xu、Vino Yang，RobustMQ：探索如何用 Rust 重写消息队列 - Lobo Xu，从 Hadoop 到 Kubernetes：理想汽车大数据平台的云原生演进 - Han Qian，ApacheCon@Home 2020 中文主题 - 陈明雨 Apache Doris- 一个现代的面向大数据分析的MPP数据库，bRPC高性能最佳实践 中文演讲 周末

18-4 字节跳动千亿文件 HDFS 集群实践 熊睦

18-4 字节跳动千亿文件 HDFS 集群实践熊睦