打造 AI 的数据动脉:统一多模态数据流水线的架构与实践-Xiaochen Zhou

112
0
2026-08-31 08:00:21
3
投币
4
2
在 GenAI 时代,多模态数据的海量流动需要坚实的基础设施,然而割裂的数据流水线已成为企业的关键瓶颈。在同程旅行,我们历史上并行运行着 4 套互不相通的数据流水线服务(离线同步、实时入湖、老旧的 Sqoop,以及一套独立的 SeaTunnel 服务)。这种割裂带来了极高的维护成本,也阻碍了统一的数据治理。 本次演讲将详细讲解我们如何通过平台化,成功打造一条统一的"数据动脉"。我们将探讨如何整合数据入口,并基于 Apache SeaTunnel 构建真正"批流一体"的基础架构,全面支撑从传统数仓到现代 AI 场景的数据流转。 核心内容: 1. 打破数据孤岛:深入讲解基于 Apache SeaTunnel 引擎设计的统一多模态数据流水线服务,平滑替换并整合 4 套老旧集成系统,实现彻底的架构标准化。 2. 计算增强与 AI 多模态赋能:探讨如何将 SeaTunnel 的 Transform 机制与实时流处理能力深度融合,高效执行复杂的数据清洗与动态转换。我们将重点呈现对 AI 工作负载的硬核支撑,包括非结构化数据的实时解析,以及面向 LLM 的 Embedding 预处理。 3. 零停机迁移与严格校验:分享海量存量任务迁移的企业级实践。我们将详细讲解所设计的"动态任务转换与双向数据比对(reconciliation)机制",确保在底层架构升级过程中零数据丢失,并实现业务的无缝过渡。 4. 面向未来的云原生演进:展望多模态统一数据流水线的蓝图。我们将讨论基于 Kubernetes 的云原生容器化部署以实现弹性伸缩,以及如何与 LLM 生态深度融合,构建坚实的 Data+AI 底座。
Apache Local Community 北京本地社区
492播放
简介
增强元数据发现能力:Gravitino + OpenSearch-Yu Hui
24:04
从"可用"到"可治":Apache SeaTunnel 中的 ClassLoader 生命周期治理实践-杨金祥
27:08
从自然语言到可靠的数据流水线:为 Apache SeaTunnel 打造 AI 驱动的 CLI-Xin Zhang
43:06
为什么 SeaTunnel Engine 需要更清晰的分布式抽象-Doyeon Kim
19:24
AI 时代的工作流编排: 规模化数据处理的全新挑战与实践完成平滑的内核级架构治理升级-LiWeiYang
43:06
打造 AI 的数据动脉:统一多模态数据流水线的架构与实践-Xiaochen Zhou
20:20
客服
顶部
赛事库 课堂 2021拜年纪