豆瓣成立于 2005 年,是中国最早的社交网站之一。在 2009 到 2019 的十年间,豆瓣数据平台经历了几轮变迁,形成了 DPark + Mesos + MooseFS 的架构。
由机房全面上云的过程中,原有这套架构并不能很好的利用云的特性,豆瓣需要做一次全面的重新选型,既要考虑未来十年的发展趋势,也需要找到与现有组件兼容且平滑过渡的解决方案。一番改造后, 豆瓣数据平台目前形成了 Spark + Kubernetes + JuiceFS 的云上数据湖架构,本次将分享此次选型升级的整体历程。
在此可查看案例文字内容:https://juicefs.com/zh-cn/blog/solutions
如有帮助的话欢迎关注我们项目 [Juicedata/JuiceFS](https://github.com/juicedata/juicefs) 哟! (0ᴗ0✿)
如有问题欢迎添加:suavesu,进群交流~