演讲嘉宾
宋贞 DeepFlow 高级技术专家
2012年加入云杉,从云平台、SDN网络到云原生可观测性平台,对云基础设施和云原生应用系统有深厚的知识沉淀和实战经验,目前主要负责DeepFlow Server端的关键技术研究与开发。
演讲主题
《DeepFlow AutoTagging 10x 性能提升实战》
为了探究云原生应用系统的内部状态,我们希望向观测数据中注入尽量丰富的标签,这些标签以往通过开发人员手动在代码中注入,或通过配置 Promtheus、OpenTelemetry 实现,一方面造成了很大的工作量和资源开销,另一方面也导致不同信号源的数据标签不一致形成数据孤岛。
DeepFlow 依靠 AutoTagging 机制可以为所有观测信号统一注入标准的、丰富的标签,很好的解决了这些问题。本次直播将会为大家解密支撑 AutoTagging 高性能的关键机制 SmartEncoding。通过对标签数据的分离编码和查询时关联,我们将存储开销降低了 10~50 倍,并且能支持无限量的 K8s label/annotation 等信息作为业务自定义标签。通过 deepflow-server 提供的 SQL API,这些编码和关联机制对使用者完全透明,就像在一张大宽表上直接查询。
演讲提纲
l AutoTagging:为所有观测信号统一注入标准的、丰富的云基础设施及云原生应用标签
l SmartEncoding 分离编码:通过提前编码降低标签写入的资源消耗
l SmartEncoding 查询关联:为所有观测信号注入无限量的自定义标签
l 存储和查询观测数据中已有的(开发自定义、Prometheus、OpenTelemetry)标签
l 后续迭代计划:支持更丰富的自定义标签、支持通过 OTLP 协议 Export 数据
听众收获
l DeepFlow AutoTagging 和 SmartEncoding 的实现方法
l 如何 10x 降低可观测性数据平台的资源成本