onsite
Token效能治理架构师 - TikTok研发
Backend Engineer
团队介绍:TikTok研发团队,旨在实现TikTok业务的研发工作,搭建及维护业界领先的产品。加入我们,你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景,支持产品在全球赛道上高速发展;也能接触到包括服务架构、基础技术等方向上的技术挑战,保障业务持续高质量、高效率、且安全地为用户服务;同时还能为不同业务场景提供全面的技术解决方案,优化各项产品指标及用户体验。 在这里, 有大牛带队与大家一同不断探索前沿, 突破想象空间。 在这里,你的每一行代码都将服务亿万用户。在这里,团队专业且纯粹,合作氛围平等且轻松。目前在北京,上海,杭州、广州、深圳分别开放多个岗位机会。 1、设计Token效能治理的整体架构,覆盖采集、归因、分析、预算、优化、评测、告警与运营闭环; 2、建立统一指标体系,包括单请求Token、有效Token比例、缓存命中、上下文利用率、单位任务成本、单位效果成本及Token—时延—质量联合指标; 3、推动推理链路优化,包括Prompt压缩、上下文裁剪、KV Cache、Prefix Cache、动态批处理、模型路由、大小模型协同及推测解码等方向; 4、深
About the role
团队介绍:TikTok研发团队,旨在实现TikTok业务的研发工作,搭建及维护业界领先的产品。加入我们,你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景,支持产品在全球赛道上高速发展;也能接触到包括服务架构、基础技术等方向上的技术挑战,保障业务持续高质量、高效率、且安全地为用户服务;同时还能为不同业务场景提供全面的技术解决方案,优化各项产品指标及用户体验。
在这里, 有大牛带队与大家一同不断探索前沿, 突破想象空间。 在这里,你的每一行代码都将服务亿万用户。在这里,团队专业且纯粹,合作氛围平等且轻松。目前在北京,上海,杭州、广州、深圳分别开放多个岗位机会。
1、设计Token效能治理的整体架构,覆盖采集、归因、分析、预算、优化、评测、告警与运营闭环;
2、建立统一指标体系,包括单请求Token、有效Token比例、缓存命中、上下文利用率、单位任务成本、单位效果成本及Token—时延—质量联合指标;
3、推动推理链路优化,包括Prompt压缩、上下文裁剪、KV Cache、Prefix Cache、动态批处理、模型路由、大小模型协同及推测解码等方向;
4、深入Agent工作负载,治理长上下文、工具调用、记忆注入、重复推理、失败重试与多轮交互中的Token浪费,建设成本归因和预算机制,将Token消耗下钻到业务、模型、场景、租户、版本及请求链路,支持预算控制与容量规划;
5、建立效果护栏和评测机制,确保Token优化不以任务成功率、回答质量、安全性或稳定性退化为代价;
6、牵引跨团队技术规划,沉淀平台能力、接入规范、最佳实践和治理SOP,推动重点业务规模化落地,识别行业技术演进对成本与架构的影响,形成中长期技术路线和关键技术预研。
1、计算机相关专业本科及以上学历,具备扎实的分布式系统、在线服务或AI基础设施经验;
2、5年及以上系统架构经验,主导过跨团队、跨链路的性能或成本治理项目;
3、熟悉大模型推理链路,理解Transformer、Tokenizer、Attention、KV