onsite
Token Foundry-大模型应用后端工程师(LLM Application Backend Engineer)-北京/杭州
AI Engineer
1、大模型应用系统架构设计:设计并实现大模型应用整体后端架构(API 层、编排层、Agent 层、工具层);构建 LLM + RAG + Tool Calling + Workflow 的服务框架;构建稳定可复用的大模型调用封装层。 2、Agent 与工作流系统开发:构建可扩展的 Agent 执行框架(ReAct / Planner-Executor / Multi-Agent);设计工具调用协议(MCP、Tool Schema、Function Calling);支持复杂任务拆解、状态管理、上下文管理、长短期记忆管理。 3、RAG 与知识系统建设:构建知识索引与向量检索系统;设计高性能 embedding + 向量数据库架构;优化召回准确率、时效性与成本效率。 4、高并发与稳定性保障:构建支持高并发请求的大模型服务网关,优化模型调用延迟与成本,设计缓存机制,保障 SLA、容灾、限流、熔断。 5、多模态与实时系统支持:支持文本、语音、图像、多模态模型接口;支持流式输出(Streaming);构建实时交互系统(如 AI 助手)。 1、本科及以上学历,计算机相关专业,2年以上后端开发经验。
About the role
1、大模型应用系统架构设计:设计并实现大模型应用整体后端架构(API 层、编排层、Agent 层、工具层);构建 LLM + RAG + Tool Calling + Workflow 的服务框架;构建稳定可复用的大模型调用封装层。
2、Agent 与工作流系统开发:构建可扩展的 Agent 执行框架(ReAct / Planner-Executor / Multi-Agent);设计工具调用协议(MCP、Tool Schema、Function Calling);支持复杂任务拆解、状态管理、上下文管理、长短期记忆管理。
3、RAG 与知识系统建设:构建知识索引与向量检索系统;设计高性能 embedding + 向量数据库架构;优化召回准确率、时效性与成本效率。
4、高并发与稳定性保障:构建支持高并发请求的大模型服务网关,优化模型调用延迟与成本,设计缓存机制,保障 SLA、容灾、限流、熔断。
5、多模态与实时系统支持:支持文本、语音、图像、多模态模型接口;支持流式输出(Streaming);构建实时交互系统(如 AI 助手)。
1、本科及以上学历,计算机相关专业,2年以上后端开发经验。
2、熟练掌握Go / Python / Java等至少一门后端语言;熟悉微服务架构设计与分布式系统。
3、大模型相关经验:有 LLM应用开发经验;熟悉Context Engineering;熟悉 RAG 架构与向量数据库;熟悉主流大模型 API使用与优化(满足其中任意2项即可)。
4、熟悉 Redis / MySQL / Kafka 等中间件;有高并发系统设计经验;熟悉容器化与云原生(K8s);具备良好的代码结构设计与工程规范意识。
加分项:
1、有 Agent 系统设计经验;有系统级 AI 助手经验。
2、有多模态模型接入经验;有模型成本优化经验(Token 优化、批处理、缓存);有从 0 到 1 构建 AI 应用平台经验。
3、具备To
Skills
aiapikafkakubernetesllmmcpmysqlpythonragreactredis