- 【超级实习生】算法开发岗(大模型高性能推理优化)-北京
- [实习]
- ——
- 【超级实习生】算法开发岗(大模型高性能推理优化)-北京
- 收藏
- 举报
- 面议
- |
- 博士及以上
- |
- 招聘 人数不限
- 11-02 18:00 更新
-
北京市丰台区
职位详情
1、负责大模型高性能推理核心技术研究与优化,面向 Dense、MoE 等不同模型架构,围绕吞吐、时延、显存/内存利用率及资源效率开展系统性优化,持续提升大模型在线推理服务性能。
2、负责大模型推理框架优化,深入研究 vLLM、SGLang等主流推理框架,开展调度策略、并行策略、显存管理、模型加载、通信及计算优化,推动推理框架在 GPU、NPU 等异构算力平台上的高效适配与落地。
3、负责 KV Cache 体系及长上下文推理优化,研究 Prefix Cache、多级 KV Cache、HBM/DRAM 分层缓存、Cache-aware/Affinity Scheduling 等关键技术,提升长上下文及高前缀复用场景下的缓存命中率与推理效率。
4、负责大模型分布式推理架构研究,探索 Prefill-Decode 分离、TP/DP/EP 并行、MoE Expert Parallel、动态专家负载均衡等技术,针对大规模集群开展通信、负载均衡及资源调度优化。
任职条件:
1、博士及以上学历在读,计算机科学、人工智能、软件工程等相关专业。
2、具备扎实的计算机体系结构、并行计算、深度学习及大模型基础,对 Transformer、MoE、Attention、KV Cache 及大模型推理过程有深入理解。
3、具备大模型推理系统研发或性能优化经验,熟悉 vLLM、SGLang、MindIE 等至少一种主流推理框架,对调度、显存管理、Continuous Batching、Prefix Cache、CUDA/NPU Graph 等关键机制有深入理解者优先。
4、熟悉大模型分布式推理技术,理解 Tensor Parallel、Data Parallel、Pipeline Parallel、Expert Parallel、Prefill-Decode 分离等并行与部署架构;具备 MoE 专家负载均衡、KV Cache 优化或大规模 Serving 系统实践经验者优先。
5、熟悉AI 加速硬件及其软件栈,具备昇腾 Ascend 等平台上的模型部署、性能分析或软硬件协同优化经验者优先。
6、熟练掌握 Python、C/C++ 等编程语言中的至少一种,熟悉 PyTorch;具备性能 Profiling、通信分析、算子优化、分布式系统或高性能计算相关开发经验。
中移九天人工智能科技(北京)有限公司
-
- 所属行业 计算机服务(系统/数据/维护/安全)
- 涉及领域 --
- 公司性质 国有企业
- 公司规模 1000-4999人
- 公司网址 --
- 所在地址 金泽大厦(广宁伯街)
看了该职位的人还会看 更多