崗位職責:
1.負責ai infra存儲方向性能分析,探索推理框架kv
ca
che與存儲系統的深度集成,優(yōu)化大模型推理性能;
2.推動存儲與大模型加速相關的生態(tài)建設,包括接口標準化和系統間互操作性,
設計和實施ai infra中kv
ca
che和存儲的軟硬結合解決方案;
3.負責持續(xù)跟進llm前沿技術和開源方案,結合存儲完成場景化分析,并落地存儲
產品,提升存儲智能化競爭力。
職位要求:
1.計算機科學、軟件工程或相關專業(yè),有ai工程優(yōu)化經驗;
2.熟悉主流aig
c算法模型原理,熟悉llm/
cv/nlp/推薦系統等業(yè)務場景的系統和原理;
3.熟悉業(yè)界常用的大語言模型推理加速框架,如vllm.tensorrt-llm、or
ca、llama.
cpp等;
4.具備分布式系統的研發(fā)經驗,有優(yōu)化系統性能問題的能力和經驗,有以下一個或者多個條件者優(yōu)先:
1)有超大規(guī)模模型研發(fā)經驗,涉及
數據、訓練、部署、評估等相關工作;
2)具有大規(guī)模模型服務部署、優(yōu)化經驗;
3)了解主流llm模型,熟悉tensorrt-llm、or
ca、vllm并有l(wèi)lm模型訓推加速經驗;
4)熟悉主要云廠商的ai infra解決方案,有分布式計算和存儲項目經驗。