大模型评测团队负责人 （这个要高阶，找模型评测算法的人，从基础模型算法里边找人是比较合适的 ）尽量北京 ，人如果足够好，地点也可以商量 评测团队当前处于早期阶段，不是接手一套成熟流程做维护，而是亲手定义“大模型怎么评”的标准和方法论。。职位描述1、体系建设：从零到一构建覆盖文本、多模态（图/文/视频）、语音大模型的全生命周期评测体系，制定科学、客观、可量化的评测标准与指标；2、基建研发：主导自动化评测平台与工具链的架构设计，实现大模型在预训练、SFT、RLHF等各阶段的自动化、常态化评测，支撑十亿/百亿/千亿级模型的快速迭代；3、基准集打磨：构建高质量的通用评测集、行业垂类评测集以及对抗性测试集，确保评测集具备高区分度且严防数据泄露；4、业务赋能：紧密配合算法研发团队与业务团队，通过精准的诊断报告定位模型缺陷，为模型优化方向提供极具价值的“数据雷达”和改进建议；5、团队管理：负责评测团队的梯队建设与人才培养，管理内部评测算法工程师，平衡评测的成本、效率与准确度。职位要求1、学历背景：计算机、数据科学、人工智能或相关专业硕士及以上学历（博士优先）；2、工作经验：5年以上AI算法/NLP/多模态/语音相关研发或评测经验，2年以上团队管理经验；3、深入理解主流大模型（LLM, LMM, Audio-LLM）的原理、训练流程及局限性，精通主流开源评测框架（如 OpenCompass, AA等），并在多模态评估（VQA、视频理解）或语音评估（MOS、WER、端到端交互延迟）至少一个领域有深厚落地经验。4、熟悉 LLM-as-a-judge 机制，对人工评测（Human Evaluation）的信度/效度检验（如 Kappa 值、一致性校验）有严谨的方法论；5、极强的自驱力与批判性思维，对技术趋势敏感，能追踪最新的学术界/工业界评测动态。
发布于 浙江
5
2
1
未登录
友善发言
评论
加载中
