邓土芬
语言数据处理方向【岗位职责】1、参与大模型预训练语料清洗框架研发，建设稳定、高效、可扩展的大规模数据处理平台，建设面向海量数据的离线处理能力，支持复杂数据链路的调度、运行、恢复和监控。2、研发核心语料清洗能力，负责 MinHash 去重、向量去重等关键环节，与算法、训练、搜索和基座团队协作，快速落地新的数据策略。3、维护日常生产流水线，支持每日增量处理、任务调度、数据统计、质量回归、线上问题排查和稳定性保障。4、优化大规模数据清洗系统的性能、稳定性和可观测性，完善日志、指标、监控、测试与调试工具。【岗位要求】1、计算机、人工智能相关专业，本科及以上学历。2、熟练使用 Python 及任意一种常用数据处理工具链（pandas / spark / duckdb 等）。【加分项】1、对世界有好奇心，对模型行为有自己独特的理解。2、对模型能力边界有敏锐判断，善于发现模型在真实场景中的短板和失效模式。3、优秀的跨团队沟通能力，能与标注、产品、工程等多角色高效协作。4、有大规模数据清洗 pipeline 落地经验（TB级别 tokens）。
发布于 北京
1
1
赞
未登录
友善发言
评论
加载中
