首个大规模、可商用的中文指令数据开源

为了推动我国大模型技术及应用的引领创新，解决中文语料数据稀缺的痛点， 4月21日， 智源研究院等发布了首个大规模、可商用的中文开源指令数据COIG（Chinese Open Instruction Generalist）。

1、数据概况

COIG 是目前全球首个指令类型丰富且可商用的中文指令集，其中包含 5 个子数据集，包括翻译指令、考试指令、人类价值观对齐指令、反事实修正多轮聊天、Leetcode指令，总计 191k  数据，聚焦中文语料、数据类型多样、经过了人工质检与修正，质量可靠且可以商用。

2、指令类型

作者对三个数据集进行了翻译工作，包括具有1,616个任务描述和示例的Super-Natural Instructions数据集，175个种子任务的Self-Instruct数据集，以及66,007个指令的Unnatural Instructions数据集。整个翻译过程分为自动翻译、人工验证和人工修正三个阶段，以确保翻译结果的准确性和可靠性。

在自动翻译阶段，作者将指令和实例的输入输出组合在一起，然后使用 DeepL 进行翻译。

在人工验证阶段，作者为注释者定义了四个标签，根据指令是否可用和需要的修正程度进行分类。作者使用两阶段质量验证方法进行人工验证，第一阶段由经验丰富的质量检查员进行验证，只有正确率超过95%的案例才能进入第二阶段。在第二阶段，专家质量检查员从总语料库中随机抽取200个案例进行验证。

在人工修正阶段，注释者需要将翻译后的指令和实例纠正为正确的中文三元组{指令，输入，输出}，而不仅仅是保持翻译的准确性。这是因为在 unnatural instructions 中存在事实错误，这可能会导致LLMs出现 hallucination. 作者同样使用两阶段质量验证方法进行人工修正，第一阶段的正确率为97.24%。

中国的高考、中考和公务员考试题目中包含各种问题类型和详细的分析，这些考试可以用来构建思维链（CoT）语料库,用于增强模型推理能力。 COIG 包含了从这些考试中提取的六个信息元素，包括指令、问题背景、问题、答案、答案分析和粗粒度学科。 这些语料库中的六个主要学科是语文、英语、政治、生物、历史和地质。数学、物理和化学问题很少在语料库中出现，因为这些问题通常包含难以注释的复杂数学符号。

为了尊重和反映不同文化背景所带来的主要差异，COIG数据集中的价值观对齐数据被分为两个独立的系列：

一组展示中文世界共享人类价值观的样本。作者选择了50个指令作为扩充种子，并使用中文世界通用的价值观对齐样本，生成了3,000个结果指令。另外一些展示特定区域文化或国家特定人类价值观的样本集。以下是数据示例：

考虑到与代码相关的任务可能有助于LLM能力的涌现， COIG 从CC-BY-SA-4.0许可下的2,589个编程问题中构建Leetcode指令。这些问题包含问题描述、多种编程语言和解释（其中 834个问题尚没有解释）。编程语言分类统计如下图所示：

通过分析 ChatGPT 成功的关键几步：（1）大规模语料预训练；（2）监督指令精调(Supervised Instruction Fine-Tuning)；（3）基于人类反馈的强化学习(RLHF)，不难发现数据策略在其中的决定性作用。（详情可点击👉 《ChatGPT的成功，源自数据策略的精巧设计》 ）

根据OpenAI发布的InstructGPT论文可以推测，ChatGPT的训练需要四个数据集：

3、RM（Reward model）数据集： 人工将模型输出的所有结果从好到差进行排序的排序数据集

4、PPO（Proximal Policy Optimization）数据集： 没有被标注过的问题数据集

通过上述介绍，大家可以看出，COIG中文指令集属于SFT（Supervised fine-tuning）数据集，在大语言模型微调过程中发挥着重要的作用。SFT数据具有需要足够全面、精确的特点，但任务维度多，考试、讽刺等类型任务开源数据少，新闻、医疗、法律等专有领域数据获取难度高等难点都造成了SFT数据集收集和编写难度极大。

今年1月，星尘数据正式发布国内首个基于人类反馈的强化学习标注服务（Human Feedback as a Service）。 通过星尘的Rosetta3.0数据标注系统，客户可以快速将大语言模型接入系统，并实时将结果通过API显示在标注平台上，星尘专属基地的NLP标注员可以快速给出反馈。奖励强化模型实时接收到反馈并进行训练，可以实现模型的高效训练并及时发现难例和缺陷。

在ChatGPT大火之前，国内外就有多家实验室进行了深入的人机互动方向研究。星尘在服务这些前沿科研需求的同时，也积累了大量的强化学习、人机互动、语言文本方面的经验和服务能力，并打磨了一整套涵盖所有NLP场景的标注方案。同时， 星尘Rosetta3.0数据平台具备行业顶尖的敏感句检测算法和去重算法，能够有效服务于毒性检测、政治敏感等大模型刚需任务。 （了解星尘敏感句检测算法详情👉 敏感句检测文章 ）

斯坦福视觉实验室： 人类交互行为和意图识别，星尘通过对人类和环境的交互行为进行准确标注，协助研究探索了人和环境的交互关系，为机器如何更好地在虚拟空间中给人类指令提供反馈的课题奠定了基础。

国家媒体重点实验室： 星尘和国家媒体实验室共同完成了多项语言语义方面的科研项目，在人机问答（QA）、语义推理（NLI）、文本摘要（Summarization）、语义检错（Gramma Correction）、情感分析（Sentiment Analysis）、语义关系挖掘（Relation Extraction）等方面均通过星尘专业的数据策略经验和数据标注服务，极大提高了模型在基准测试中的得分。

星尘还和国内外多家科研院所共同合作，在前沿人机交互和语义理解方向进行了深入探索。在合作中，星尘数据的数据策略专家和学者就语言模型、知识图谱、领域问答等方向共同进行研究。星尘通过提供数据标注的体系设计、反馈闭环工程化实现、训练实验反馈等工作让学术研究可以更快得到结果，模型训练在相同数据成本下可以更快收敛达到预期效果。

星尘ChatGPT数据标注团队拥有大量国内知名语言院校本科生，具备丰富的NLP标注项目经验：阅读理解和表达能力良好；涉猎领域多，知识广泛；信息检索能力强；不同类型和领域的文本适应能力强；特殊信息敏感性高。上岗前，星尘数据策略专家会针对 「识别政治、暴力、色情等敏感内容能力」、「中文阅读理解和写作能力」「面试交流经验和对文本标注任务的理解」 等对标注团队进行专项能力测试。

基于行业领先的NLP标注能力，星尘数据能为中文大语言模型提供全面的数据策略和数据标注服务，如果您有ChatGPT数据集或ChatGPT标注需求，可联系星尘数据策略专家：contacts@stardust.ai。