如果用优质论文或教材训练 AI，AI 会有更好的表现吗？

大型语言模型的发展中，数据规模常被视为一个关键因素。然而，最新的研究，数据质量可能同样关键。本文将侧重于探讨如何通过优化数据质量来实现模型性能的进一步提升。

数据质量与模型性能

在论文《TinyStories: How Small Can Language Models Be and Still Speak Coherent English?》中，研究人员Ronen Eldan和Yuanzhi Li使用仅含10-100百万参数的小型语言模型，在由GPT-3生成的高质量连贯故事合成数据集上进行了训练。尽管这些“TinyStories”模型的规模远小于GPT-3，但由于训练数据的高质量，它们仍能生成出连贯的故事。

高质量数据的筛选与生成

在“Textbooks Are All You Need”系列研究中，模型phi-1与phi-1.5使用了由教科书样本生成的高质量数据进行训练。这些数据经过严格的筛选和合成，强调了多样性、平衡性和教学内容。结果显示，phi-1.5模型在常识推理基准测试中，与或超过了更大规模的模型。

高质量数据的优势

抽象推理能力：相比于从网络抓取的噪声数据，教科书样本更能教授模型高级的抽象推理技能。减少有害生成：通过使用经过精心筛选和处理的数据，可以显著减少模型生成有害内容的风险。任务专精性：高质量数据可以训练出在特定任务，如推理或某些任务的语言理解上，会超过大型通用语言模型。

畅想

尽管大型模型在多功能性和领域知识方面具有优势，但我认为针对高质量数据的持续优化将是实现下一阶段人工智能突破的关键。随着模型规模的不断扩大，研究重点应逐渐转向如何获取和优化高质量的训练数据。