如何评价1700亿参数的GPT-3?

如何评价1700亿参数的GPT-3?

原标题:如何评价1700亿参数的GPT-3?

关键字:自然语言处理,炫富,核武器,深度学习(Deep Learning),OpenAI

最佳回答:李rumor

回答字数:1401字

GPT-3依旧延续自己的单向语言模型训练方式,只不过这次把模型尺寸增大到了1750亿,并且使用45TB数据进行训练。同时,GPT-3主要聚焦于更通用的NLP模型,解决当前BERT类模型的两个缺点:

对领域内有标签数据的过分依赖:虽然有了预训练+精调的两段式框架,但还是少不了一定量的领域标注数据,否则很难取得不错的效果,而标注数据的成本又是很高的。对于领域数据分布的过拟合:在精调阶段,因为领域数据有限,模型只能拟合训练数据分布,如果数据较少的话就可能造成过拟合,致使模型的泛华能力下降,更加无法应用到其他领域。

因此GPT-3的主要目标是用更少的领域数据、且不经过精调步骤去解决问题

为了达到上述目的,作者们用预训练好的GPT-3探索了不同输入形式下的推理效果:

这里的Zero-shot、One-shot、Few-shot都是完全不需要精调的,因为GPT-3是单向transformer,在预测新的token时会对之前的examples进行编码。

作者们训练了以下几种尺寸的模型进行对比:

实验证明Few-shot下GPT-3有很好的表现:

最重要的是,GPT-3的few-shot还在部分NLU任务上超越了当前SOTA。该论文长达72页(Google T5是53页),第10页之后都是长长的实验结果与分析。

显然,GPT-3的模型参数、训练数据和工作量都是惊人的,论文署名多达31个作者,所有实验做下来肯定也耗费了不少时间。虽然一直都存在对于大模型的质疑声音,但我们确确实实从T5、GPT-3这样的模型上看到了NLP领域的进步,众多业务也开始受益于离线或者线上的BERT。事物的发展都是由量变到质变的过程,感谢科研工作者们的不懈努力和大厂们的巨额投入,奥利给。

本文链接:

联系作者

回答作者:李rumor

0

评论0

  1. 英伟达或成最大赢家!

    摘要自http://www.incompleteideas.net/IncIdeas/BitterLesson.html

    hjl4am 2023-10-09 0 回复
没有账号?注册  忘记密码?