国内有类似 ChatGPT 能力的模型吗?

国内有类似 ChatGPT 能力的模型吗?

原标题:国内有类似 ChatGPT 能力的模型吗?

关键字:神经语言程序学,OpenAI,GPT-3,ChatGPT

最佳回答:黄文灏

回答字数:2020字

答案是显而易见的,没有。

原因很多同行都分析过了,说几个我觉得最重要的:

高质量的数据,很多人都意识到了高质量数据对AI模型的重要性,但为什么没有中文高质量数据集呢?1)没人。但是清洗数据是费时费力的苦活累活,博士、研究员们可没有时间和耐心去做,有那个时间为什么不找个清洗好的公开数据集,调调参数,搞几个trick,刷刷SOTA,发几篇顶会来的惬意。所有数据标注清洗都交给数据标注公司,或者低年级的学生去做,他们对数据完成什么任务,数据和任务关系,怎样的数据能训练出好模型知之甚少,怎么能建设出高质量数据集呢?数据集建设必须由训练模型的研究员或者工程师亲自参与,反复迭代。大模型时代,好数据比好模型重要N个数量级。2)没利益。做科研的等着别人公开数据集,商业化公司又不愿意烧钱去build数据集。大多数科研人员连爬虫都不愿意写,反正有那么多公开数据集等着我去刷榜呢,为什么要做数据集。辛辛苦苦爬了一些数据,标了一些数据,赶紧发个文章领域内第一个XXX数据集,然后大家写文章引用起来。高质量的数据集和质量一般的数据集有差别吗?训练大模型的能力。现在国内好多机构都在发布大模型,可真正有大模型训练经验的研究员和博士生有几个呢。Warmup到底做多久,梯度爆炸了怎么办,loss为什么不降反升,什么时候该回退到上个ckpt?给定同样的数据和网络,pretrain from scratch的时候会有各种意想不到的问题,真正能解决这些问题的人屈指可数。很多时候很多人可能都没意识到问题,或者意识到了都train了这么久了也不能从台再来就硬着头皮train完得了。OpenAI从GPT3开始在训练超大规模模型方面积累了大量的工程经验和tricks,这个是烧钱烧出来的宝贵财富。谁能(来)funding?OpenAI很烧钱,但幸运的是他们碰到了微软。一直很好奇如果OpenAI 2019年没有转型成LP,没有微软的支持,他还能不能做出GPT3,ChatGPT和马上要来的更惊人的GPT4?传说中的2.5万张卡不是谁都能funding的。国内的微软到底是谁?政府,投资机构,BAT等互联网公司,似乎没有一个机构能和微软一样有vision和耐心。

可以预见,短期内,很多机构会做中文ChatGPT,但大概率是烧钱做了半年一年,做到了ChatGPT 80%的能力,然后找几个Case宣称自己超越了ChatGPT,一顿PR,结果留下一个没人用的模型,差距被OpenAI越拉越大。

“此乃危急存亡之秋“,对前两天看到的ChatGPT分析的一片文章里的这句话深有共鸣。但现在谁能来扛旗说leading这样的一个项目呢?

本文链接:

联系作者

回答作者:黄文灏

0

评论0

  1. 国内肯定是没有。。。且差距1.5年以上,Reproduce GPT 3.5 一年,instruct GPT 半年

    过去几年国内的Pre-training research efforts主要干两件事:

    1、通过刷榜积累了海量的finetune经验。为了0.x的提升,大家一顿调finetune,最后收获的是在某个特殊的task一组最优的setting。如果让OpenAI和我们也用一样大的data和model,我保证国内公司能教OpenAI做人。但chatgpt最重要的就是scale up data and model 。

    2、因为资源的原因,积累了如何用少量GPU一天train BERT/GPT的经验。。。腾讯发布万亿大模型训练方法:最快256卡1天训完万亿NLP大模型 | 量子位 。如果大家点开这个新闻,这个model(1000B)比GPT-3 (175B)还大得多。。。一天训完了。。。按照这个技术,我们离GPT 3.5只有不到一天

    当然不光国内,我觉得Google 三个月内都掏不出ChatGPT

    hjl4am 2023-09-27 0 回复
没有账号?注册  忘记密码?