# GPT未来的发展趋势是什么?

# GPT未来的发展趋势是什么?

原标题:# GPT未来的发展趋势是什么?

关键字:GPT

最佳回答:微软亚洲研究院

回答字数:8931字

GPT-4发布后,在接下来的5-10年里,我们还将面临哪些挑战?我们继续努力的方向是什么?随着人工智能技术的快速发展,ChatGPT、New Bing、GPT-4 等新产品和新技术的陆续发布,又将如何帮助我们创造未来?在微软与 OpenAI 的密切合作中,微软执行副总裁兼首席技术官 Kevin Scott 一直在思考一个问题:人工智能领域出现的惊人革命对 OpenAI、对微软、对所有利益相关者以及整个世界的意义是什么?

针对这一系列问题,Kevin Scott 与比尔·盖茨进行了一次深入的探讨。本文节选了对话中的部分内容,完整对话请点击视频观看。让我们跟随他们的对话,一起了解比尔·盖茨对 GPT-4 的初体验,以及他对人工智能技术未来发展趋势和影响的看法。

https://b23.tv/yHP3YOM

⬆️点击视频了解更多有意思的观点与故事细节
Kevin Scott:过去几年中,技术领域出现了一些有趣的进展,尤其是微软与 OpenAI 合作研发的 GPT-4 和 ChatGPT。其实 GPT-4 在 OpenAI 外部的第一个实例展示在去年8月就进行了,你当时看到 GPT-4 之后的感受是怎样的?
比尔·盖茨:人工智能一直是计算机科学的圣杯。在机器学习出现之前,人工智能的整体进展相当缓慢,即使是语音识别也只是勉强能做到尚可的程度。之后,在机器学习领域,尤其是感知、语音识别、图片识别等迎来了快速发展。但是这些模型在复杂逻辑上仍然存在不足,无法像人类一样说话、阅读和做事。
早期的文本生成模型缺乏上下文理解能力。它可以生成一个句子,例如它前面会说“Joe 身处芝加哥“,几句话之后又说”Joe 身处西雅图“。从局部来看,它生成的句子很好,但是从人的角度来看,这是前后矛盾的。
当时,OpenAI 和微软的团队对 GPT-3 甚至 GPT-4 的早期版本抱有极大的热情。我对他们说,“如果它能够通过 AP Biology(大学进阶生物学),对训练集之外的问题都能给出充分合理的回答,那么它将是一个重要的里程碑,所以请你们继续努力。”
我以为他们至少需要两三年才能成功。令人惊讶的是,去年9月初,OpenAI 和微软团队来我家做客并向我演示最新的模型时,他们让我问一些 AP Biology 问题,让人震惊的是,除了一个与数学相关的问题之外,它都能准确作答。我还问它,“对一位生病孩子的父亲会说些什么?”它给出了非常细腻体贴的答案,比当时房间里所有人的回答都好。后来,我得到了一个账户,我让它写大学入学申请、写诗歌、让它根据某些剧情写一集《Ted Lasso(足球教练)》剧本……真的难以想象它的极限在哪里。
尽管还有一些问题有待完善,但可以说这将是一个根本性的变革,现在自然语言可以作为人机交互的主要接口,这是巨大的进步。

Kevin Scott:对人工智能、GPT-4,可探讨的问题有很多,先说说它不擅长的地方,我们最不希望给人们一种它是一个 AGI(通用人工智能),它是完美的,它不需要做很多额外的工作来改进它的印象。你刚才提到的数学问题就是其中之一,那么随着时间的推移,你认为人工智能系统还需要在哪些方面做提升?
比尔·盖茨:当向机器提问时,关于上下文的背景知识是个普遍问题。例如,先让机器讲个笑话,又问它一个严肃的问题,人类可以从你的面部表情感受变化,知道现在已经不再是玩笑的语境,但是人工智能却还在继续那个笑话。这种语境感在交互中有着极大的作用。
另外,在解决问题的难度方面,当我们做同一道数学方程式时,可能需要五、六次简化才能将其转化为正确形式,并且不断学习这些简化。而机器推理是通过层级线性下降推理链实现的,如果简化需要运行10次,机器可能就不会了。数学是非常抽象的推理,这是人工智能最大的弱点。
矛盾的是,它又可以解决很多数学问题。如果你让它以抽象形式解释某些问题,本质上是给出一个与问题相匹配的方程或程序,它会做得很完美,完全可以将它当作一个求解器。然而,如果做数值运算,那么它就会经常出错。无论是哪一个薄弱环节,都需要花时间才能解决,要严肃对待。我们需要更创新的模式,通过提示词(prompts)或训练对模型进行数学方面的训练。
如何评价 GPT-4 呢?
那些说它很糟糕的人错了,那些说它是 AGI 的人也不对。我们的观点介于两者之间,要做的是确保它可以用正确的方式被使用。
Kevin Scott:我们都知道,你亲身经历了好几次重大的技术变革并有自己独特的视角。在现今又一个重大变革时刻来临之时,你对于那些正在考虑使用新技术的人有什么建议?他们应该如何使用新技术?这与你在 PC 和互联网时代的想法有什么关联?
比尔·盖茨:最初的计算机并不能为个人所用,之后微处理器的出现和大批公司的努力才有了个人电脑,IBM、苹果和微软又都参与了软件开发。然后,互联网将这些连接起来,再后来又演进出了移动计算、手机。数字世界极大地改变了我们的生活。
能够读与写的计算机的诞生,与上述节点中的任何一步一样意义深远。有一小部分人认为我们可能高估了技术,这也没错。但在这次的变革中,我们低估了自然语言和计算机处理自然语言的能力,以及它对白领工作的影响,包括销售、服务、医生,我也曾认为这会是很多年之后才会发生的事情。
人工智能的新阶段才刚刚开始,我们正处于对它狂热的阶段,就像曾经对互联网的狂热一样,当然现在回过头来看,互联网已经成为了重要的工具。这是一次巨大的突破,是整个数字计算机领域的里程碑。
Kevin Scott:我一直在思考一件事,从 Ada Lovelace 编写出第一个计算机程序至今,让数字机器(digital machine)为人们工作是有技术门槛的,你必须是一位熟练的程序员,要了解客户的需求,然后构建软件才能让机器为你做事。
现在,有了自然语言接口,人工智能可以编写代码启动一整套服务和系统,这让普通人也能使用机器完成复杂的任务,而不必花多年时间学习专业知识。对此你怎么看?
比尔·盖茨:技术的每一次进步都降低了人们使用它的门槛。电子表格就是一个例子,尽管仍然需要理解公式,但却不必深入理解逻辑或符号。有很多程序可以帮你将公司数据进行可视化,或进行复杂查询,从而了解人员流失和销售业绩的情况。你不必去 IT 部门排队等候,再让他们告诉你。
无论是查询、汇报,或者触发工作流和某项活动,你只需要用语言描述就会生成一个程序,有一整套的查询和编程工具,供所有人使用。人工智能正在赋予人们最直接的互动能力,这也是当下我们正在努力的课题。
Kevin Scott:从个人的角度来看,最令你兴奋的事是什么?你非常关心教育、公共卫生、气候和可持续能源等领域,人工智能对这些领域会产生哪些影响?
比尔·盖茨:我们一直在思考健康和教育问题。在医生少、获得医嘱建议困难的卫生系统中,AI 赋能医疗的研究将很有意义。另外,所有人都希望有一个私人教师来提供帮助。比如,在一些特殊的学校中,学生在写作方面会收到教师的逐行反馈,但对大多数孩子来说,并不能得到一对一的指导。
我认为教育会是最有趣的应用领域,其次是健康领域。当然,这些技术在销售和服务类场景中也有很大的商业机会。比如,在一个有着二、三十人的班级中,教师无法单独关注某一个学生,无法同时了解每一个人的行为动向。而在多个学科领域利用人工智能技术对话、反馈,可以有效提升教育水平。
我们必须承认,计算机在彻底改变教育方面还有很多事要做。接下来的5-10年里,我们需要从新的角度考虑学习问题,以及如何在教育中提供帮助,而不仅仅是通过计算机查找材料。

Kevin Scott:这是一个全球性的问题。我们也看到父母的参与对孩子的教育有很大的影响。有的父母工作繁忙,很难与孩子接触,想象一下,有这样一种技术,它不在乎你说什么语言,可以在家长和老师之间架起一个桥梁,帮助家长了解阻碍孩子成长的问题,甚至对孩子进行个性化教育,真正解决眼前的问题,这非常令人兴奋。
那么,你认为在接下来的5-10年里,我们还将面临哪些挑战?我们继续努力的方向是什么?
比尔·盖茨:我认为,在算法的执行方面会有一系列创新,很多芯片从硅到光学的转变将可以减少能源和成本。英伟达目前在这方面处于领先地位,将来也会出现更多的挑战者,因为大家希望在运行、训练上的成本越低越好。理想情况下,我们希望模型可以运行在端侧,这样就可以在独立的客户端设备上进行操作,而不必去云端获取。
软件方面也将面临巨大挑战。例如,用户是需要特定版本,还是持续改进的版本?即使是微软也会同时追求这两种目标。理想情况下,我们希望针对不同的领域,通过训练数据,甚至可能是一些适用于它的前置检查、后置检查的逻辑,来更准确地处理不同的需求。
除此之外还有许多社会问题,包括促进教育、医疗的发展等等。微软一直致力于提高生产力,未来,有些事情将会自动化,最终有的任务可能只需要一个人来完成,但这个人将比以往能够完成更多的事情。由此带来的挑战和机遇也会很多。我看到 OpenAI 的团队正在探索其中,但我相信很多其他机构和组织也在推动相关工作。技术创新的速度将更胜以往,以此为目标的人力、资源和公司的数量远远超过了以前。
Kevin Scott:我职业生涯的早期,大部分时间都是作为一名计算机科学家接受培训的,编写编译器,编写大量汇编语言和设计编程语言,或者在研究生院进行并行优化和高性能计算机体系结构的研究。离开研究生院之后,我想我再也不会使用这些东西了。然而今天我们在建造超级计算机来训练模型时,这些技术又有了用武之地。如果现在你是一个20多岁的年轻程序员,你会对哪些技术感兴趣?
比尔·盖茨:这里面有相当多的数学的元素。很幸运,我曾经做了很多与数学相关的事,这是通往编程的大门。有些编程人员没有数学背景,我建议他们去掌握一些数学知识,因为很多计算都不只是编程问题。
最初的 Macintosh 是一台128K的机器,其中22K是位图屏幕,几乎没有人能够编写出适合的程序,只有微软和苹果成功了。但现在你用数十亿个参数来操作这些模型,那么我们是否可以跳过一些参数,或简化一些参数,或进行预计算?在资源受限的机器上,优化变得尤为重要。
尽管过去半年在计算加速方面的进展比预期要好,但未来几年,又将面临多大的资源瓶颈?我们如何确保企业以更明智的方式分配这些资源?无论如何,在计算机科学的几乎每个领域,包括数据库类型技术、编程技术等方面,都需要我们以一种全新的方式来思考。
Kevin Scott:最后想问一下,你在工作之外会做些什么事?我们都知道你很喜欢阅读,经常提着一个巨大的手提袋随身携带着书籍,无论走到哪里,都会大量阅读,从科学到小说,无所不包。你的阅读节奏是怎样的?
比尔·盖茨:我打匹克球已经有50多年了,我也喜欢打网球和读书。我最近一年中阅读了80多本书,包括 Thomas Sowell、Vaclav Smil、Steven Pinker 的书,这些作家的思想重塑着我的思维。同时,阅读也能让我放松心情。我想我应该多读一些小说,人们向我推荐了很多好的小说,这也是为什么我会在《盖茨笔记》上分享我的书单。

本文链接:

联系作者

回答作者:微软亚洲研究院

0

评论0

  1. GPT(Generative Pre-trained Transformer)大模型已经成为当前科技领域最为重要的技术突破之一,机器智能以涌现的形式爆发。通过 ChatGPT 和 Midjourney 等应用的快速增长和普及,C 端用户也能低门槛地感受到技术的跃迁。AGI(通用人工智能)初露峥嵘,俨然成为下一次工业革命。在这个技术驱动的行业、社会巨变时刻,初心资本初步沉淀了对后 GPT 时代变与不变的思考,希望保持长期敏锐、与各位深度探讨。

    开门见山,基于人类本质的需求和行业历史发展规律,我们认为有一些事物是不变的:

    1.GPT 大模型将成为新时代的基础设施,未来将深度融入人们的生活,成为新的常态。类似公共电网的普及,未来的人们会对生长在大模型上百花齐放的 AI 应用习以为常,大模型化为润物细无声的背后支撑。

    2.大模型的长期竞争格局可以参考云计算的行业发展历程。由于重技术投入和高规模效应,市场玩家数量会逐渐收敛,第一二名会占据统治地位,三名玩家会考虑差异化竞争如开源。

    3.洞察将贡献应用层商业竞争中最宝贵的价值。在 GPT 大模型技术的帮助下,想法的实现变得更快、更容易,洞察将会带来更加精准犀利的切入点,成为重要竞争优势的来源。

    4.精英驱动创新,带来巨大的社会价值。GPT 时代将更好地赋能每一个有创意的个体,更快将创意产品化。

    正如 OpenAI 创始人 Sam Altman 所说:所有人类深层次的东西都不会被 AI 改变。作为人类,我们依然注重人与人之间的互动联系,人类大脑的奖励机制没有变,我们依然追求快乐,拥有创造欲和竞争欲,渴望组建家庭……五万年前人类在意的东西,一百年后的人类也会在意。

    报告内容节选如下:

    资料下载方式:公众号《侠说》,http://www.guotaixia.com

    AIGC智能社媒创作助手、GPT3.5/4.0体验.....Al方案鸭:aiduck.art

    hjl4am 2023-09-28 0 回复
没有账号?注册  忘记密码?