大语言模型的成功是否意味着符号派的彻底失败?

大语言模型的成功是否意味着符号派的彻底失败?

原标题:大语言模型的成功是否意味着符号派的彻底失败?

关键字:ChatGPT,人工智能​

最佳回答:冰笛

回答字数:443字

恰恰相反,可以说大语言模型是完全建立在符号之上的一种应用。它只是套用了神经网络的运算模式,将加工对象从感官信息换成了符号信息。

其实,如果说连接、符号、行为这三个主义是瞎子们按照三个高度给出的认知,那么相对完整的形态应该是连接构建了符号,再由符号构建了行为,所以人们在人脑中是找不到符号与行为的专属硬件的,只有神经网络,可以说一切都是神经网络的组合与再组合、加工与再加工。也就是说符号主义采用神经网络的连接方式是没有什么不对的。

本文链接:

联系作者

回答作者:冰笛

0

评论0

  1. 目前,大语言模型(LLM)主要用连接派的方法实现自然语言符号处理的较好性能,是针对AI领域具体问题的切实进步。各派强调智能的不同方面,最终目标却都是实现通用人工智能(AGI)。从实现AGI来看,连接派和符号派可能都需要实现内容和符号的灵活对应

    实现自然语言文本处理的过程,先是将文本字符分词(tokenization),这一部分答主视为将符号进行语义化,一般叫“嵌入”(embedding),得到词元(token)。之后LLM基于词元,学习了人类生产的海量语料,其学习的东西本质是各种词元之间的关系、是人类概念体系的具体实例。某种程度上,在海量语料分词基础上的学习是对符号进行字面上浅层的“具身化”(embodiment)过程。对语料的学习和预测过程,是通过神经网络的方法实现的,所以关键方法是连接主义的。

    人类的概念体系中各种概念关系错综复杂,但它们的意义不只有词典似的循环解释,至少还有感官输入的对应。这种具身的概念来源,可能对AI真正“理解”和解决现实问题非常重要。多模态大模型引入更深层的“具身化”过程,或有望解决符号派“符号落地问题”连接派“符号产生问题”(答主的想法,不知道是否有专业术语,大意指需要构建出一个可脱离具体内容与任意内容对应的物理符号处理系统)。当AI系统具有抽象不同层级特征,将其灵活地赋予符号并进行操作,才可能真正实现AGI。即需要:不仅能对符号处理的能力,也有抽象出符号的能力,能将内容和符号灵活对应

    将AI的方法分为符号、连接和行为三大主义,这种分法似乎华人提得多,谷歌上一搜对应英文:symbolism, connectionism和actionism并列情况一般是华人署名。在谷歌上搜,会发现分为符号AI(symbolic AI)和连接式AI(connectionist AI)的多,同时将后者(神经网络方法)称为“亚符号AI”(sub-symbolic AI)也较常见。(凭感觉的结论,未详细统计)

    目前的大语言模型最初的输入或最后的输出都是文本字符,所做的事情其实是在进行符号处理,但并不是用逻辑的方法,至少不是用有意识的逻辑推理来进行的。正如人类说话的过程,并非完全理性思考,但是也可受到有意识的逻辑推理的影响。图灵机的提出者,却同样提出了似乎属于行为主义的图灵测试,这一点本身就值得思考。而近年来深度强化学习的发展、以及将LLM作为机器人内部模型的尝试,都是行为和连接的融合;Neurosymbolic方法则是连接和符号的融合。

    关于不同“主义”的讨论,答主之前有一些相关文章,其中有阐述“连接主义实现符号主义”的观点,也有层级化抽象与具身的观点,有兴趣的可以看看。

    这里答主自己还有一个疑问:连接主义这个词,顾名思义地、狭义地看,似乎专指基本单元之间的相互作用,而不考虑神经单元本身的动力学,那么能实现AGI的神经单元的动力学机制会是怎样的?

    hjl4am 2023-10-09 0 回复
没有账号?注册  忘记密码?