OpenAI 将在 ChatGPT 推出新的语音和图像功能,对此你有哪些期待?

OpenAI 将在 ChatGPT 推出新的语音和图像功能,对此你有哪些期待?

原标题:OpenAI 将在 ChatGPT 推出新的语音和图像功能,对此你有哪些期待?

关键字:科技,科技公司,科技趋势,深度学习(Deep Learning),OpenAI

最佳回答:三姨君

回答字数:4160字

此前谷歌无疑是AI领域无可争议的领头羊,它开源的深度学习框架TensorFlow更堪称是AI世界的基石,但是这一切却在2022年秋季戛然而止,OpenAI的ChatGPT横空出世让谷歌很快就黯然失色。并且外界没有想到的是,就在一年后,OpenAI又一次“截胡”谷歌。

日前在毫无征兆的情况下,OpenAI发布了题为《ChatGPT现在能看、能听、能说》的公告,宣布将在未来两周内面向Plus和企业用户推出ChatGPT的语音和图像功能。

根据OpenAI方面透露的信息显示,ChatGPT的多模态版本在10个月前就已经训练好了。那么为什么此前一直藏着掖着,现在却突然发布呢?外界推测,或许是因为不能让谷歌抢了先。

最近这段时间,业内风传谷歌方面即将发布多模态模型Gemini,并且它可能会成为AI行业游戏规则的改变者。按照桑达尔·皮查伊的说法,Gemini集成了多种技术,支持同时输出文本和图像,还可以使用工具和API。所以在外界看来,面对来势汹汹的谷歌,OpenAI方面自然要用实际行动来还以颜色。

所以在这一轮的更新中,ChatGPT不仅仅能够理解用户输入的文字,甚至还拥有了识别并理解语音、图像信息的能力。语音识别能力很简单,因为该功能使得ChatGPT获得了类似Siri、小爱同学的能力,并将提供五种不同的语音供用户选择,同时支持语音音频生成文本、将播客内容翻译成其他语言等功能。其实早在今年5月,ChatGPT已经支持了语音转文本功能,所以现在更进一步上线文本转语音功能并不那么令人意外。

至于ChatGPT读取图像的能力,则早在今年春季OpenAI演示GPT-4时就已经被曝光。彼时OpenAI联合创始人Greg Brockman在纸上画出了他构想的网站草稿示意图,并拍了一张照片上传给GPT-4,后者立刻生成了这个网站的HTML代码。只不过这一能力在当时,被GPT-4更加耀眼的推理判断能力所掩盖。

尽管看起来OpenAI为ChatGPT赋予的这两个新能力似乎有些平平无奇,但实际上它们会让ChatGPT的体验更上一层楼。

先来说说ChatGPT能听懂用户说什么,并直接用语音与用户对话这个功能,据悉OpenAI联手专业配音演员为ChatGPT提供了Juniper、Sky、Cove、Ember和Breeze五种不同的合成声音。其实ChatGPT的语音能力确实没有出人意料,因此它的本质还是语音合成TTS(Text-to-Speech)。

在经过十余年的发展后,如今的TTS技术其实已经相当成熟,AI会将输入的文本内容先切分词语、分割句子、标注语音语调,进而确定文本结构和语义信息,再结合语音合成模型,来生成包括音高、音量、语速、韵律在内的声学模型,最后加入波形合成就让AI能说话了。而ChatGPT的优势,在于它可以进行自然流畅的对话,几乎能模仿人类对话的方式,这就会让用户与它的对话有一种和人类、而非机器,隔着屏幕交流的体验。

如果说语音能力让ChatGPT更像“人”,那么读取图像的能力就可以说是此次ChatGPT多模态能力中最让人惊喜的部分了。此前,OpenAI在GPT-4上展示从草稿到网站的功能被称为“代码解释器”(后改名为高级数据分析),但其面向的场景极为有限。而如今ChatGPT的图像读取能力则更加贴近用户的日常生活,毕竟随便一拍的照片就能得到ChatGPT的回应。

根据OpenAI方面给出的示例,用户现在可以拍一张冰箱的照片,然后让ChatGPT来推荐菜谱;在旅行时拍一张地标的照片,让ChatGPT来讲述这处景点的有趣之处;还能拍一张数学题的照片,让ChatGPT来解答;更可以在炒股时拍一张K线图,让ChatGPT来替你看盘。但值得一提的是,OpenAI也主动对ChatGPT的图像读取能力进行了限制。

如果想要凭借一张电影的截图来让ChatGPT追溯电影的出处,ChatGPT是不会理你的,如果想要用一张名人的照片来让ChatGPT评价这个人,它也会拒绝。简单来说,ChatGPT会拒绝一切可能在法律和伦理上引发风险的问题。其实这也很好理解,毕竟正处于风口浪尖上的OpenAI,确实需要爱惜羽毛以避免陷入更多的漩涡中。

在已经收到更新的用户测试中,ChatGPT的图像读取并非是传统的“以图搜图”。有网友使用Midjourney现场生成的图片,但ChatGPT依然能够准确辨识这张图片的内容,这也就意味着ChatGPT是在真正意义上拥有了理解图像的能力。当然,ChatGPT的图像读取功能并非万能,OpenAI方面就在相关论文中指出,ChatGPT会在空间感、多个图层混合、上下文推理、遮挡纹理等场景产生“幻觉”。

如果仅仅只是这样,ChatGPT的图像读取能力可能并不会让人特别兴奋,它真正的“王炸”在于识别验证码。现在许多用户对于验证码厌烦透顶,这显然已经是不争的事实,面对各种稀奇古怪的验证码,特别是诸如12306验证码识图这种让机器束手无策、更难倒了许多用户的情况,未来也完全可以让ChatGPT代劳。只不过,这一技术也会带来一定的弊端。

要知道,验证码这一如今在互联网上被广泛使用的技术,其实就是为了区分人类和机器的操作而诞生。ChatGPT能够准确识别验证码,就等于动摇了整个验证码体系。毕竟验证码作为一个反向的“图灵测试”,确实在一定程度上隔绝了机器人的侵扰。一旦ChatGPT辨识验证码的能力被黑产应用,或许X、Instagram、微博、知乎等社交平台的机器人恐怕就会更加猖獗。

或许,这就是新技术所带来的阵痛吧。

本文链接:

联系作者

回答作者:三姨君

0

评论0

  1. 阅读了原文,ChatGPT推出了语音和图像的新能力,让用户可以用语音对话或展示图像来与ChatGPT交流。

    语音交流

    语音对话的使用方法:用户可以在移动端的设置中开启语音对话功能,然后选择自己喜欢的五种声音之一。语音对话由新的文本到语音模型和Whisper语音识别系统支持。

    语音功能将在未来两周内向Plus和Enterprise用户推出,且在iOS和Android平台上提供(需要在设置中开启)。

    说到语音交流,New Bing早就可以了。

    此外,在ChatGPT可以使用Voice Control for ChatGPT的插件也可以实现语音功能。

    但是,这次的语音交流,提供了五种音色,类似于人类的音色,还有语气,确实不错。不知道,后面可不可以实现文本转语音,再下载下来当音频使用。

    官方视频:

    讲一个睡前小故事https://www.zhihu.com/video/1689815571372322816

    图像理解

    图像理解的使用方法:用户可以拍摄或选择一张或多张图像,让ChatGPT分析和评论。图像功能由多模态GPT-3.5和GPT-4模型驱动,这些模型可以将它们的语言推理能力应用到各种类型的图片上,如照片、截图和文本图像混合的文档。

    图像理解功能也将在未来两周内向Plus和Enterprise用户推出。图像功能将在所有平台上提供。其他用户群体,如开发者,也将在不久后体验到这些功能。

    还记得GPT-4发布时,OpenAI 联合创始人 Greg Brockman 通过一个案例展示了GPT-4的图像理解能力,这次终于来了。

    该案例详情:

    步骤一:在本子上随意画了个网站草图,或者说是一个网站Demo(demonstration,其中文含意为示范、展示、样片、样稿,常被用来称呼具有示范或展示功能及意味的事物)。

    步骤二:用手机将草图拍下来。

    步骤三:将照片发给GPT-4模型,并给出要求:Write brief HTML/JS to turn this mock-up into a colorful website, where the jokes are replaced by two real jokes.

    如图所示是GPT-4对提问者提问文本的理解。

    步骤四:将GPT-4回答出的代码,复制粘贴至编程软件并运行。

    如下图所示My Joke Website网站就出来了。

    关于图像理解能力,其实我们平时使用Edge 侧边栏的Bing Chat 也可以识别文章中的图片,并做出解释,有着自己的理解。

    而这次新能力则是应用场景更加广泛,毕竟直接拍照上传图片还是非常nice的。

    官方视频:

    让GPT-4教自己调低车座https://www.zhihu.com/video/1689815500480286720

    文献参考:

    hjl4am 2023-09-28 0 回复
没有账号?注册  忘记密码?