把开源大模型部署在本地(只做推理),需要哪些硬件、软件?如何实现推理模块的数据输入、结果输出?

把开源大模型部署在本地(只做推理),需要哪些硬件、软件?如何实现推理模块的数据输入、结果输出?

原标题:把开源大模型部署在本地(只做推理),需要哪些硬件、软件?如何实现推理模块的数据输入、结果输出?

关键字:GPT-4,ChatGPT

最佳回答:陶大少

回答字数:259字

按我理解

大模型的输入是一张图片,输出为是否有气球,气球位置,绳子长度,系留点坐标等

编写一个获取图片,调用大模型接口的程序,根据结果控制机械臂工作

硬件当然有多强就整多强,至少一张4090显卡少不了

软件的话,你都会部署大模型了,就不用说了

本文链接:

联系作者

回答作者:陶大少

0

评论0

没有账号?注册  忘记密码?