使用x86架构+Nvidia消费显卡12G显存,搭建智能终端,将大模型本地化部署,说不定是未来方向,开源交互机器人设计
1,大模型本地部署视频说明地址:https://www.bilibili.com/video/BV1BF4m1u769/【创新思考】(1):使用x86架构+Nvidia消费显卡12G显存,搭建智能终端,将大模型本地化部署,语音交互机器人设计,初步设计慢慢的,1-2B的小模型也发展起来。在消费显卡上面的显存也足够运行了。让设备在终端运行速度更快了。服务端虽然也可以解决智能化,但是本地的优势是速度快,