语音交互加载大语言模型

地瓜开发者您好,在使用RDK系列产品时出现的问题可以在社区提问。提问前,请务必阅读一下RDK开发者-社区大百科(LTS),你遇到的问题也许文档就能给你答案。


我在实现语音交互时似乎遇到了加载大语言模型时内存不足的问题,报错如下

(chatAudio) root@ubuntu:~/chat_ws/ASR-LLM-TTS# python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py pygame 2.6.1 (SDL 2.28.4, Python 3.10.16) Hello from the pygame community. Contribute - pygame wiki funasr version: 1.2.6. Check update of funasr, and it would cost few times. You may disable it by set `disable_update=True` in AutoModel You are using the latest version of funasr-1.2.6 Loading remote code failed: model, No module named ‘model’ Killed

目前使用的模型是Qwen2.5-1.5B-Instruct-GPTQ-Int4,我想问的是加载大语言模型时是不是需要像搞yolo模型一样转为onnx再转为bin,还是说有什么其他的优化加速的措施,感觉关于yolo的资料相对多些

板卡:rdk x5


标题要求:标题需要包含基本的信息,以[问题分类][板卡类型][问题简述]的形式填写标题

当一个问题符合多个标签时,也可以提供多个标签

  • [图像算法][RDK X5][编译报错]
  • [语音算法][RDK X3][增加音频输入时长]
  • [语音算法][TROS][大模型][RDK X3 Module][启动异常]

[问题分类]:[多媒体][图像算法][TROS][语音算法][强化学习][大模型][激光雷达][算法工具链][Linux开发][][RDK Studio][RDK Model Zoo][GitHub][… 其他 …]-
[板卡类型]:[RDK X3][RDK X3 Module][RDK X5][RDK X5 Module][RDK Ultra][RDK S100][… 其他 …]-

内容要求:rdkos_info信息必须提供,其他信息根据问题类别选择提供

  • 在附件中,提供 sudo rdkos_info 命令返回的结果,保存为 rdkos_info_xxxx.txt,以附件的形式放在帖子下。

详细描述预期结果和程序运行表现,描述与预期不符的地方

参考:社区提问模板 - RDK Model Zoo - 地瓜机器人论坛

rdkos_info.txt