地瓜开发者您好,在使用RDK系列产品时出现的问题可以在社区提问。提问前,请务必阅读一下RDK开发者-社区大百科(LTS),你遇到的问题也许文档就能给你答案。
我在实现语音交互时似乎遇到了加载大语言模型时内存不足的问题,报错如下
(chatAudio) root@ubuntu:~/chat_ws/ASR-LLM-TTS# python 13_SenceVoice_QWen2.5_edgeTTS_realTime.py pygame 2.6.1 (SDL 2.28.4, Python 3.10.16) Hello from the pygame community. Contribute - pygame wiki funasr version: 1.2.6. Check update of funasr, and it would cost few times. You may disable it by set `disable_update=True` in AutoModel You are using the latest version of funasr-1.2.6 Loading remote code failed: model, No module named ‘model’ Killed
目前使用的模型是Qwen2.5-1.5B-Instruct-GPTQ-Int4,我想问的是加载大语言模型时是不是需要像搞yolo模型一样转为onnx再转为bin,还是说有什么其他的优化加速的措施,感觉关于yolo的资料相对多些
板卡:rdk x5
标题要求:标题需要包含基本的信息,以[问题分类][板卡类型][问题简述]的形式填写标题
当一个问题符合多个标签时,也可以提供多个标签
- [图像算法][RDK X5][编译报错]
- [语音算法][RDK X3][增加音频输入时长]
- [语音算法][TROS][大模型][RDK X3 Module][启动异常]
[问题分类]:[多媒体][图像算法][TROS][语音算法][强化学习][大模型][激光雷达][算法工具链][Linux开发][][RDK Studio][RDK Model Zoo][GitHub][… 其他 …]-
[板卡类型]:[RDK X3][RDK X3 Module][RDK X5][RDK X5 Module][RDK Ultra][RDK S100][… 其他 …]-
内容要求:rdkos_info信息必须提供,其他信息根据问题类别选择提供
- 在附件中,提供 sudo rdkos_info 命令返回的结果,保存为 rdkos_info_xxxx.txt,以附件的形式放在帖子下。
详细描述预期结果和程序运行表现,描述与预期不符的地方