香橙派上部署Janus-pro-1B推理效率欠佳

[w45972]

根据昇腾论坛的教程（https://www.hiascend.com/forum/thread-02112175259995129086-1-1.html），
可以成功的在香橙派AIpro-20T下部署运行Mindnlp下的Janus-pro-1B模型，但是香橙派算力有限，使用understanding.py进行图片推理的时候单张图片推理耗时将近两三分钟，我想在一个实时系统中使用图片理解功能，这个时效性不太好，我想问一下有没有使用Mindnlp下Janus-pro-1B的优化推理服务效率的方法，或者找个模型是否可以在910系列NPU下运行，能否提供相关教程，感谢您的帮助

[lvyufeng]

可能需要做下量化，910系列可以用mindnlp直接跑

[w45972]

可能需要做下量化，910系列可以用mindnlp直接跑

您好，感谢您的回复，我想问一下您可否提供一些量化的建议，或者昇腾软件提供了哪些可用的量化工具，我在昇腾ai的量化经验比较少。感谢您的帮助

[lvyufeng]

昇腾的量化推理工具可以用mindie(虽然跟mindspore没啥关系)，另外可以直接用onnx，我们mindnlp仓里quant目录有smooth quant的8bit量化可以用下。

[w45972]

昇腾的量化推理工具可以用mindie(虽然跟mindspore没啥关系)，另外可以直接用onnx，我们mindnlp仓里quant目录有smooth quant的8bit量化可以用下。

您好，感谢您的帮助，请问mindnlp支持的量化是不是导入mindnlp.quant.smooth_quant下的quant，并调用quant.quantize来量化模型?麻烦问一下，quant.quantize的cfg参数如何获取呀？是从mindnlp.quant.smooth_quant下的configs文件获取吗？我看获取配置需要一个model_cfg和act_max参数，请问这两个参数该如何获取呀？

[erkk27]

按照教程 运行demo的时候内存不足qaq

[w45972]

按照教程 运行demo的时候内存不足qaq
建议看看是否开启了swap内存，香橙派本身的内存应该是不够的，如果开启了，还可以检查一下后台是否有进程占用内存，重复运行demo。另外也要看你的香橙派型号，教程里面应该是24G内存的型号

[JinYuan-Ye]

昇腾的量化推理工具可以用mindie(虽然跟mindspore没啥关系)，另外可以直接用onnx，我们mindnlp仓里quant目录有smooth quant的8bit量化可以用下。

您好，这个onnx怎么转呀，mindspore框架能把官网例程提供的模型转成onnx吗，谢谢