你好,Dolphin开发者团队: 感谢你们出色的工作!我注意到你们最近在项目中加入了对vLLM和TensorRT-LLM的支持,以实现加速推理。 我在此请求能否考虑增加对昇腾(Ascend)NPU的支持。目前,昇腾硬件的用户群体正在不断扩大,如果能在昇腾NPU上使用vllm进行推理,相信能让更多用户受益。 vllm已经支持在昇腾上运行,如果Dolphin也能支持,那将极大地方便我们昇腾用户。 再次感谢你们的努力,期待Dolphin项目越来越好!