Skip to content

功能请求:希望支持使用vllm在昇腾上进行推理 #111

@shengjie110

Description

@shengjie110

你好,Dolphin开发者团队:

感谢你们出色的工作!我注意到你们最近在项目中加入了对vLLM和TensorRT-LLM的支持,以实现加速推理。

我在此请求能否考虑增加对昇腾(Ascend)NPU的支持。目前,昇腾硬件的用户群体正在不断扩大,如果能在昇腾NPU上使用vllm进行推理,相信能让更多用户受益。

vllm已经支持在昇腾上运行,如果Dolphin也能支持,那将极大地方便我们昇腾用户。

再次感谢你们的努力,期待Dolphin项目越来越好!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions