README_ZH.md

B站 · youtube · 文字教程 · 网盘链接 · QQ群 · discord · 关于我们

C​‎​‎‏​‍‎​‎​‎‏​‌‎​‎‍​‍‏​‍‌​‌‏omfyui_llm_party希望基于comfyui这一个极为简约的UI界面作为前端，开发一套完整的用于LLM工作流搭建的节点库。可以让用户更便捷快速地搭建自己的LLM工作流，并且更方便地接入自己的图像工作流中。

效果展示

CN.mp4

项目综述

ComfyUI LLM Party，从最基础的 LLM 多工具调用、角色设定快速搭建自己的专属AI助手、到可以行业落地的词向量RAG、GraphRAG来本地化的管理行业内知识库；从单一的智能体流水线，到复杂的智能体与智能体辐射状交互模式、环形交互模式的构建;从个人用户需要的接入自己的社交APP(QQ、飞书、Discord)，到流媒体工作者需要的一站式LLM+TTS+ComfyUI工作流；从普通学生所需要的第一个LLM应用的简单上手起步，到科研工作者们常用的各类参数调试接口，模型适配。这一切，你都可以在ComfyUI LLM Party中找到答案。

快速开始

0. 如果你从来没有使用过comfyui，且在comfyui中安装LLM party时出现了一些依赖问题。点击这里，下载包含LLM party的comfyui windows便携包。注意！这个便携包里只有party和管理器这两个插件，且只适用于windows系统。（如果你需要将LLM party安装到已有的comfyui，该步骤可以跳过。）
1. 直接将以下工作流拖入你的comfyui，然后用comfyui-Manager安装缺失节点。

• 使用API调用LLM：start_with_LLM_api
• 使用aisuite调用LLM：start_with_aisuite
• 使用ollama管理本地LLM：start_with_Ollama
• 使用分散格式的本地LLM：start_with_LLM_local
• 使用GGUF格式的本地LLM：start_with_LLM_GGUF
• 使用分散格式的本地VLM：start_with_VLM_local（测试中，目前只支持Llama-3.2-Vision-Instruct）
• 使用GGUF格式的本地VLM：start_with_VLM_GGUF

2. 如果你是使用API，在API LLM加载器节点上填入你的base_url（可以是中转API，注意结尾要用/v1/），例如：https://api.openai.com/v1/ 以及api_key。
3. 如果你是使用ollama，在API LLM加载器节点上打开is_ollama选项，无需填写base_url和api_key。
4. 如果你是使用本地模型，在本地模型加载器节点上填入你的模型路径，例如：E:\model\Llama-3.2-1B-Instruct。也可以在本地模型加载器节点上填入hunggingface的模型repo id，例如：lllyasviel/omost-llama-3-8b-4bits。
5. 由于本项目有较高的使用门槛，所以即使你选择了快速开始，我也希望你能耐心阅读完本项目主页。

最新更新

1. 添加了一个全新的图床节点，目前支持了 https://sm.ms 图床(中国地区域名为 https://smms.app)以及 https://imgbb.com 图床，未来会支持更多的图床，示例工作流：图床
2. party默认兼容的imgbb图床已更新到imgbb这一域名上，之前的图床由于对于中国大陆用户不友好，所以已经更换。 非常不好意思，https://imgbb.io 的图床API服务似乎已经停止了，所以代码回滚到了原先的 https://imgbb.com ，感谢大家的理解。未来我会更新一个支持更多图床的节点。
3. 更新了MCP工具，你可以修改party项目文件夹下的'mcp_config.json'中的配置来调整你要连接上的MCP服务器。你可以在这里找到你想要添加的各种MCP服务器配置参数：modelcontextprotocol/servers。本项目中默认配置为Everything服务器，一个用于测试MCP服务器是否可以正常使用的服务器。参考工作流：start_with_MCP。开发者注：MCP工具节点可以连接上你配置好的MCP服务器，然后将服务器中的tools转换成LLM可以直接使用的工具。通过配置不同的本地服务器或者云服务器，你可以体验到这个世界上所有LLM工具。

使用说明

1. 节点的使用说明请参考：怎么使用节点

2. 如果插件存在问题或者您有其他的疑问，欢迎加入QQ群：931057213 | discord：discord

3. 更多的工作流可以参考workflow文件夹

视频教程

模型支持

1. 支持所有openai格式的API调用(结合oneapi可以调用几乎所有LLM API，也支持所有的中转API)，base_url的选择参考config.ini.example，目前已测试的有：

• openai（完美适配所有的openai模型，包括4o和o1系列！）
• ollama（推荐！如果你是本地调用，非常推荐使用ollama方式托管你的本地模型！）
• Azure OpenAI
• llama.cpp（推荐！如果你想使用本地gguf格式的模型，可以使用llama.cpp项目的API接入本项目！）
• Grok
• 通义千问/qwen
• 智谱清言/glm
• deepseek
• kimi/moonshot
• 豆包
• 讯飞星火/spark
• Gemini(原本的Gemini API LLM 加载器节点在新版本的已被弃用，请使用LLM API加载器节点，base_url选择为：https://generativelanguage.googleapis.com/v1beta/)

2. 支持aisuite兼容的所有API调用：

• anthropic/claude
• aws
• vertex
• huggingface

3. 兼容transformer库的大部分本地模型（本地LLM模型链节点上的model type已改成LLM、VLM-GGUF、LLM-GGUF三个选项，对应了直接加载LLM模型、加载VLM模型和加载GGUF格式的LLM模型），如果你的VLM或GGUF格式的LLM模型报错了，请在llama-cpp-python下载最新版本的llama-cpp-python，目前已测试的有：

• ClosedCharacter/Peach-9B-8k-Roleplay(推荐！角色扮演模型)
• lllyasviel/omost-llama-3-8b-4bits(推荐！丰富提示词模型)
• meta-llama/Llama-2-7b-chat-hf
• Qwen/Qwen2-7B-Instruct
• openbmb/MiniCPM-V-2_6-gguf
• lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF
• meta-llama/Llama-3.2-11B-Vision-Instruct

4. 模型下载：

• 夸克云地址
• 百度云地址，提取码：qyhu

下载

使用以下方法之一安装

方法一：

1. 在comfyui管理器中搜索comfyui_LLM_party，一键安装
2. 重启comfyui

方法二：

1. 导航到 ComfyUI 根文件夹中下的custom_nodes子文件夹
2. 使用克隆此存储库。git clone https://github.com/heshengtao/comfyui_LLM_party.git

方法三：

1. 点击右上角的CODE
2. 点击download zip
3. 将下载的压缩包解压到ComfyUI 根文件夹中下的custom_nodes子文件夹中

环境部署

1. 导航到comfyui_LLM_party的项目文件夹
2. 在终端输入pip install -r requirements.txt将本项目需要的第三方库部署到comfyui的环境中。请注意你是否在comfyui的环境进行安装，并关注终端中的pip报错
3. 如果你是用的comfyui启动器，你需要在终端中输入 启动器配置中的路径\python_embeded\python.exe -m pip install -r requirements.txt进行安装。python_embeded文件夹一般与你的ComfyUI文件夹同级。
4. 如果你出现了一些环境配置问题，可以尝试使用requirements_fixed.txt中的依赖。

配置

• 可以在config.ini中配置语言，目前只有中文（zh_CN）和英文（en_US）两种，默认为你的系统语言。
• 可以使用以下方法之一配置APIKEY

方法一：

1. 打开comfyui_LLM_party的项目文件夹下的config.ini文件。
2. 在config.ini输入你的openai_api_key、base_url。
3. 如果你使用ollama模型，在base_url填入http://127.0.0.1:11434/v1/，在openai_api_key填入ollama，在model_name填入你的模型名称，例如:llama3。
4. 如果你要使用谷歌搜索或者必应搜索工具，在config.ini输入你的google_api_key、cse_id或bing_api_key。
5. 如果你要使用图片输入LLM，推荐使用图床imgbb，在config.ini输入你的imgbb_api。
6. 每个模型都可以在config.ini文件中单独配置，可以参考config.ini.example文件填写。当你配置好之后，只需要在节点上输入model_name即可。

方法二：

1. 打开comfyui界面。
2. 新建大语言模型（LLM）节点，在节点中直接输入你的openai_api_key、base_url。
3. 如果你使用ollama模型，请使用LLM_api节点，在节点的base_url填入http://127.0.0.1:11434/v1/，在api_key填入ollama，在model_name填入你的模型名称，例如:llama3。。
4. 如果你要使用图片输入LLM，推荐使用图床imgbb，在节点上输入你的imgbb_api_key。

更新日志

Click here

下一步计划：

1. 更多的模型适配；
2. 更多的智能体的搭建方式。
3. 更多的自动化功能。
4. 更多的知识库管理功能。
5. 更多的工具、更多的人格面具。

免责声明：

本开源项目及其内容（以下简称“项目”）仅供参考之用，并不意味着任何明示或暗示的保证。项目贡献者不对项目的完整性、准确性、可靠性或适用性承担任何责任。任何依赖项目内容的行为均需自行承担风险。在任何情况下，项目贡献者均不对因使用项目内容而产生的任何间接、特殊或附带的损失或损害承担责任。

特别感谢

借物表

本项目中的一些节点借鉴了以下项目，感谢他们在开源社区中的贡献！

1. pythongosssss/ComfyUI-Custom-Scripts
2. lllyasviel/Omost

支持：

加入社群

如果插件存在问题或者您有其他的疑问，欢迎加入我们的社群。

1. QQ群：931057213

2. 微信群：we_glm（添加小助手微信后进群）

3. discord:discord链接

关注我们

1. 如果想持续关注本项目的最新功能，欢迎关注B站账号：派对主持BB机
2. youtube@comfyui-LLM-party

捐赠支持

如果我的工作给您带来了价值，请考虑请我喝一杯咖啡吧！您的支持不仅为项目注入活力，也温暖了创作者的心。☕💖 每一杯都有意义！

星标历史