😀 C​‎​‎‏​‍‎​‎​‎‏​‌‎​‎‍​‍‏​‍‌​‌‏omfyui_llm_party希望基于comfyui这一个极为简约的UI界面作为前端，开发一套完整的用于LLM工作流搭建的节点库。可以让用户更便捷快速地搭建自己的LLM工作流，并且更方便地接入自己的图像工作流中。

项目地址 https://github.com/heshengtao/comfyui_LLM_party.git

1 📜安装节点

2 📁安装依赖文件

3 📙模型支持

1. 支持所有openai格式的API调用(结合oneapi可以调用几乎所有LLM API，也支持所有的中转API)，base_url的选择参考config.ini.example，目前已测试的有：
• openai（完美适配所有的openai模型，包括4o和o1系列！）
• ollama（推荐！如果你是本地调用，非常推荐使用ollama方式托管你的本地模型！）
• Azure OpenAI
• llama.cpp（推荐！如果你想使用本地gguf格式的模型，可以使用llama.cpp项目的API接入本项目！）
• Grok
• 通义千问/qwen
• 智谱清言/glm
• deepseek
• kimi/moonshot
• 豆包
• 讯飞星火/spark
• Gemini(原本的Gemini API LLM 加载器节点在新版本的已被弃用，请使用LLM API加载器节点，base_url选择为：https://generativelanguage.googleapis.com/v1beta/)

2. 支持aisuite兼容的所有API调用：
• anthropic/claude
• aws
• vertex
• huggingface

3. 兼容transformer库的大部分本地模型（本地LLM模型链节点上的model type已改成LLM、VLM-GGUF、LLM-GGUF三个选项，对应了直接加载LLM模型、加载VLM模型和加载GGUF格式的LLM模型），如果你的VLM或GGUF格式的LLM模型报错了，请在llama-cpp-python下载最新版本的llama-cpp-python，目前已测试的有：
• ClosedCharacter/Peach-9B-8k-Roleplay(推荐！角色扮演模型)
• lllyasviel/omost-llama-3-8b-4bits(推荐！丰富提示词模型)
• meta-llama/Llama-2-7b-chat-hf
• Qwen/Qwen2-7B-Instruct
• openbmb/MiniCPM-V-2_6-gguf
• lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF
• meta-llama/Llama-3.2-11B-Vision-Instruct
• Qwen/Qwen2.5-VL-3B-Instruct
• deepseek-ai/Janus-Pro

4. 模型下载：
• 夸克云地址
• 百度云地址，提取码：qyhu

4 🤗 导入工作流

1. 直接将以下工作流拖入你的comfyui，然后用comfyui-Manager安装缺失节点。
• 使用API调用LLM：start_with_LLM_api
• 使用aisuite调用LLM：start_with_aisuite
• 使用ollama管理本地LLM：start_with_Ollama
• 使用分散格式的本地LLM：start_with_LLM_local
• 使用GGUF格式的本地LLM：start_with_LLM_GGUF
• 使用分散格式的本地VLM：start_with_VLM_local（目前已经支持Llama-3.2-VisionQwen/Qwen2.5-VL/deepseek-ai/Janus-Pro）
• 使用GGUF格式的本地VLM：start_with_VLM_GGUF

2. 如果你是使用API，在API LLM加载器节点上填入你的base_url（可以是中转API，注意结尾要用/v1/），例如：https://api.openai.com/v1/ 以及api_key。

3. 如果你是使用ollama，在API LLM加载器节点上打开is_ollama选项，无需填写base_url和api_key。

4. 如果你是使用本地模型，在本地模型加载器节点上填入你的模型路径，例如：E:\model\Llama-3.2-1B-Instruct。也可以在本地模型加载器节点上填入hunggingface的模型repo id，例如：lllyasviel/omost-llama-3-8b-4bits。

5. 导入Comfyui面板。

6. 安装缺失节点

5 📃配置工作流

1. 下载工作流到本地 https://pan.itq5.com/d/%E5%B7%A5%E4%BD%9C%E6%B5%81/4.LLM_Party%20FLUX/API%20LLM%20%2B%20Flux.json

2. 将工作流拖到ConfyUI上加载

3. 安装缺失节点

4. 在model_name中输入模型名称，例如DeepSeek-V3

5. 在base_url中输入api地址，例如https://api.xxx.com

6. 在api_key中输入api秘钥，例如sk-xxxxxx

7. 选择flux的相关模型文件

8. 点击执行按钮

6 📎 效果展示

免责声明：

• 笔者水平有限，尽管经过多次验证和检查，尽力确保内容的准确性，但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。

• 本文所述内容仅通过实战环境验证测试，读者可学习、借鉴，但严禁直接用于生产环境。由此引发的任何问题，作者概不负责！