Skip to content

[反馈与教程] YouTube 视频:Instant Character 本地部署 (依赖推断, Gradio降级, 量化运行) 及用户体验反馈,3090 上测试 #31

@softicelee2

Description

@softicelee2

Instant Character (腾讯) 团队和社区的朋友们,大家好!
为了探索在消费级硬件上运行的可能性,并分享部署经验(包括遇到的显著困难),我制作了一个 YouTube 视频。视频中记录了在线 Demo 体验,并重点展示了在本地 Ubuntu 环境下,通过大量试错推断依赖、进行代码修改以启用量化、并使用我自编写的 Gradio WebUI 成功部署和运行 Instant Character 的全过程。
视频链接在这里: [https://youtu.be/_iW-K0AKFLk]
视频核心内容概览:
(00:10) 项目介绍:Instant Character (腾讯开发) 功能 - 基于 Flux,使用参考人物图片+提示词,生成保持人物一致性的图像。
(00:50) 在线 Demo (Hugging Face) 体验: 展示了上传人物图片 + 输入提示词描述场景/风格 -> 生成图片的功能,效果不错且利用了缓存。
(03:32) 本地部署准备 (GitHub & Hugging Face):
浏览 GitHub 仓库,提及模型文件需从 Hugging Face 下载。
重要反馈:GitHub 仓库严重缺少本地部署所需的详细指南和依赖信息 ([04:14] - [04:37])。
(04:37) 极其困难的本地部署步骤 (Ubuntu - 基于大量试错):
克隆项目仓库。
创建并激活 Conda 环境。
关键反馈 - 依赖地狱与文档缺失:
指出官方完全没有提供 requirements.txt 文件 ([05:18])。
视频展示了根据 Hugging Face Demo 代码和反复试错推断出的依赖列表 ([05:38] - [06:17])。
重要依赖修复: 为了 WebUI (app.py 或自制脚本) 正常运行,必须降级 gradio 包 到特定版本 ([08:26] - [08:46]),否则 WebUI 文件上传等功能会失效。(这是运行 Web 界面的关键)。
重要优化步骤: 为了在消费级显卡 (24GB) 上运行,必须安装 bitsandbytes 和 accelerate ([06:13]),并在代码中启用模型的量化加载(如 8-bit 或 4-bit),否则无法运行或速度极慢。(官方代码和文档未提供此关键优化说明)。
(09:10) 模型文件准备:
演示了将预下载的模型文件拷贝到本地目录。
(10:04) 自制 WebUI (web_ui.py) 代码与官方 app.py 问题:
展示了自编写的 Gradio WebUI 脚本,明确指定加载本地模型并启用了量化 ([10:13])。
指出官方提供的 app.py 存在问题:
默认会执行预计算/缓存示例,在本地部署时耗时极长(15分钟 x 2 = 30分钟以上)且无必要 ([10:53] - [11:55])。
没有提供方便的加载本地模型和启用量化的配置。
视频中演示了修改官方 app.py 跳过预计算或直接使用自制 WebUI。
(15:18) 启动并使用自制 WebUI (启用量化):
运行自编写的 web_ui.py。
展示模型加载过程,显存和内存占用情况(量化后可在 24GB 显存 + 64GB 内存运行)。
(17:10) 本地 WebUI 演示:
上传自定义人物图片。
输入提示词描述场景/风格。
执行推理,生成时间约 15-20 分钟/图 ([15:15] & [20:41])。
展示生成结果,确认人物形象和服装保持了较好的一致性,背景和风格符合提示词。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions