【最新进展】Flux 模型量化模型 8GB显存可用!| nf4 & gguf 版本实测

Описание к видео 【最新进展】Flux 模型量化模型 8GB显存可用!| nf4 & gguf 版本实测

大家好!今天给大家带来的是关于 Flux 模型的重大更新。社区里的张吕敏和 City96 两位大神利用先进的量化技术,成功推出了 nf4 和 gguf 两个版本的 Flux 模型,极大地降低了运行门槛,提升了生成速度!🎉

nf4 量化模型: 尺寸仅 12GB,已更新至 V2 版本。包含了 T5 文本编码器、CLIP L 编码器和 VAE。下载后请置于 ComfyUI/models/checkpoints 目录下。
gguf 量化模型: 包括 Q8、Q5、Q4 等多个版本,显存占用分别约为 8GB、10GB 和 13GB。gguf 量化版本的模型与 CLIP 文本编码器分开存放,请置于 ComfyUI/models/unet 目录下。
值得注意的是,这两种模型暂时不支持 Flux 的 LoRA 和 ControlNet 功能。但即便如此,Comfy UI 的作者和 City96 已经迅速开发出了相应的模型加载器节点,方便大家使用!

在视频中,我将通过一个简洁的工作流,为大家展示 nf4 量化和 gguf 量化的 Flux 模型的实际效果。👀
📁相关链接📁
👉 FLUX.1-dev-gguf-Q4 模型下载:
https://huggingface.co/city96/FLUX.1-...
放置在 ComfyUI/models/unet 目录下
👉 FLUX.1-dev-bnb-nf4 模型:
https://huggingface.co/lllyasviel/flu...
放在 ComfyUI/models/checkpoints 目录下
-------------
👉 ComfyUI_GGUF 模型加载插件:
https://github.com/city96/ComfyUI-GGUF
👉 ComfyUI_bitsandbytes_NF4 模型加载插件:
https://github.com/comfyanonymous/Com...
----------------
💻工作流💻
👉 https://drive.google.com/file/d/1iG-W...

#FluxModel #ModelQuantization #nf4Quantization #ggufFormat #ComfyUI #AIModels #LowBitrateQuantization #TransformerModels #UNETModels #MachineLearning #DeepLearning #AIResearch #QuantizationTechniques #LowEndGPU #HighPerformanceAI #LlamaCPP #DIModels #CustomNodes #GitHubProjects #TechReview

Комментарии

Информация по комментариям в разработке