Black Forest Labs，作為全球頂尖 AI 研究實(shí)驗(yàn)室之一，為圖像生成領(lǐng)域帶來(lái)顛覆性變革。

該實(shí)驗(yàn)室的 FLUX.1 圖像模型憑借高質(zhì)量視覺(jué)輸出和優(yōu)秀的提示詞遵循度，引發(fā)全球業(yè)界關(guān)注。現(xiàn)在，通過(guò)推出其最新 FLUX.1 Kontext 模型，該實(shí)驗(yàn)室從根本上改變了用戶引導(dǎo)和優(yōu)化圖像生成過(guò)程的方式。

為了獲得預(yù)期效果，AI 藝術(shù)家們通常需要整合多個(gè)模型架構(gòu)并配合 ControlNets 模塊，而這些 AI 模型有助于引導(dǎo)圖像生成器的輸出。這通常需要結(jié)合多個(gè) ControlNets 或采用更高級(jí)的技術(shù)，例如 NVIDIA AI Blueprint 中推出的 3D 引導(dǎo)圖像生成，這種方法通過(guò) 3D 場(chǎng)景粗稿確定圖像構(gòu)成。

全新 FLUX.1 Kontext 模型通過(guò)單一模型實(shí)現(xiàn)自然語(yǔ)言驅(qū)動(dòng)的圖像生成與編輯，大幅簡(jiǎn)化了工作流程。

NVIDIA 已與 Black Forest Labs 達(dá)成合作，通過(guò) NVIDIA TensorRT 及量化技術(shù)對(duì) FLUX. 1 Kontext [dev] 進(jìn)行深度優(yōu)化，使其在 RTX GPU 上實(shí)現(xiàn)更快的推理速度與更低的 VRAM 顯存需求。

對(duì)于創(chuàng)作者和開(kāi)發(fā)者而言，通過(guò) TensorRT 優(yōu)化，RTX 設(shè)備可帶來(lái)更快的編輯速度、更流暢的迭代和更強(qiáng)大的控制。

FLUX.1 Kontext [dev]

語(yǔ)境感知圖像生成

Black Forest Labs 于五月推出 FLUX.1 Kontext 系列圖像模型，該模型同時(shí)接受文本和圖像提示。

該系列模型支持用戶基于參考圖像進(jìn)行創(chuàng)作，并使用簡(jiǎn)單的語(yǔ)言進(jìn)行編輯，無(wú)需通過(guò)微調(diào)或使用多 ControlNet 的復(fù)雜工作流。

FLUX.1 Kontext 是一種專為圖像編輯構(gòu)建的開(kāi)放式生成模型，其引導(dǎo)式、逐步生成架構(gòu)支持從局部細(xì)節(jié)到全局場(chǎng)景轉(zhuǎn)換的精準(zhǔn)控制。由于該模型接受文本和圖像雙輸入，讓用戶可以輕松引用視覺(jué)概念，并以自然、直觀的方式引導(dǎo)其創(chuàng)作。這可以實(shí)現(xiàn)連貫且高質(zhì)量的圖像編輯，同時(shí)忠實(shí)于原始概念。

FLUX.1 Kontext 的關(guān)鍵功能包括：

角色一致性：確保人物特征在多鏡頭多視角下保持統(tǒng)一。

局部編輯：在不改變圖像其他部分的情況下，修改特定元素。

風(fēng)格遷移：將參考圖像的風(fēng)格和氛圍應(yīng)用于新場(chǎng)景。

實(shí)時(shí)性能：低延遲生成支持快速迭代和反饋。

Black Forest Labs 正式在 Hugging Face 平臺(tái)上發(fā)布 FLUX.1 Kontext 模型權(quán)重，并同步推出經(jīng)過(guò) TensorRT 加速優(yōu)化的專用版本。

傳統(tǒng)上，高級(jí)圖像編輯需要復(fù)雜的指令，并且難以創(chuàng)建遮罩層、深度圖或邊緣圖。FLUX.1 Kontext [dev] 引入了一種更加直觀且靈活的界面，將逐步編輯與用于擴(kuò)散模型推理的尖端優(yōu)化相結(jié)合。

[dev] 模型強(qiáng)調(diào)靈活性與控制力。該系統(tǒng)支持角色一致性、風(fēng)格保留和局部圖像調(diào)整等功能，并集成了 ControlNet 功能，實(shí)現(xiàn)結(jié)構(gòu)化視覺(jué)提示。

FLUX.1 Kontext [dev] 現(xiàn)已登陸 ComfyUI 及 Black Forest Labs Playground 平臺(tái)，其搭載 NVIDIA NIM 微服務(wù)版本預(yù)計(jì)將于八月正式發(fā)布。

專為 RTX 優(yōu)化

并采用 TensorRT 加速技術(shù)

FLUX.1 Kontext [dev] 通過(guò)簡(jiǎn)化復(fù)雜的工作流程來(lái)加速創(chuàng)意。為了進(jìn)一步簡(jiǎn)化工作并擴(kuò)大可訪性，NVIDIA 與 Black Forest Labs 合作：通過(guò)模型量化，降低 VRAM 顯存需求，使更多用戶能在本地運(yùn)行該模型，并采用 TensorRT 對(duì)其進(jìn)行優(yōu)化，使其性能翻倍。

量化處理后，F(xiàn)P8 的模型大小從 24GB 減小至 12GB（Ada），F(xiàn)P4 的模型大小從 24GB 減小至 7GB（Blackwell）。FP8 模型針對(duì) GeForce RTX 40 系列 GPU 進(jìn)行優(yōu)化，這些 GPU 的 Tensor Core 配備了 FP8 加速器。FP4 模型專為 GeForce RTX 50 系列 GPU 優(yōu)化，該系列顯卡采用新型 SVDQuant 量化技術(shù)，在將模型大小縮減的同時(shí)，保持卓越的圖像生成質(zhì)量。

TensorRT 是一個(gè)利用 NVIDIA RTX GPU 中 Tensor Core 實(shí)現(xiàn)最大化性能的框架，與使用 PyTorch 運(yùn)行原始 BF16 模型相比，能夠提供超過(guò)兩倍的加速效果。

與 BF16 GPU 相比，速度提升（左，值越高效果越好）和運(yùn)行 FLUX.1 Kontext [dev] 在不同精度下所需的內(nèi)存占用（右，值越低效果越好）。

開(kāi)始使用 FLUX.1 Kontext

FLUX.1 Kontext [dev] 可在 Hugging Face（Torch 和 TensorRT）平臺(tái)下載。

對(duì)這些模型測(cè)試感興趣的 AI 愛(ài)好者可以下載 Torch 版本，并在 ComfyUI 平臺(tái)上部署使用。Black Forest Labs 還提供一個(gè)在線測(cè)試平臺(tái)用于測(cè)試該模型。

針對(duì)高級(jí)用戶和開(kāi)發(fā)者，NVIDIA 正在開(kāi)發(fā)示例代碼，方便將 TensorRT 流水線輕松集成到工作流程中。

結(jié)尾彩蛋

Google 宣布推出 Gemma 3n，這是一款新型多模態(tài)小語(yǔ)言模型，非常適合在 NVIDIA GeForce RTX GPUs 以及用于邊緣 AI 和機(jī)器人技術(shù)的 NVIDIA Jetson 平臺(tái)上運(yùn)行。

AI 愛(ài)好者可以在 Ollama 和 llama.cpp 框架中，借助 RTX 加速，使用 Gemma 3n 模型，并通過(guò)他們喜歡的應(yīng)用程序，比如 AnythingLLM 和 LM Studio，輕松體驗(yàn)和開(kāi)發(fā) AI 功能。

此外，開(kāi)發(fā)者可通過(guò) Ollama 框架輕松部署 Gemma 3n 模型，并充分利用 RTX 加速優(yōu)勢(shì)。