如何訓練 Flux LoRA(Flux.1 和 Flux 2):初學者逐步指南
Flux LoRA 訓練是教導 Flux 影像模型它不知道的東西:你的臉、你的產品、你的繪畫風格、相機效果。結果是一個 20 到 300 MB 的 .safetensors 檔案,可用於任何 Flux 應用,包括 Graydient。過程需要 15 到 30 張圖片,一張 12 到 16 GB 記憶體的顯卡(或租用一小時),以及免費的訓練器。本指南逐步說明 Flux.1 開發版和 Flux 2 的每個步驟,最後說明如何在此運行你的新 LoRA。
你將做七件事:選擇 Flux 基礎模型、建立小型資料集、撰寫標題、選擇訓練器、設定幾個數值、訓練與測試,然後將檔案匯入 Graydient。每個步驟下方都有適用於大多數人的數值。如果你已有訓練好的檔案,可直接跳到使用說明部分。
Graydient 可運行 LoRA,但不負責訓練。訓練在你自己的顯卡、租用的 GPU 或線上訓練器上進行。檔案一旦存在,每個 Graydient 方案都能以固定價格使用它來渲染。
你需要的東西
- 15 到 30 張同一主題的好照片,或風格則需 30 到 60 張。手機照片只要清晰且多樣化也可以。
- Flux.1 開發版或 Flux 2 Klein 4B 需 12 到 16 GB 記憶體的顯卡,Flux 2 開發版則需 24 GB 以上。沒有顯卡?可租用一小時(見下方)或使用線上訓練器。
- 免費訓練器:AI Toolkit、Kohya sd-scripts(或其上的 FluxGym 介面)或 OneTrainer。皆可在安裝 Python 的 Windows 和 Linux 上運行。
- 一到三小時,大部分時間在等待。Graydient 方案只在最後渲染檔案時才重要。比較 方案與價格。
步驟 1:選擇要訓練的 Flux 基礎模型
LoRA 綁定於其訓練時的基礎模型,請從你想用來渲染的基礎模型開始。Flux 家族有三個分支,彼此不共用 LoRA:
| 基礎模型 | 訓練所需記憶體 | LoRA 之後運行的位置 |
|---|---|---|
| Flux.1 開發版 | 使用 fp8 基礎模型和 8 位元優化器需 12 到 16 GB;24 GB 會更舒適 | Flux.1 開發版、Flux.1 schnell(較弱)、Flux Krea 開發版及多個 Flux.1 微調版。在 Graydient 上為 <flux-dev>。最大 LoRA 生態系統;不確定時選這個。 |
| Flux 2 Klein 4B | 12 到 16 GB;訓練時使用 Klein 4B 基礎檢查點,不是 4 步蒸餾版 | 僅限 Klein 4B 及其衍生檢查點。訓練快、渲染快;Apache 2.0 授權。 |
| Flux 2 Klein 9B | 約 24 GB;訓練時使用 Klein 9B 基礎檢查點 | 僅限 Klein 9B。細節優於 4B,非商業授權。 |
| Flux 2 開發版 | 至少 24 GB,48 GB 更舒適;除非擁有 4090 或 5090,否則建議租用 | Flux 2 開發版及其衍生檢查點。在 Graydient 上為 <flux2>。最高品質,訓練最慢。 |
記住規則:Flux.1 LoRA 不能用於 Flux 2,Flux 2 LoRA 不能用於 Flux.1,Klein 4B、Klein 9B 和 Flux 2 開發版各自需要自己的 LoRA。Krea 2 是不同模型,不是 Flux。如果使用多個基礎模型,請對每個基礎模型用相同資料集訓練一次。
步驟 2:建立資料集
Flux 從小而乾淨的資料集快速學習。品質勝過數量;20 張清晰且多樣的照片勝過 80 張近乎重複的。
- 為一個人、產品或物件收集 15 到 30 張照片。拍攝角度、距離、光線和背景要有變化。至少包含三分之一的特寫和三分之一的全身或全產品照。
- 為風格收集 30 到 60 件作品,媒介和線條品質相同,但主題不同:人物、地點、物件。多樣性告訴訓練器主題不是風格。
- 移除模糊、重度壓縮、水印、文字覆蓋及非主題人物。資料集中有一張陌生臉孔會在渲染中顯現。
- 解析度:長邊 1024 像素是 Flux 標準。保持寬高比多樣;每個訓練器會自動分類。不要拉伸圖片成正方形。
- 將圖片放在同一資料夾,旁邊放一個同名的文字檔。標題寫在文字檔中:
dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt
步驟 3:撰寫標題
Flux 透過 T5 文字編碼器讀取自然句子,標題是簡單描述,不是關鍵字列表。標題決定 LoRA 學習什麼,忽略什麼:
- 對主題,從一個非真實詞的觸發詞開始,接著描述主題以外的所有東西:衣服、姿勢、地點、光線。訓練器學會觸發詞是標題未說明的部分。
- 對風格,描述每張圖片的內容,絕不提風格。風格是 LoRA 透過省略學到的,之後會套用到你提示的任何主題。
- 標題保持一到兩句。若超過 30 張圖片,可用 Florence-2 或 JoyCaption 自動標題,然後手動檢查修正前十張。
- 不要用真實人物名字當觸發詞,也不要標註圖片中沒有的東西。
一個人物 LoRA 的主題標題範例:ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera
一個風格 LoRA 的標題範例,故意不提風格:a fishing boat in a harbour at dawn, two men on the pier, fog over the water
步驟 4:選擇訓練器
四個免費開源訓練器涵蓋所有 Flux 基礎模型。它們都使用相同的資料集資料夾,產生相同類型的 .safetensors 檔案:
- AI Toolkit(作者 ostris):最常用的 Flux 訓練器。每次運行一個 YAML 配置檔,提供網頁介面、低 VRAM 模式,支援 Flux.1 開發版、Flux 2 開發版和 Flux 2 Klein。用
python run.py config/my_flux_lora.yaml開始訓練。最佳首選。 - Kohya sd-scripts 和 FluxGym:Kohya 是大多數 Stable Diffusion LoRA 背後的老牌訓練器,有 Flux 分支。FluxGym 是其上的單頁網頁介面,提供 12、16 和 20 GB 預設。適合想填表單不想編輯檔案時使用。
- OneTrainer:桌面應用,介面友好,支援 SDXL 和 Flux.1。如果你也訓練 SDXL LoRA,想用一個工具,選它。
- 線上訓練器:Civitai 的現場訓練器和 GPU 主機網站上的 Flux 訓練器接受壓縮包圖片並回傳檔案。每次運行需花費點數且隱藏設定,但完全不需顯卡。產生的檔案可同樣匯入 Graydient。
步驟 5:設定五個重要數值
每個訓練器有數十個選項。除這些決定 LoRA 強度、泛用性和大小的數值外,其他保持預設即可:
| 設定項目 | Flux.1 開發版 | Flux 2 Klein 4B(基礎) |
|---|---|---|
| 網路階層(維度) | 臉部或物件用 16,細節豐富的風格用 32 | 16;風格用 32 |
| Alpha | 等於階層 | 等於階層 |
| 學習率 | 1e-4 到 2e-4(如果訓練器提供,使用 Prodigy 或 Adafactor) | 1e-4 |
| 步數 | 1000 到 2000,讓每張圖片被看到 60 到 120 次 | 1000 到 2000 |
| 解析度 | 1024(記憶體不足時用 768) | 1024 |
| 批次大小 | 1(24 GB 時可用 2) | 1 或 2 |
| 基礎精度 | 12 到 16 GB 使用 fp8 基礎搭配 8 位元優化器;24 GB 以上用 bf16 | 16 GB 可用 bf16;12 GB 用 fp8 |
設定訓練器每 250 步存一次檢查點,並在每次存檔時用相同提示詞和種子渲染兩張範例圖。這些範例圖是你選擇勝者的依據。Flux.1 dev 和 Flux 2 dev 是經過指導蒸餾的;訓練器會處理這部分,所以指導設定保持預設即可。
步驟 6:訓練
- 開始執行並在第一分鐘內觀察記憶體。如果記憶體填滿並溢出到系統記憶體,請停止:訓練會變慢十倍且可能當機。
- 若記憶體溢出,請切換基礎精度到 fp8,開啟梯度檢查點,使用 8 位元 AdamW 或 Adafactor 優化器,解析度降到 768,批次大小維持 1。這些方法中任一個都能釋放數 GB 記憶體。
- 一旦運行順暢,就讓它繼續。Flux.1 dev 在 16 GB 顯卡上跑 1500 步約需一到兩小時;Klein 4B 較快;Flux 2 dev 在租用的 48 GB 顯卡上約一小時。
- 隨時查看範例圖片。主題通常在 500 步出現,1000 步時已穩定。如果 750 步時已完美,可以提前停止。
訓練過程慢且有噪音,但不易崩潰。能撐過第一分鐘的訓練幾乎都能完成。如果訓練器支援,訓練前快取潛在向量和文字嵌入,能節省每次訓練的記憶體和時間。
步驟 7:測試並選擇正確的檢查點
最後的檢查點很少是最佳。過度訓練的 LoRA 會複製資料集背景,破壞對比度並忽略提示詞。全部測試:
- 寫四個資料集中沒有的提示詞:新地點、新服裝、不同光線、不同媒介。固定種子。
- 用四個提示詞分別渲染每個存檔的檢查點,LoRA 權重設為 0.6、0.8 和 1.0。
- 選擇最早能準確呈現主題且仍符合新提示詞的檢查點。後面的通常過頭;早的則模糊。
- 將勝出檢查點重新命名成你一年後還能認出的名字,例如主題和基礎:my-flux-lora,而非 lora_000750。
沒有顯卡?租一張用一小時
Flux 2 dev 訓練或任何 Flux 訓練在筆電上,租用顯卡比用自己時間便宜。24 或 48 GB 顯卡在 GPU 租用市場每小時價格遠低於一杯咖啡,Flux LoRA 需要一到兩小時。
- 租用配有 24 GB 顯卡的機器用於 Flux.1 dev 或 Klein,48 GB 用於 Flux 2 dev。若市場有提供,選擇已預裝訓練器的模板;AI Toolkit 模板很常見。
- 上傳資料集資料夾,使用上述相同設定執行,下載想測試的檢查點。資料集和權重仍屬於你。
- 下載完成後停止機器。整個過程(含設定)通常不到兩小時租用時間。
在 Graydient 上使用你的 Flux LoRA
Graydient 不需要你電腦上的檔案就能渲染。把檔案放在 Graydient 可取得的位置並匯入連結:
- 將 .safetensors 檔案上傳到你 Hugging Face 帳戶的倉庫(公開或私密),或在 Civitai 發佈,基礎模型設為你訓練用的 Flux 版本。
- 登入 Graydient,從你的儀表板庫打開 Model Import,貼上 Hugging Face 的直接檔案連結或 Civitai 頁面連結。完整步驟在 如何在 Graydient 匯入 Civitai 模型。
- 等待 LoRA 出現在你的庫中,並複製 Graydient 給的 ShortCode。
- 在任何 Graydient 應用中用 LoRA 標籤和相符基礎渲染:Flux.1 LoRA 用
<lora:my-flux-lora:0.8> <flux-dev>,Flux 2 LoRA 用<lora:my-flux2-lora:0.8> <flux2>。所有應用、權重和堆疊規則在 Graydient 上 Flux 和 Flux 2 LoRA 的初學者指南。
Telegram 或 Discord 的完整首次渲染,先寫觸發詞,LoRA 權重 0.8,基礎為 Flux dev:/render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024
授權:你可以怎麼使用 LoRA
LoRA 是基礎模型的衍生品,基礎授權同樣適用。販售渲染圖或檔案前,請先查看模型頁面上的最新授權條款:
- Flux.1 dev 和 Flux 2 dev 採用 Black Forest Labs 的非商業授權。個人專案和研究可用;商業用途需取得他們的商業授權。
- Flux 2 Klein 4B(及其基礎檢查點)採用 Apache 2.0 授權,訓練於其上的 LoRA 不受基礎模型限制。Klein 9B 採非商業授權。
- 你資料集中的圖片有其自身權利。請使用你拍攝或擁有的照片,且未經同意絕不使用真人照片。
如果出問題了
- 第一分鐘內記憶體不足:fp16 基礎加優化器不夠用。改用 fp8、8 位元 AdamW 或 Adafactor、梯度檢查點、解析度 768、批次 1。還是不行就租顯卡。
- LoRA 改變整張圖而非主題:標註未描述背景和光線,訓練器把它們當成觸發詞的一部分。重新標註並明確說明上下文,並多樣化資料集。
- 權重 1.0 臉部正確但忽略提示詞:過度訓練。用較早檢查點。下一次訓練減半步數或將學習率降至 5e-5。
- 任何權重下都只有模糊相似:訓練不足或資料集過於單一。每次加 500 步,或加入新角度圖片。
- LoRA 在 Graydient 沒作用:基礎不符。Flux.1 LoRA 需要
<flux-dev>;Flux 2 LoRA 需要<flux2>。也確認提示詞有包含觸發詞。 - 訓練能跑但非常慢:溢出到系統記憶體,或資料集在慢速硬碟。依第一點修正記憶體,快取潛在向量,並將資料集移到 SSD。
這就是整個方法:一個基礎、20 張乾淨圖片、誠實標註、五個數字、一個訓練、一個測試。你的第一個 Flux LoRA 不會是最好,第二個只需一半時間。檔案存在後,登入 Graydient 或比較 方案與價格,可無限次用它渲染。每個方案都含 7 天退款保證。
常見問題
Graydient 可以幫我訓練 Flux LoRA 嗎?
不行。Graydient 是固定費用的渲染服務;它可以執行 LoRA,但不訓練。請用自己的顯卡、租用顯卡或上述線上訓練器訓練,然後匯入檔案。之後用它渲染不需額外費用。
Flux LoRA 需要多少張圖片?
臉部、產品或物件需要15到30張;風格需要30到60張。Flux從小型資料集學習。超過100張圖片時,你是在微調,而不是訓練LoRA,這時需要更多步數和記憶體。
Flux LoRA訓練需要多少VRAM?
Flux.1開發版或Flux 2 Klein 4B使用fp8基底和8位元優化器時需12到16 GB。Klein 9B約需24 GB。Flux 2開發版最低24 GB,舒適使用48 GB。除非你擁有4090或5090,否則建議租用後兩者。
需要多久時間?
Flux.1開發版在16 GB顯卡上1500步約需一到兩小時,Klein 4B更快,Flux 2開發版在租用的48 GB顯卡上約一小時。第一次還要加一小時做標註和測試。
我可以用和Flux.1 LoRA一樣的方式訓練Flux 2 LoRA嗎?
可以,使用相同的資料集和標註。Klein LoRA要在Klein基底檢查點(4B Base或9B Base)上訓練,不要用4步蒸餾版,且結果只能在該Klein尺寸上運行。Flux 2開發版需要更多記憶體,大多數人會租用。
Flux LoRA需要觸發詞嗎?
對於人物或物件,需要:在每個標註開頭使用一個自創詞,然後在每個提示詞開頭放入該詞。對於風格,如果標註描述的是內容而非風格,則不需要觸發詞;LoRA會套用到所有內容。
我可以保密LoRA嗎?
可以。將它上傳到私人Hugging Face倉庫,登入Hugging Face後匯入檔案連結;Graydient只會抓取你帳號可下載的檔案。你的資料庫只有你能看,檔案不會出現在ModelTrends或任何公開地方。