Paano mag-train ng Flux LoRA (Flux.1 at Flux 2): ang step-by-step na gabay para sa mga baguhan
Ang pagsasanay ng Flux LoRA ay kung paano mo itinuturo sa Flux image model ang isang bagay na hindi nito alam: ang iyong mukha, produkto, estilo ng pagguhit, o hitsura ng camera. Ang resulta ay isang .safetensors file na may 20 hanggang 300 MB na magagamit mo sa anumang Flux app, kasama na ang Graydient. Kailangan nito ng 15 hanggang 30 larawan, isang card na may 12 hanggang 16 GB ng memorya (o isang nirentahang card para sa isang oras), at isang libreng trainer. Ang gabay na ito ay naglalakad sa bawat hakbang para sa Flux.1 dev at Flux 2, at nagtatapos sa kung paano patakbuhin ang bagong LoRA dito.
Gagawa ka ng pitong bagay: pipili ng Flux base, gagawa ng maliit na dataset, magsusulat ng mga caption, pipili ng trainer, magse-set ng ilang numero, magta-train at magte-test, tapos i-import ang file sa Graydient. Bawat hakbang ay nakasulat sa ibaba kasama ang mga halaga na gumagana para sa karamihan. Kung mayroon ka nang na-train na file, pumunta na sa seksyon kung paano ito gamitin.
Ang Graydient ay nagpapatakbo ng LoRAs; hindi ito nagta-train ng mga ito. Nangyayari ang training sa sarili mong graphics card, sa GPU na nirenta mo kada oras, o sa online trainer. Kapag mayroon nang file, bawat plano ng Graydient ay maaaring mag-render gamit ito sa isang flat na presyo.
Mga kailangan mo
- 15 hanggang 30 magagandang larawan ng isang paksa, o 30 hanggang 60 para sa isang estilo. Ayos lang ang mga kuha gamit ang telepono kung malinaw at iba-iba ang mga ito.
- Isang graphics card na may 12 hanggang 16 GB ng memorya para sa Flux.1 dev o Flux 2 Klein 4B, o 24 GB pataas para sa Flux 2 dev. Wala kang card? Magrenta ng isa para sa isang oras (tingnan sa ibaba) o gumamit ng online trainer.
- Isang libreng trainer: AI Toolkit, Kohya sd-scripts (o ang FluxGym interface sa ibabaw nito) o OneTrainer. Lahat ay tumatakbo sa Windows at Linux na may naka-install na Python.
- Isa hanggang tatlong oras, karamihan ay paghihintay. Ang plano sa Graydient ay mahalaga lang sa dulo, kapag gusto mong mag-render gamit ang file. Ihambing ang mga plano at presyo.
Hakbang 1: piliin ang Flux base na pagta-train-an
Ang LoRA ay naka-bind sa base model kung saan ito na-train, kaya magsimula sa base na gusto mong gamitin sa pag-render. Ang pamilya ng Flux ay may tatlong sangay na hindi nagbabahagi ng LoRAs:
| Base | Memorya para sa training | Saan tumatakbo ang LoRA pagkatapos |
|---|---|---|
| Flux.1 dev | 12 hanggang 16 GB gamit ang base sa fp8 at isang 8-bit optimizer; 24 GB ay komportable | Flux.1 dev, Flux.1 schnell (mahina), Flux Krea dev at maraming Flux.1 fine-tunes. Sa Graydient: <flux-dev>. Ang pinakamalaking ecosystem ng LoRA; piliin ito kung hindi sigurado. |
| Flux 2 Klein 4B | 12 hanggang 16 GB; mag-train sa Klein 4B Base checkpoint, hindi sa 4-step distilled na isa | Klein 4B at mga checkpoint na base sa Klein 4B lang. Mabilis mag-train at mabilis mag-render; Apache 2.0 lisensya. |
| Flux 2 Klein 9B | Mga 24 GB; mag-train sa Klein 9B Base checkpoint | Klein 9B lang. Mas maganda ang detalye kaysa 4B, non-commercial na lisensya. |
| Flux 2 dev | 24 GB minimum, 48 GB ay komportable; magrenta para dito maliban kung may 4090 o 5090 ka | Flux 2 dev at mga checkpoint na base sa Flux 2 dev. Sa Graydient: <flux2>. Pinakamataas na kalidad, pinakamabagal mag-train. |
Ang patakarang tandaan: Ang Flux.1 LoRAs ay hindi gumagana sa Flux 2, ang Flux 2 LoRAs ay hindi gumagana sa Flux.1, at ang Klein 4B, Klein 9B at Flux 2 dev ay bawat isa ay nangangailangan ng sariling LoRA. Ang Krea 2 ay ibang modelo, hindi Flux. Kung gagamit ka ng ilang base, mag-train ng isang beses kada base mula sa parehong dataset.
Hakbang 2: buuin ang dataset
Mabilis matuto ang Flux mula sa maliit at malinis na mga dataset. Mas mahalaga ang kalidad kaysa dami; 20 malinaw at iba-ibang larawan ay mas maganda kaysa 80 halos kapareho.
- Kolektahin ang 15 hanggang 30 larawan para sa isang tao, produkto o bagay. Baguhin ang anggulo, distansya, ilaw at background sa bawat kuha. Isama ang hindi bababa sa isang-katlo na close-ups at isang-katlo na buong katawan o buong produkto.
- Para sa isang estilo, kolektahin ang 30 hanggang 60 gawa na may parehong medium at kalidad ng linya pero iba-ibang paksa: tao, lugar, bagay. Ang pagkakaiba-iba ang nagsasabi sa trainer na ang paksa ay hindi ang estilo.
- Tanggalin ang malabo, mabigat na compression, watermark, text overlay at sinumang hindi ang paksa. Isang hindi inaasahang mukha sa set ay lalabas sa mga render.
- Resolusyon: 1024 pixels sa mahaba na gilid ang standard para sa Flux. Panatilihing halo-halo ang aspect ratio; awtomatikong inaayos ng bawat trainer. Huwag i-stretch ang mga larawan para maging parisukat.
- Ilagay ang mga larawan sa isang folder na may katabing text file na may parehong pangalan. Ang caption ay ilalagay sa text file:
dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt
Hakbang 3: isulat ang mga caption
Binabasa ng Flux ang natural na mga pangungusap gamit ang T5 text encoder, kaya ang mga caption ay simpleng paglalarawan, hindi listahan ng mga keyword. Ang mga caption ang nagdedesisyon kung ano ang matututunan ng LoRA at ano ang iiwan:
- Para sa isang paksa, magsimula sa isang trigger word na hindi totoong salita, tapos ilarawan ang lahat ng hindi ang paksa: damit, posisyon, lugar, ilaw. Natutunan ng trainer na ang trigger word ang bahagi na hindi ipinaliwanag ng caption.
- Para sa isang estilo, ilarawan ang nilalaman ng bawat larawan at huwag kailanman banggitin ang estilo. Ang estilo ang matututunan ng LoRA sa pamamagitan ng hindi pagsasabi, at ito ay iaaplay sa anumang paksa na ipaprompt mo.
- Panatilihin ang mga caption sa isa o dalawang pangungusap. Gumamit ng auto-caption gamit ang Florence-2 o JoyCaption kung higit sa 30 larawan, tapos basahin at ayusin ang unang sampu nang mano-mano.
- Huwag gumamit ng totoong pangalan ng tao bilang trigger word, at huwag mag-caption ng mga bagay na wala sa larawan.
Isang subject caption para sa isang tao LoRA: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera
Isang caption para sa isang style LoRA, kung saan hindi sinasabi ang estilo: a fishing boat in a harbour at dawn, two men on the pier, fog over the water
Hakbang 4: pumili ng trainer
Apat na libreng open-source na trainer ang sumasaklaw sa bawat Flux base. Lahat sila ay gumagamit ng parehong dataset folder at gumagawa ng parehong uri ng .safetensors file:
- AI Toolkit (ni ostris): ang pinakaginagamit na Flux trainer. Isang YAML configuration file kada run, web interface, low-VRAM modes, at suporta para sa Flux.1 dev, Flux 2 dev at Flux 2 Klein. Simulan ang run gamit ang
python run.py config/my_flux_lora.yaml. Pinakamainam na unang piliin. - Kohya sd-scripts at FluxGym: Ang Kohya ay ang beteranong trainer sa likod ng karamihan ng Stable Diffusion LoRAs at may sangay para sa Flux. Ang FluxGym ay isang one-page web interface sa ibabaw nito na may 12, 16 at 20 GB presets. Maganda kapag gusto mo ng form na punan, hindi file na i-edit.
- OneTrainer: isang desktop application na may friendly na interface para sa SDXL at Flux.1. Piliin ito kung nagta-train ka rin ng SDXL LoRAs at gusto mo ng isang tool lang.
- Online trainers: Ang on-site trainer ng Civitai at ang Flux trainers sa GPU hosting sites ay tumatanggap ng zip ng mga larawan at nagbabalik ng file. May bayad sila kada run at hindi ipinapakita ang mga setting, pero hindi mo kailangan ng card. Ang file na ginagawa nila ay ini-import sa Graydient sa parehong paraan.
Hakbang 5: i-set ang limang mahahalagang numero
Maraming opsyon ang bawat trainer. Huwag galawin ang default maliban sa mga ito, na nagdedesisyon kung gaano kalakas, gaano kalawak at gaano kalaki ang LoRA:
| Setting | Flux.1 dev | Flux 2 Klein 4B (Base) |
|---|---|---|
| Network rank (dim) | 16 para sa mukha o bagay, 32 para sa detalyadong estilo | 16; 32 para sa mga estilo |
| Alpha | Katumbas ng ranggo | Katumbas ng ranggo |
| Bilis ng pagkatuto | 1e-4 hanggang 2e-4 (Prodigy o Adafactor kung meron ang trainer) | 1e-4 |
| Mga hakbang | 1000 hanggang 2000, para makita ang bawat larawan ng 60 hanggang 120 beses | 1000 hanggang 2000 |
| Resolusyon | 1024 (768 kung kulang ang memorya) | 1024 |
| Laki ng batch | 1 (2 sa 24 GB) | 1 o 2 |
| Base precision | fp8 base na may 8-bit optimizer sa 12 hanggang 16 GB; bf16 sa 24 GB pataas | bf16 kasya sa 16 GB; fp8 sa 12 GB |
Itakda ang trainer na mag-save ng checkpoint bawat 250 hakbang at mag-render ng dalawang sample na larawan sa bawat save, gamit ang parehong prompt at seed. Ito ang mga sample na gagamitin mo para pumili ng panalo. Ang Flux.1 dev at Flux 2 dev ay guidance-distilled; ang mga trainer ang bahala diyan, kaya iwanang naka-default ang setting ng guidance.
Hakbang 6: mag-train
- Simulan ang pagtakbo at bantayan ang memorya sa unang minuto. Kung mapuno ang card at lumagpas sa system memory, itigil: magiging sampung beses na mas matagal ang training at maaaring mag-crash.
- Kung lumagpas ang memorya, palitan ang base sa fp8, buksan ang gradient checkpointing, gamitin ang 8-bit AdamW o Adafactor optimizer, ibaba ang resolusyon sa 768, at panatilihin ang batch sa 1. Kahit isa sa mga ito ay magpapalaya ng gigabytes.
- Kapag tumakbo nang maayos, iwanan na lang. Ang Flux.1 dev ay tumatagal ng isa hanggang dalawang oras para sa 1500 hakbang sa 16 GB card; mas mabilis ang Klein 4B; ang Flux 2 dev ay mga isang oras sa nirentahang 48 GB card.
- Tingnan ang mga sample na larawan habang lumalabas. Karaniwan lumalabas ang subject sa hakbang 500 at matatag na ito sa 1000. Kung perpekto na ito sa 750, maaari kang huminto nang maaga.
Mabagal at maingay ang training, hindi marupok. Ang run na nakaligtas sa unang minuto ay halos palaging natatapos. I-cache ang latents at text embeddings bago mag-training kung meron ang trainer nito; nakakatipid ito ng memorya at oras sa bawat run.
Hakbang 7: subukan at piliin ang tamang checkpoint
Bihira ang huling checkpoint ang pinakamaganda. Ang mga overtrained na LoRA ay kinokopya ang mga background ng dataset, nasusunog ang contrast at hindi na nakikinig sa mga prompt. Subukan lahat:
- Sumulat ng apat na prompt na wala sa dataset: bagong lugar, bagong damit, ibang ilaw, ibang medium. Ayusin ang seed.
- I-render ang bawat na-save na checkpoint gamit ang apat na prompt sa LoRA weights na 0.6, 0.8 at 1.0.
- Piliin ang pinakaunang checkpoint na tama ang subject at sumusunod pa rin sa mga bagong prompt. Karaniwan sobra ang mga huli; malabo ang mga nauna.
- Palitan ang pangalan ng panalo sa isang bagay na makikilala mo sa librarya isang taon mula ngayon, tulad ng subject at base: my-flux-lora, hindi lora_000750.
Walang graphics card? Magrenta ng isa para sa isang oras
Mas mura ang Flux 2 dev training, o anumang Flux training sa laptop, sa nirentahang card kaysa sa sarili mong oras. Ang 24 o 48 GB card ay nagkakahalaga ng mas mababa sa presyo ng kape kada oras sa mga GPU rental marketplace, at ang Flux LoRA ay kailangan ng isa hanggang dalawang oras.
- Magrenta ng makina na may 24 GB card para sa Flux.1 dev o Klein, 48 GB para sa Flux 2 dev. Pumili ng template na may preinstalled na trainer kung meron sa marketplace; karaniwan ang AI Toolkit templates.
- I-upload ang folder ng dataset, patakbuhin ang parehong settings sa itaas, at i-download ang mga checkpoint na gusto mong subukan. Sa iyo pa rin ang dataset at mga weights.
- Itigil ang makina kapag tapos na ang download. Karaniwan ay mas mababa sa dalawang oras ang buong proseso, kasama ang setup.
Gamitin ang iyong Flux LoRA sa Graydient
Hindi kailangan ng Graydient ang file sa iyong computer para mag-render gamit ito. Ilagay ito kung saan makukuha ng Graydient at i-import ang link:
- I-upload ang .safetensors file sa repository sa iyong Hugging Face account (public o private), o i-publish ito sa Civitai na naka-base sa Flux version na pinag-train-an mo.
- mag-log in sa Graydient, buksan ang Model Import mula sa iyong dashboard library, at i-paste ang direct file link mula sa Hugging Face o ang Civitai page link. Nasa paano mag-import ng mga modelong Civitai sa Graydient ang buong mga hakbang.
- Hintayin lumabas ang LoRA sa iyong library at kopyahin ang ShortCode na ibinigay ng Graydient.
- Mag-render gamit ang LoRA tag at ang katugmang base sa anumang Graydient app:
<lora:my-flux-lora:0.8> <flux-dev>para sa Flux.1 LoRA, o<lora:my-flux2-lora:0.8> <flux2>para sa Flux 2 LoRA. Nasa ang gabay para sa mga nagsisimula sa Flux at Flux 2 LoRAs sa Graydient ang bawat app, weight at stacking rule.
Isang kumpletong unang render para sa Telegram o Discord, na may trigger word muna at LoRA sa 0.8 sa Flux dev base: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024
Mga lisensya: ano ang pwede mong gawin sa LoRA
Ang LoRA ay derivative ng base model nito, kaya kasama ang base licence nito. Tingnan ang kasalukuyang teksto ng lisensya sa pahina ng modelo bago ka magbenta ng mga render o file:
- Ang Flux.1 dev at Flux 2 dev ay inilabas sa ilalim ng non-commercial licence ng Black Forest Labs. Pwede para sa personal na proyekto at pananaliksik; kailangan ng commercial licence para sa komersyal na gamit.
- Ang Flux 2 Klein 4B (at ang Base checkpoint nito) ay Apache 2.0, kaya walang base-model restriction ang mga LoRA na na-train dito. Ang Klein 9B ay nasa ilalim ng non-commercial licence.
- May sariling karapatan ang mga larawan sa dataset mo. Mag-train gamit ang mga litrato na ikaw ang kumuha o pagmamay-ari, at huwag kailanman sa totoong tao nang walang pahintulot.
Kung may mali
- Out of memory sa unang minuto: hindi kasya ang base sa fp16 kasama ang optimizer. Palitan sa fp8, 8-bit AdamW o Adafactor, gradient checkpointing, resolusyon 768, batch 1. Kung lumagpas pa rin, magrenta ng card.
- Binabago ng LoRA ang buong larawan, hindi lang ang subject: hindi na-describe ng captions ang background at ilaw, kaya natutunan ito ng trainer bilang bahagi ng trigger word. I-recaption nang malinaw ang konteksto at iiba-iba ang dataset.
- Tama ang mukha sa weight 1.0 pero hindi pinapansin ang prompts: overtrained. Gamitin ang mas maagang checkpoint. Sa susunod na run, bawasan ang steps o ibaba ang learning rate sa 5e-5.
- Malabo lang ang pagkakahawig sa kahit anong weight: undertrained, o sobrang pare-pareho ng dataset. Magdagdag ng steps sa 500-step blocks, o magdagdag ng mga larawan na may bagong anggulo.
- Walang epekto ang LoRA sa Graydient: hindi tugma ang base. Kailangan ng Flux.1 LoRA ang
<flux-dev>; ang Flux 2 LoRA ay kailangan ng<flux2>. Suriin din na kasama ang trigger word sa prompt. - Tumakbo ang training pero napakabagal: lumagpas sa system memory, o nasa mabagal na drive ang dataset. Ayusin ang memorya gaya ng unang punto, i-cache ang latents, at ilipat ang dataset sa SSD.
Iyan ang buong paraan: isang base, 20 malilinis na larawan, tapat na captions, limang numero, isang run, isang test. Hindi magiging pinakamahusay ang unang Flux LoRA mo, at kalahati lang ng oras ang kailangan sa pangalawa. Kapag nandoon na ang file, mag-log in sa Graydient o ikumpara ang mga plano at presyo para mag-render gamit ito nang maraming beses hangga't gusto mo. Kasama sa bawat plano ang 7-araw na money-back guarantee.
Mga Tanong
Pwede ba akong magpa-train ng Flux LoRA sa Graydient?
Hindi. Ang Graydient ay flat-rate rendering service; nagpapatakbo ito ng LoRA pero hindi nagta-train. Mag-train sa sarili mong card, nirentahang card o online trainer na nabanggit sa itaas, tapos i-import ang file. Libre ang rendering gamit ito sa anumang plano.
Ilan ang kailangan kong larawan para sa Flux LoRA?
15 hanggang 30 para sa mukha, produkto o bagay; 30 hanggang 60 para sa estilo. Natututo ang Flux mula sa maliliit na set. Kapag lampas na sa 100 larawan, fine-tuning na ang ginagawa mo, hindi pag-train ng LoRA, at kailangan mo ng mas maraming steps at memorya.
Gaano karaming VRAM ang kailangan para sa Flux LoRA training?
12 hanggang 16 GB para sa Flux.1 dev o Flux 2 Klein 4B na may base sa fp8 at 8-bit optimizer. Mga 24 GB para sa Klein 9B. Minimum na 24 GB at komportableng 48 GB para sa Flux 2 dev. Magrenta para sa huli maliban kung may 4090 o 5090 ka.
Gaano katagal ito?
Isa hanggang dalawang oras para sa Flux.1 dev sa 16 GB card sa 1500 steps, mas mabilis para sa Klein 4B, at mga isang oras para sa Flux 2 dev sa nirentang 48 GB card. Nagdadagdag ng isang oras ang captioning at testing sa unang beses.
Pwede ko bang i-train ang Flux 2 LoRA sa parehong paraan ng Flux.1 LoRA?
Oo, gamit ang parehong dataset at captions. I-train ang Klein LoRAs sa Klein Base checkpoints (4B Base o 9B Base), hindi sa 4-step distilled, at tandaan na ang resulta ay tumatakbo lang sa iisang Klein size na iyon. Kailangan ng Flux 2 dev ng mas maraming memorya, kaya karamihan ay nagrenta para dito.
Kailangan ba ng trigger word para sa Flux LoRA?
Para sa tao o bagay, oo: isang gawa-gawang salita sa simula ng bawat caption, na ilalagay mo rin sa simula ng bawat prompt. Para sa estilo, hindi kailangan ng trigger word kung ang captions ay naglalarawan ng nilalaman at hindi ng estilo; ang LoRA ay ilalapat sa lahat ng bagay.
Pwede ko bang panatilihing pribado ang LoRA?
Oo. I-upload ito sa pribadong Hugging Face repository at i-import ang file link habang naka-login sa Hugging Face; kinukuha lang ng Graydient ang mga file na pwede mong i-download gamit ang iyong account. Ang iyong library ay sa'yo lang, at hindi lalabas ang file sa ModelTrends o kahit saan na pampubliko.