Jak trenować Flux LoRA (Flux.1 i Flux 2): przewodnik krok po kroku dla początkujących

Trening Flux LoRA to sposób, w jaki uczysz model obrazu Flux czegoś, czego nie zna: twojej twarzy, produktu, stylu rysunku, wyglądu kamery. Efektem jest jeden plik .safetensors o rozmiarze od 20 do 300 MB, którego możesz używać w każdej aplikacji Flux, w tym Graydient. Proces wymaga 15 do 30 zdjęć, karty z 12 do 16 GB pamięci (lub wynajętej na godzinę) oraz darmowego trenera. Ten przewodnik przeprowadza przez każdy krok dla Flux.1 dev i Flux 2, a kończy na tym, jak uruchomić nową LoRA tutaj.

Zrobisz siedem rzeczy: wybierzesz bazę Flux, zbudujesz mały zestaw danych, napiszesz podpisy, wybierzesz trenera, ustawisz kilka wartości, wytrenujesz i przetestujesz, a potem zaimportujesz plik do Graydient. Każdy krok jest opisany poniżej z wartościami, które działają dla większości osób. Jeśli masz już wytrenowany plik, przejdź do sekcji o jego użyciu.

Graydient uruchamia LoRA; nie trenuje ich. Trening odbywa się na twojej własnej karcie graficznej, na wynajętym GPU na godzinę lub w trenerze online. Gdy plik istnieje, każdy plan Graydient może renderować z jego użyciem za stałą cenę.

Co potrzebujesz

• 15 do 30 dobrych zdjęć jednego obiektu, lub 30 do 60 dla stylu. Zdjęcia z telefonu są w porządku, jeśli są ostre i różnorodne.
• Karta graficzna z 12 do 16 GB pamięci dla Flux.1 dev lub Flux 2 Klein 4B, lub 24 GB i więcej dla Flux 2 dev. Nie masz karty? Wynajmij na godzinę (patrz niżej) lub użyj trenera online.
• Darmowy trener: AI Toolkit, Kohya sd-scripts (lub interfejs FluxGym na jego bazie) albo OneTrainer. Wszystkie działają na Windows i Linux z zainstalowanym Pythonem.
• Od jednej do trzech godzin, większość to czas oczekiwania. Plan Graydient jest potrzebny tylko na końcu, gdy chcesz renderować z pliku. Porównaj plany i ceny.

Krok 1: wybierz bazę Flux do trenowania

LoRA jest powiązana z modelem bazowym, na którym była trenowana, więc zacznij od bazy, z którą chcesz renderować. Rodzina Flux ma trzy gałęzie, które nie dzielą LoRA:

Zasada do zapamiętania: LoRA Flux.1 nie działa na Flux 2, LoRA Flux 2 nie działa na Flux.1, a Klein 4B, Klein 9B i Flux 2 dev potrzebują własnej LoRA. Krea 2 to inny model, nie Flux. Jeśli używasz kilku baz, trenuj raz na bazę z tego samego zestawu danych.

Krok 2: zbuduj zestaw danych

Flux uczy się szybko z małych, czystych zestawów danych. Jakość jest ważniejsza niż ilość; 20 ostrych i różnorodnych zdjęć jest lepsze niż 80 prawie identycznych.

1. Zbierz 15 do 30 zdjęć osoby, produktu lub obiektu. Zmieniaj kąt, odległość, oświetlenie i tło między ujęciami. Uwzględnij co najmniej jedną trzecią zbliżeń i jedną trzecią zdjęć całej postaci lub całego produktu.
2. Dla stylu zbierz 30 do 60 prac w tym samym medium i jakości linii, ale z różnymi tematami: ludzie, miejsca, obiekty. Różnorodność mówi trenerowi, że temat to nie styl.
3. Usuń rozmycia, silną kompresję, znaki wodne, nakładki tekstowe i osoby niebędące tematem. Jeden obcy twarz w zestawie pojawi się w renderach.
4. Rozdzielczość: 1024 piksele na dłuższym boku to standard dla Flux. Zachowaj mieszane proporcje; każdy trener automatycznie je grupuje. Nie rozciągaj zdjęć do kwadratów.
5. Umieść zdjęcia w jednym folderze z plikiem tekstowym obok każdego zdjęcia o tej samej nazwie. Podpis wpisz w pliku tekstowym: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

Krok 3: napisz podpisy

Flux czyta naturalne zdania przez swój enkoder tekstu T5, więc podpisy to zwykłe opisy, nie listy słów kluczowych. Podpisy decydują, czego LoRA się uczy, a czego nie:

• Dla tematu zacznij od słowa wyzwalającego, które nie jest prawdziwym słowem, potem opisz wszystko, co nie jest tematem: ubrania, pozę, miejsce, światło. Trener uczy się, że słowo wyzwalające to część, której podpis nie wyjaśnia.
• Dla stylu opisz zawartość każdego zdjęcia, nigdy stylu. Styl to to, czego LoRA uczy się przez pominięcie i potem zastosuje do każdego tematu, który podasz.
• Podpisy trzymaj w jednej lub dwóch zdaniach. Automatycznie podpisz Florence-2 lub JoyCaption, jeśli masz więcej niż 30 zdjęć, potem przeczytaj i popraw pierwsze dziesięć ręcznie.
• Nie używaj prawdziwego imienia osoby jako słowa wyzwalającego i nie podpisuj rzeczy, których nie ma na zdjęciu.

Przykład podpisu dla LoRA osoby: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

Przykład podpisu dla LoRA stylu, gdzie styl jest celowo pominięty: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

Krok 4: wybierz trenera

Cztery darmowe, open-source trenerzy obsługują każdą bazę Flux. Wszystkie używają tego samego folderu zestawu danych i produkują ten sam typ pliku .safetensors:

• AI Toolkit (autor: ostris): najczęściej używany trener Flux. Jeden plik konfiguracyjny YAML na sesję, interfejs webowy, tryby niskiego VRAM i wsparcie dla Flux.1 dev, Flux 2 dev i Flux 2 Klein. Uruchom trening poleceniem python run.py config/my_flux_lora.yaml. Najlepszy wybór na start.
• Kohya sd-scripts i FluxGym: Kohya to weteran trenerów stojący za większością LoRA Stable Diffusion i ma gałąź Flux. FluxGym to jednokartkowy interfejs webowy na jego bazie z presetami 12, 16 i 20 GB. Dobry, gdy chcesz formularz do wypełnienia, a nie plik do edycji.
• OneTrainer: aplikacja desktopowa z przyjaznym interfejsem dla SDXL i Flux.1. Wybierz, jeśli trenujesz też LoRA SDXL i chcesz jedno narzędzie.
• Trenerzy online: trener Civitai na stronie i trenerzy Flux na hostingach GPU przyjmują zip ze zdjęciami i zwracają plik. Kosztują kredyty za sesję i ukrywają ustawienia, ale nie potrzebujesz żadnej karty. Plik, który produkują, importujesz do Graydient tak samo.

Krok 5: ustaw pięć ważnych liczb

Każdy trener ma dziesiątki opcji. Zostaw domyślne poza tymi, które decydują o sile, ogólności i rozmiarze LoRA:

Ustaw trener tak, aby zapisywał checkpoint co 250 kroków i renderował dwa przykładowe obrazy przy każdym zapisie, z tym samym promptem i seedem. Te próbki posłużą do wyboru zwycięzcy. Flux.1 dev i Flux 2 dev są guidance-distilled; trenerzy obsługują to za Ciebie, więc pozostaw ustawienie guidance domyślne.

Krok 6: trening

1. Uruchom trening i obserwuj pamięć przez pierwszą minutę. Jeśli wypełni kartę i przeleje się do pamięci systemowej, zatrzymaj: trening będzie trwał dziesięć razy dłużej i może się zawiesić.
2. Jeśli pamięć się przelewa, przełącz bazę na fp8, włącz gradient checkpointing, użyj 8-bitowego optymalizatora AdamW lub Adafactor, zmniejsz rozdzielczość do 768 i utrzymaj batch na 1. Każda z tych zmian zwalnia gigabajty.
3. Gdy działa stabilnie, zostaw to w spokoju. Flux.1 dev zajmuje od jednej do dwóch godzin na 1500 kroków na karcie 16 GB; Klein 4B jest szybszy; Flux 2 dev trwa około godziny na wynajętej karcie 48 GB.
4. Obserwuj próbne obrazy, gdy się pojawiają. Temat zwykle pojawia się do kroku 500 i jest solidny do 1000. Jeśli jest idealny przy 750, możesz zakończyć wcześniej.

Trening jest powolny i hałaśliwy, nie delikatny. Sesja, która przetrwa pierwszą minutę, prawie zawsze się kończy. Buforuj latentne i tekstowe osadzenia przed treningiem, jeśli trener to oferuje; oszczędza to pamięć i czas przy każdym uruchomieniu.

Krok 7: testuj i wybierz właściwy checkpoint

Ostatni checkpoint rzadko jest najlepszy. Przetrenowane LoRA kopiują tła z zestawu danych, przepalają kontrast i przestają reagować na prompt. Przetestuj je wszystkie:

• Napisz cztery prompta, których nie ma w zestawie danych: nowe miejsce, nowy strój, inne światło, inny medium. Ustaw seed.
• Renderuj każdy zapisany checkpoint z czterema promptami przy wagach LoRA 0.6, 0.8 i 1.0.
• Wybierz najwcześniejszy checkpoint, który dobrze odwzorowuje temat i nadal odpowiada nowym promptom. Późniejsze są zwykle przetrenowane; wcześniejsze niejasne.
• Zmień nazwę zwycięzcy na coś, co rozpoznasz za rok w bibliotece, np. temat i bazę: my-flux-lora, a nie lora_000750.

Nie masz karty graficznej? Wynajmij na godzinę

Trening Flux 2 dev lub dowolny trening Flux na laptopie jest tańszy na wynajętej karcie niż na Twoim własnym sprzęcie. Karta 24 lub 48 GB kosztuje znacznie mniej niż kawa za godzinę na rynkach wynajmu GPU, a Flux LoRA potrzebuje jednej do dwóch godzin.

• Wynajmij maszynę z kartą 24 GB dla Flux.1 dev lub Klein, 48 GB dla Flux 2 dev. Wybierz szablon z preinstalowanym trenerem, jeśli rynek go oferuje; szablony AI Toolkit są popularne.
• Prześlij folder zestawu danych, uruchom powyższe ustawienia i pobierz checkpointy, które chcesz przetestować. Zestaw danych i wagi pozostają Twoje.
• Zatrzymaj maszynę po zakończeniu pobierania. Całość, łącznie z konfiguracją, zwykle trwa poniżej dwóch godzin wynajmu.

Użyj swojego Flux LoRA na Graydient

Graydient nie potrzebuje pliku na Twoim komputerze, aby renderować z nim. Umieść go tam, gdzie Graydient może go pobrać i zaimportuj link:

1. Prześlij plik .safetensors do repozytorium na swoim koncie Hugging Face (publiczne lub prywatne) lub opublikuj go na Civitai z bazowym modelem ustawionym na wersję Flux, na której trenowałeś.
2. zaloguj się do Graydient, otwórz Import Modelu z biblioteki na pulpicie i wklej bezpośredni link do pliku z Hugging Face lub link do strony Civitai. Pełne kroki są w jak importować modele Civitai na Graydient.
3. Poczekaj, aż LoRA pojawi się w Twojej bibliotece i skopiuj ShortCode, który nadał Graydient.
4. Renderuj z tagiem LoRA i pasującą bazą w dowolnej aplikacji Graydient: <lora:my-flux-lora:0.8> <flux-dev> dla Flux.1 LoRA lub <lora:my-flux2-lora:0.8> <flux2> dla Flux 2 LoRA. Wszystkie aplikacje, wagi i zasady nakładania są w poradnik dla początkujących o Flux i Flux 2 LoRA na Graydient.

Pełny pierwszy render dla Telegram lub Discord, z wyzwalaczem na początku i LoRA na 0.8 na bazie Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

Licencje: co możesz robić z LoRA

LoRA jest pochodną modelu bazowego, więc licencja bazowa obowiązuje. Sprawdź aktualny tekst licencji na stronie modelu przed sprzedażą renderów lub pliku:

• Flux.1 dev i Flux 2 dev są wydane na licencji niekomercyjnej Black Forest Labs. Projekty osobiste i badania są dozwolone; użycie komercyjne wymaga ich licencji komercyjnej.
• Flux 2 Klein 4B (i jego checkpoint bazowy) jest na licencji Apache 2.0, więc LoRA trenowane na nim nie mają ograniczeń licencji bazowego modelu. Klein 9B jest na licencji niekomercyjnej.
• Zdjęcia w Twoim zestawie danych mają własne prawa. Trenuj na zdjęciach, które zrobiłeś lub posiadasz, i nigdy na prawdziwej osobie bez jej zgody.

Jeśli coś pójdzie nie tak

• Brak pamięci w pierwszej minucie: baza w fp16 plus optymalizator się nie mieści. Przełącz na fp8, 8-bitowy AdamW lub Adafactor, gradient checkpointing, rozdzielczość 768, batch 1. Jeśli nadal się przelewa, wynajmij kartę.
• LoRA zmienia cały obraz, nie tylko temat: podpisy nie opisywały tła i światła, więc trener nauczył się ich jako części wyzwalacza. Przepisz podpisy z wyraźnym kontekstem i urozmaicaj zestaw danych.
• Twarz jest dobra przy wadze 1.0, ale prompt jest ignorowany: przetrenowane. Użyj wcześniejszego checkpointu. Następnym razem zmniejsz kroki o połowę lub obniż współczynnik uczenia do 5e-5.
• Tylko niejasne podobieństwo przy dowolnej wadze: niedotrenowane lub zestaw danych jest zbyt jednorodny. Dodaj kroki w blokach po 500 lub dodaj zdjęcia z nowych kątów.
• LoRA nic nie robi na Graydient: baza nie pasuje. Flux.1 LoRA potrzebuje <flux-dev>; Flux 2 LoRA potrzebuje <flux2>. Sprawdź też, czy wyzwalacz jest w prompt.
• Trening działa, ale jest boleśnie wolny: przelewa się do pamięci systemowej lub zestaw danych jest na wolnym dysku. Napraw pamięć jak w pierwszym punkcie, buforuj latentne i przenieś zestaw na SSD.

To cała metoda: jedna baza, 20 czystych zdjęć, uczciwe podpisy, pięć liczb, trening, test. Twoja pierwsza Flux LoRA nie będzie najlepsza, a druga zajmie połowę czasu. Gdy plik istnieje, zaloguj się do Graydient lub porównaj plany i ceny, aby renderować z nim dowolną liczbę razy. Każdy plan zawiera 7-dniową gwarancję zwrotu pieniędzy.

Pytania

Zobacz plany i ceny