Як навчити Flux LoRA (Flux.1 та Flux 2): покроковий посібник для початківців
Навчання Flux LoRA — це спосіб навчити модель зображень Flux тому, чого вона не знає: твоє обличчя, продукт, стиль малювання, вигляд камери. Результат — один файл .safetensors розміром від 20 до 300 МБ, який можна використовувати в будь-якому додатку Flux, включно з Graydient. Процес потребує 15-30 знімків, відеокарти з 12-16 ГБ пам’яті (або орендованої на годину) та безкоштовного тренера. Цей посібник проходить кожен крок для Flux.1 dev і Flux 2, і завершується тим, як запустити нову LoRA тут.
Ти зробиш сім речей: обереш базу Flux, створиш невеликий датасет, напишеш підписи, вибереш тренера, встановиш кілька параметрів, навчиш і протестуєш, а потім імпортуєш файл у Graydient. Кожен крок описаний нижче з параметрами, які підходять більшості. Якщо у тебе вже є навчений файл, переходь до розділу про його використання.
Graydient запускає LoRA; він їх не навчає. Навчання відбувається на твоїй відеокарті, на орендованому GPU за годину або в онлайн-тренері. Коли файл існує, будь-який план Graydient може рендерити з ним за фіксовану ціну.
Що потрібно
- 15-30 якісних фото одного об’єкта або 30-60 для стилю. Фото з телефону підходять, якщо вони чіткі та різноманітні.
- Відеокарта з 12-16 ГБ пам’яті для Flux.1 dev або Flux 2 Klein 4B, або від 24 ГБ для Flux 2 dev. Немає карти? Орендуй на годину (див. нижче) або користуйся онлайн-тренером.
- Безкоштовний тренер: AI Toolkit, Kohya sd-scripts (або інтерфейс FluxGym на його основі) чи OneTrainer. Всі працюють на Windows і Linux з встановленим Python.
- Від однієї до трьох годин, більшість часу — очікування. План Graydient потрібен лише наприкінці, коли хочеш рендерити з файлом. Порівняй плани та ціни.
Крок 1: обери базу Flux для навчання
LoRA прив’язана до базової моделі, на якій її навчали, тож починай з бази, з якою хочеш рендерити. Сімейство Flux має три гілки, які не діляться LoRA:
| База | Пам’ять для навчання | Де потім працює LoRA |
|---|---|---|
| Flux.1 dev | 12-16 ГБ з базою у fp8 та 8-бітним оптимізатором; 24 ГБ комфортно | Flux.1 dev, Flux.1 schnell (слабший), Flux Krea dev та багато Flux.1 fine-tune. На Graydient: <flux-dev>. Найбільша екосистема LoRA; обирай, якщо не впевнений. |
| Flux 2 Klein 4B | 12-16 ГБ; навчання на контрольній точці Klein 4B Base, не на 4-кроковій дистильованій | Тільки Klein 4B та контрольні точки на його основі. Швидке навчання і рендер; ліцензія Apache 2.0. |
| Flux 2 Klein 9B | Близько 24 ГБ; навчання на контрольній точці Klein 9B Base | Тільки Klein 9B. Краща деталізація, ніж 4B, некомерційна ліцензія. |
| Flux 2 dev | Мінімум 24 ГБ, комфортно 48 ГБ; орендуй, якщо немає 4090 або 5090 | Flux 2 dev та контрольні точки на його основі. На Graydient: <flux2>. Найвища якість, найповільніше навчання. |
Правило: LoRA Flux.1 не працюють на Flux 2, LoRA Flux 2 не працюють на Flux.1, а Klein 4B, Klein 9B і Flux 2 dev потребують власної LoRA. Krea 2 — це інша модель, не Flux. Якщо використовуєш кілька баз, навчай по одній на кожну базу з того самого датасету.
Крок 2: створюй датасет
Flux швидко вчиться на невеликих, чистих датасетах. Якість важливіша за кількість; 20 чітких і різноманітних фото краще за 80 майже однакових.
- Збери 15-30 фото для людини, продукту або об’єкта. Змінюй кут, відстань, освітлення та фон між знімками. Включай принаймні третину крупних планів і третину повних кадрів.
- Для стилю збери 30-60 робіт з однаковим медіумом і якістю ліній, але різними об’єктами: люди, місця, предмети. Різноманітність допомагає тренеру зрозуміти, що об’єкт — не стиль.
- Видали розмиття, сильне стиснення, водяні знаки, текстові накладки і всіх, хто не є об’єктом. Один зайвий обличчя в наборі з’явиться в рендерах.
- Роздільна здатність: 1024 пікселі по довгій стороні — стандарт для Flux. Залишай співвідношення сторін різним; тренер автоматично їх групує. Не розтягуй фото до квадратів.
- Помісти фото в одну папку з текстовим файлом поруч з кожним фото з тим самим ім’ям. Підпис пишеться у текстовому файлі:
dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt
Крок 3: пиши підписи
Flux читає природні речення через T5 текстовий енкодер, тож підписи — це прості описи, а не списки ключових слів. Підписи визначають, що LoRA вивчає, а що залишає без змін:
- Для об’єкта починай зі слова-тригера, яке не є реальним словом, потім описуй все, що не є об’єктом: одяг, позу, місце, світло. Тренер вчиться, що слово-тригер — це частина, яку підпис не пояснює.
- Для стилю описуй вміст кожного фото, але ніколи не стиль. Стиль LoRA вивчає через пропуск, і він застосовуватиметься до будь-якого об’єкта, який ти запросиш.
- Підписи тримай у межах одного-двох речень. Автоматично підписуй за допомогою Florence-2 або JoyCaption, якщо більше 30 фото, потім прочитай і виправ перші десять вручну.
- Не використовуй справжнє ім’я людини як слово-тригер і не підписуй те, чого немає на фото.
Приклад підпису для LoRA людини: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera
Приклад підпису для LoRA стилю, де стиль навмисно не згадується: a fishing boat in a harbour at dawn, two men on the pier, fog over the water
Крок 4: обери тренера
Чотири безкоштовні, відкриті тренери охоплюють усі бази Flux. Всі вони беруть однакову папку з датасетом і створюють однаковий тип файлу .safetensors:
- AI Toolkit (від ostris): найпопулярніший тренер Flux. Один YAML конфігураційний файл на запуск, веб-інтерфейс, режими з низьким VRAM, підтримка Flux.1 dev, Flux 2 dev і Flux 2 Klein. Запускай командою
python run.py config/my_flux_lora.yaml. Найкращий перший вибір. - Kohya sd-scripts і FluxGym: Kohya — ветеран тренерів для більшості LoRA Stable Diffusion і має гілку Flux. FluxGym — односторінковий веб-інтерфейс поверх нього з пресетами на 12, 16 і 20 ГБ. Добре, якщо хочеш форму для заповнення, а не файл для редагування.
- OneTrainer: десктопний додаток з дружнім інтерфейсом для SDXL і Flux.1. Обирай, якщо також тренуєш LoRA для SDXL і хочеш один інструмент.
- Онлайн-тренери: тренер Civitai на сайті та Flux тренери на GPU хостингах приймають zip з фото і повертають файл. Вони коштують кредити за запуск і приховують налаштування, але тобі не потрібна відеокарта. Файл, який вони створюють, імпортується в Graydient так само.
Крок 5: встанови п’ять важливих чисел
Кожен тренер має десятки опцій. Не чіпай стандартні, крім цих, які визначають, наскільки сильна, загальна і велика LoRA:
| Параметр | Flux.1 dev | Flux 2 Klein 4B (Base) |
|---|---|---|
| Ранг мережі (dim) | 16 для обличчя або об’єкта, 32 для детального стилю | 16; 32 для стилів |
| Альфа | Рівне рангу | Рівне рангу |
| Швидкість навчання | 1e-4 до 2e-4 (Prodigy або Adafactor, якщо тренер це пропонує) | 1e-4 |
| Кроки | 1000 до 2000, щоб кожне зображення побачити 60-120 разів | 1000 до 2000 |
| Роздільна здатність | 1024 (768, якщо мало пам’яті) | 1024 |
| Розмір пакету | 1 (2 на 24 ГБ) | 1 або 2 |
| Базова точність | fp8 базова з 8-бітним оптимізатором на 12-16 ГБ; bf16 на 24 ГБ і більше | bf16 підходить для 16 ГБ; fp8 для 12 ГБ |
Налаштуйте тренер на збереження контрольної точки кожні 250 кроків і рендер двох зразкових зображень при кожному збереженні з тим самим промптом і зерном. Ці зразки допоможуть вибрати переможця. Flux.1 dev і Flux 2 dev — це guidance-distilled; тренери роблять це за вас, тому залиште налаштування керування за замовчуванням.
Крок 6: тренування
- Запустіть тренування і спостерігайте за пам’яттю першу хвилину. Якщо вона заповнює карту і переходить у системну пам’ять, зупиніться: тренування займе в десять разів більше часу і може зламатися.
- Якщо пам’ять переходить у систему, переключіть базу на fp8, увімкніть gradient checkpointing, використовуйте 8-бітний оптимізатор AdamW або Adafactor, зменшіть роздільну здатність до 768 і залиште розмір пакету 1. Будь-який з цих кроків звільнить гігабайти.
- Як тільки все працює стабільно, залиште як є. Flux.1 dev займає 1-2 години на 1500 кроків на 16 ГБ карті; Klein 4B швидший; Flux 2 dev — близько години на орендованій 48 ГБ карті.
- Дивіться на зразкові зображення по мірі їх появи. Об’єкт зазвичай з’являється до 500 кроку і стає чітким до 1000. Якщо він ідеальний на 750, можна зупинитися раніше.
Тренування повільне і шумне, не крихке. Запуск, що пройшов першу хвилину, майже завжди завершується. Кешуйте латенти і текстові ембедінги перед тренуванням, якщо тренер це підтримує; це економить пам’ять і час на кожному запуску.
Крок 7: тестування і вибір правильної контрольної точки
Остання контрольна точка рідко буває найкращою. Перетреновані LoRA копіюють фони датасету, знищують контраст і перестають слухати промти. Перевірте всі:
- Напишіть чотири промти, яких немає в датасеті: нове місце, новий одяг, інше освітлення, інший стиль. Зафіксуйте зерно.
- Зрендеріть кожну збережену контрольну точку з чотирма промтами на ваги LoRA 0.6, 0.8 і 1.0.
- Виберіть найранішу контрольну точку, яка точно відтворює об’єкт і відповідає новим промтам. Пізніші зазвичай перетреновані; ранні — нечіткі.
- Перейменуйте переможця на щось, що ви впізнаєте через рік у бібліотеці, наприклад, за об’єктом і базою: my-flux-lora, а не lora_000750.
Немає відеокарти? Орендуйте на годину
Тренування Flux 2 dev або будь-яке Flux тренування на ноутбуці дешевше на орендованій карті, ніж на власній. 24 або 48 ГБ карта коштує значно менше за каву за годину на ринку оренди GPU, а Flux LoRA потребує 1-2 години.
- Орендуйте машину з 24 ГБ картою для Flux.1 dev або Klein, 48 ГБ для Flux 2 dev. Виберіть шаблон з попередньо встановленим тренером, якщо він є; шаблони AI Toolkit поширені.
- Завантажте папку датасету, запустіть ті ж налаштування, що й вище, і завантажте контрольні точки для тестування. Датасет і ваги залишаються вашими.
- Зупиніть машину після завершення завантаження. Весь процес, включно з налаштуванням, зазвичай займає менше двох годин оренди.
Використовуйте свій Flux LoRA на Graydient
Graydient не потребує файлу на вашому комп’ютері для рендеру з ним. Покладіть його туди, де Graydient зможе його отримати, і імпортуйте посилання:
- Завантажте файл .safetensors у репозиторій у вашому акаунті Hugging Face (публічний або приватний) або опублікуйте на Civitai з базовою моделлю, встановленою на версію Flux, на якій ви тренувалися.
- увійти в Graydient, відкрийте Model Import у бібліотеці вашої панелі керування і вставте пряме посилання на файл з Hugging Face або посилання на сторінку Civitai. Повні кроки є в як імпортувати моделі Civitai на Graydient.
- Зачекайте, поки LoRA з’явиться у вашій бібліотеці, і скопіюйте ShortCode, який дав Graydient.
- Рендерте з тегом LoRA і відповідною базою в будь-якому додатку Graydient:
<lora:my-flux-lora:0.8> <flux-dev>для Flux.1 LoRA або<lora:my-flux2-lora:0.8> <flux2>для Flux 2 LoRA. Кожен додаток, вага і правило стекінгу є в початкова інструкція з Flux та Flux 2 LoRA на Graydient.
Повний перший рендер для Telegram або Discord, з тригерним словом спочатку і LoRA на 0.8 на базі Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024
Ліцензії: що ви можете робити з LoRA
LoRA є похідною від базової моделі, тому ліцензія бази поширюється на неї. Перевірте актуальний текст ліцензії на сторінці моделі перед продажем рендерів або файлу:
- Flux.1 dev і Flux 2 dev випущені під некомерційною ліцензією Black Forest Labs. Особисті проекти і дослідження дозволені; комерційне використання потребує їхньої комерційної ліцензії.
- Flux 2 Klein 4B (і його базова контрольна точка) під ліцензією Apache 2.0, тому LoRA, натреновані на ньому, не мають обмежень базової моделі. Klein 9B під некомерційною ліцензією.
- Зображення у вашому датасеті мають власні права. Тренуйтеся на власних або придбаних фото, і ніколи не на реальних людях без їхньої згоди.
Якщо щось пішло не так
- Закінчилась пам’ять у першу хвилину: база у fp16 плюс оптимізатор не вміщаються. Переключіться на fp8, 8-бітний AdamW або Adafactor, gradient checkpointing, роздільність 768, пакет 1. Якщо все одно не вистачає, орендуйте карту.
- LoRA змінює всю картину, а не лише об’єкт: підписи не описували фон і світло, тому тренер навчився їх як частину тригерного слова. Перепідпишіть з контекстом і варіюйте датасет.
- Обличчя правильне при вазі 1.0, але промти ігноруються: перетренування. Використовуйте більш ранню контрольну точку. Наступного разу зменшіть кроки вдвічі або знизьте швидкість навчання до 5e-5.
- Лише нечітка схожість при будь-якій вазі: недотренування або датасет надто однорідний. Додайте кроки блоками по 500 або додайте зображення з нових ракурсів.
- LoRA не працює на Graydient: база не співпадає. Flux.1 LoRA потребує
<flux-dev>; Flux 2 LoRA потребує<flux2>. Також перевірте, що тригерне слово є в промті. - Тренування йде, але дуже повільно: воно перейшло в системну пам’ять або датасет на повільному диску. Виправте пам’ять, як у першому пункті, кешуйте латенти і перенесіть датасет на SSD.
Ось і весь метод: одна база, 20 чистих зображень, чесні підписи, п’ять чисел, запуск, тест. Ваш перший Flux LoRA не буде найкращим, а другий займе вдвічі менше часу. Коли файл існує, увійти в Graydient або порівняйте плани та ціни, щоб рендерити з ним скільки завгодно разів. Кожен план має 7-денну гарантію повернення грошей.
Питання
Чи може Graydient тренувати Flux LoRA за мене?
Ні. Graydient — це сервіс рендерингу за фіксованою ставкою; він запускає LoRA, але не тренує їх. Тренуйте на власній карті, орендованій або онлайн-тренері, як описано вище, потім імпортуйте файл. Рендер з ним потім нічого додатково не коштує на будь-якому плані.
Скільки зображень потрібно для Flux LoRA?
15–30 для обличчя, продукту чи об’єкта; 30–60 для стилю. Flux навчається на невеликих наборах. Після 100 зображень ти вже тонко налаштовуєш, а не тренуєш LoRA, і потрібні більше кроків та пам’яті.
Скільки VRAM потрібно для тренування Flux LoRA?
12–16 ГБ для Flux.1 dev або Flux 2 Klein 4B з базою у fp8 та 8-бітним оптимізатором. Близько 24 ГБ для Klein 9B. Мінімум 24 ГБ і комфортно 48 ГБ для Flux 2 dev. Орендуй для останніх двох, якщо в тебе немає 4090 або 5090.
Скільки це займає часу?
Одна-дві години для Flux.1 dev на карті 16 ГБ при 1500 кроках, менше для Klein 4B, і близько години для Flux 2 dev на орендованій карті 48 ГБ. Підписування та тестування додають ще годину при першому разі.
Чи можна тренувати Flux 2 LoRA так само, як Flux.1 LoRA?
Так, з тим самим набором даних і підписами. Тренуй Klein LoRA на контрольних точках Klein Base (4B Base або 9B Base), а не на 4-крокових дистильованих, і пам’ятай, що результат працює лише на тому розмірі Klein. Flux 2 dev потребує більше пам’яті, тому більшість орендують.
Чи потрібне тригерне слово для Flux LoRA?
Для людини чи об’єкта — так: вигадане слово на початку кожного підпису, яке потім ставиш на початок кожного запиту. Для стилю тригерне слово не потрібне, якщо підписи описують контент, а не стиль; тоді LoRA застосовується до всього.
Чи можна тримати LoRA приватною?
Так. Завантаж її у приватний репозиторій Hugging Face і імпортуй посилання на файл, будучи увійшовши в Hugging Face; Graydient завантажує лише файли, які твій акаунт може скачати. Твоя бібліотека — лише твоя, і файл ніколи не з’являється на ModelTrends чи будь-де публічно.