איך לאמן Flux LoRA (Flux.1 ו-Flux 2): מדריך למתחילים שלב אחר שלב

אימון Flux LoRA הוא איך אתה מלמד את מודל התמונה Flux משהו שהוא לא יודע: הפנים שלך, המוצר שלך, סגנון הציור שלך, מראה מצלמה. התוצאה היא קובץ .safetensors אחד בגודל 20 עד 300 מגה-בייט שתוכל להשתמש בו בכל אפליקציית Flux, כולל Graydient. התהליך דורש 15 עד 30 תמונות, כרטיס עם 12 עד 16 גיגה-בייט זיכרון (או שכור לשעה), ומאמן חינמי. מדריך זה עובר על כל שלב עבור Flux.1 dev ועבור Flux 2, ומסתיים עם איך להפעיל את ה-LoRA החדש שלך כאן.

אתה תעשה שבעה דברים: תבחר את בסיס Flux, תבנה מערך נתונים קטן, תכתוב כיתובים, תבחר מאמן, תגדיר כמה מספרים, תאמן ותבדוק, ואז תייבא את הקובץ ל-Graydient. כל שלב כתוב למטה עם הערכים שעובדים לרוב האנשים. אם כבר יש לך קובץ מאומן, קפוץ לחלק על השימוש בו.

Graydient מריץ LoRAs; הוא לא מאמן אותם. האימון מתבצע בכרטיס הגרפי שלך, ב-GPU שאתה שוכר לפי שעה, או במאמן מקוון. ברגע שהקובץ קיים, כל תוכנית Graydient יכולה להציג אותו במחיר קבוע אחד.

מה שאתה צריך

• 15 עד 30 תמונות טובות של נושא אחד, או 30 עד 60 לסגנון. תמונות מטלפון בסדר אם הן חדות ומגוונות.
• כרטיס גרפי עם 12 עד 16 גיגה-בייט זיכרון עבור Flux.1 dev או Flux 2 Klein 4B, או 24 גיגה-בייט ומעלה עבור Flux 2 dev. אין כרטיס? שכור אחד לשעה (ראה למטה) או השתמש במאמן מקוון.
• מאמן חינמי: AI Toolkit, Kohya sd-scripts (או ממשק FluxGym מעליו) או OneTrainer. כולם פועלים על Windows ו-Linux עם Python מותקן.
• שעה עד שלוש שעות, רוב הזמן בהמתנה. תוכנית Graydient חשובה רק בסוף, כשאתה רוצה להציג עם הקובץ. השווה תוכניות ותמחור.

שלב 1: בחר את בסיס Flux לאימון

LoRA קשורה למודל הבסיסי עליו היא אומנה, אז התחל עם הבסיס שברצונך להציג איתו. משפחת Flux כוללת שלושה ענפים שלא משתפים LoRAs:

הכלל לזכור: LoRAs של Flux.1 לא עובדים על Flux 2, LoRAs של Flux 2 לא עובדים על Flux.1, ו-Klein 4B, Klein 9B ו-Flux 2 dev כל אחד צריך LoRA משלו. Krea 2 הוא מודל שונה, לא Flux. אם אתה משתמש בכמה בסיסים, אמן פעם אחת לכל בסיס מאותו מערך נתונים.

שלב 2: בנה את מערך הנתונים

Flux לומד מהר ממערכי נתונים קטנים ונקיים. איכות גוברת על כמות; 20 תמונות חדות ומגוונות עדיפות על 80 כמעט כפילויות.

1. אסוף 15 עד 30 תמונות לאדם, מוצר או אובייקט. שנה את הזווית, המרחק, התאורה והרקע בין הצילומים. כלול לפחות שליש תמונות קרובות ושליש תמונות גוף מלא או מוצר מלא.
2. לסגנון, אסוף 30 עד 60 יצירות עם אותו מדיום ואיכות קו אך נושאים שונים: אנשים, מקומות, אובייקטים. המגוון הוא מה שמראה למאמן שהנושא הוא לא הסגנון.
3. הסר טשטוש, דחיסה כבדה, סימני מים, שכבות טקסט וכל מי שאינו הנושא. פנים זרות במערך יופיעו בהדמיות.
4. רזולוציה: 1024 פיקסלים בצד הארוך הוא הסטנדרט ל-Flux. שמור על יחס גובה-רוחב מעורב; כל מאמן מארגן אותם אוטומטית. אל תמתח תמונות לריבועים.
5. שים את התמונות בתיקייה אחת עם קובץ טקסט ליד כל תמונה שנושא את אותו שם. הכיתוב נמצא בקובץ הטקסט: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

שלב 3: כתוב את הכיתובים

Flux קורא משפטים טבעיים דרך מקודד הטקסט T5 שלו, אז הכיתובים הם תיאורים פשוטים, לא רשימות מילות מפתח. הכיתובים קובעים מה ה-LoRA לומדת ומה היא משאירה לבד:

• לנושא, התחל במילת טריגר שאינה מילה אמיתית, ואז תאר הכל שאינו הנושא: בגדים, תנוחה, מקום, אור. המאמן לומד שמילת הטריגר היא החלק שהכיתוב לא מסביר.
• לסגנון, תאר את תוכן כל תמונה ולעולם לא את הסגנון. הסגנון הוא מה שה-LoRA לומדת בהשמטה, ואז הוא יוחל על כל נושא שתבקש.
• שמור כיתובים למשפט או שניים. השתמש בכיתוב אוטומטי עם Florence-2 או JoyCaption אם יש לך יותר מ-30 תמונות, ואז קרא ותתקן את עשר הראשונות ידנית.
• אל תשתמש בשם של אדם אמיתי כמילת טריגר, ואל תכתוב כיתובים לדברים שאינם בתמונה.

כיתוב לנושא ל-LoRA של אדם: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

כיתוב ל-LoRA של סגנון, שבו הסגנון לא מוזכר במכוון: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

שלב 4: בחר מאמן

ארבעה מאמנים חינמיים וקוד פתוח מכסים כל בסיס Flux. כולם משתמשים באותה תיקיית מערך נתונים ומייצרים את אותו סוג קובץ .safetensors:

• AI Toolkit (מאת ostris): המאמן הנפוץ ביותר ל-Flux. קובץ תצורה YAML אחד לכל ריצה, ממשק ווב, מצבי VRAM נמוך, ותמיכה ב-Flux.1 dev, Flux 2 dev ו-Flux 2 Klein. התחל את הריצה עם python run.py config/my_flux_lora.yaml. הבחירה הטובה ביותר להתחלה.
• Kohya sd-scripts ו-FluxGym: Kohya הוא המאמן הוותיק מאחורי רוב LoRAs של Stable Diffusion ויש לו ענף Flux. FluxGym הוא ממשק ווב בדף אחד מעליו עם תצורות 12, 16 ו-20 גיגה-בייט. טוב כשאתה רוצה טופס למילוי, לא קובץ לעריכה.
• OneTrainer: אפליקציית שולחן עבודה עם ממשק ידידותי ל-SDXL ו-Flux.1. בחר בו אם אתה גם מאמן LoRAs ל-SDXL ורוצה כלי אחד.
• מאמנים מקוונים: המאמן באתר Civitai ומאמני Flux באתרים לאירוח GPU מקבלים קובץ zip של תמונות ומחזירים קובץ. הם עולים קרדיטים לכל ריצה ומסתירים את ההגדרות, אבל אין צורך בכרטיס בכלל. הקובץ שהם מייצרים מיובא ל-Graydient באותה דרך.

שלב 5: הגדר את חמשת המספרים החשובים

כל מאמן מציג עשרות אפשרויות. השאר את ברירות המחדל למעט אלו, שמחליטות כמה חזק, כללי וגדול ה-LoRA:

הגדר את המאמן לשמור נקודת בדיקה כל 250 צעדים וליצור שתי תמונות דוגמה בכל שמירה, עם אותו פרומפט וזרע. דוגמאות אלו הן כיצד תבחר את המנצח. Flux.1 dev ו-Flux 2 dev הם מנותחים בהדרכה; המאמנים מטפלים בזה עבורך, אז השאר את הגדרת ההדרכה כברירת מחדל.

שלב 6: אימון

1. התחל את הריצה וצפה בזיכרון בדקה הראשונה. אם הוא מתמלא בכרטיס ונשפך לזיכרון המערכת, עצור: האימון ייקח עשר פעמים יותר זמן ועלול לקרוס.
2. אם הזיכרון נשפך, החלף את הבסיס ל-fp8, הפעל checkpointing של גרדיאנטים, השתמש באופטימייזר AdamW או Adafactor ב-8 ביט, הורד את הרזולוציה ל-768, ושמור על גודל האצווה 1. כל אחד מהצעדים האלה משחרר גיגהבייטים.
3. כאשר זה רץ חלק, השאר את זה לבד. Flux.1 dev לוקח שעה עד שעתיים ל-1500 צעדים על כרטיס 16 GB; Klein 4B מהיר יותר; Flux 2 dev לוקח כשעה על כרטיס 48 GB מושכר.
4. הסתכל על תמונות הדוגמה כשהן מופיעות. הנושא בדרך כלל מופיע עד שלב 500 ומוצק עד שלב 1000. אם הוא מושלם ב-750, אפשר לעצור מוקדם.

האימון איטי ורועש, לא שביר. ריצה ששרד את הדקה הראשונה כמעט תמיד מסתיימת. שמור את הלטנטים והטקסטים המוטמעים לפני האימון אם המאמן שלך מציע זאת; זה חוסך זיכרון וזמן בכל ריצה.

שלב 7: בדיקה ובחירת נקודת הבדיקה הנכונה

נקודת הבדיקה האחרונה נדירה שהיא הטובה ביותר. LoRAs מאומנים מדי מעתיקים את הרקעים של מערך הנתונים, שורפים את הניגודיות ועוצרים להקשיב לפרומפטים. בדוק את כולם:

• כתוב ארבעה פרומפטים שהמערך לא מכיל: מקום חדש, לבוש חדש, תאורה שונה, מדיום שונה. קבע את הזרע.
• צור כל נקודת בדיקה שנשמרה עם ארבעת הפרומפטים במשקלי LoRA 0.6, 0.8 ו-1.0.
• בחר את נקודת הבדיקה המוקדמת ביותר שמצליחה לתפוס את הנושא ועדיין עוקבת אחרי הפרומפטים החדשים. אלו המאוחרות בדרך כלל מבושלות מדי; אלו המוקדמות מעורפלות.
• שנה שם למנצח למשהו שתזהה בספריה בעוד שנה, כמו הנושא והבסיס: my-flux-lora, לא lora_000750.

אין כרטיס גרפי? השכר אחד לשעה

אימון Flux 2 dev, או כל אימון Flux במחשב נייד, זול יותר על כרטיס מושכר מאשר בזמן שלך. כרטיס 24 או 48 GB עולה הרבה פחות ממחיר קפה לשעה בשווקי השכרת GPU, ו-LoRA של Flux צריך שעה עד שעתיים.

• השכר מכונה עם כרטיס 24 GB ל-Flux.1 dev או Klein, 48 GB ל-Flux 2 dev. בחר תבנית עם המאמן מותקן מראש כשהשוק מציע אחת; תבניות AI Toolkit נפוצות.
• העלה את תיקיית מערך הנתונים, הרץ את ההגדרות כמו למעלה, והורד את נקודות הבדיקה שברצונך לבדוק. מערך הנתונים והמשקלים נשארים שלך.
• עצור את המכונה כשההורדה מסתיימת. הכל, כולל ההתקנה, בדרך כלל פחות משעתיים של השכרה.

השתמש ב-LoRA של Flux שלך ב-Graydient

Graydient לא צריך את הקובץ במחשב שלך כדי ליצור איתו. שים אותו במקום ש-Graydient יכול לגשת אליו וייבא את הקישור:

1. העלה את קובץ .safetensors למאגר בחשבון Hugging Face שלך (ציבורי או פרטי), או פרסם אותו ב-Civitai עם דגם הבסיס מוגדר לגרסת Flux שאימנת.
2. התחבר ל-Graydient, פתח ייבוא דגם מספריית הלוח שלך, והדבק את הקישור הישיר לקובץ מ-Hugging Face או את קישור העמוד של Civitai. כל השלבים מלאים ב-איך לייבא דגמים מ-Civitai ו-Hugging Face ל-Graydient.
3. המתן שה-LoRA יופיע בספריה שלך והעתק את קוד הקיצור ש-Graydient נתן לו.
4. צור תמונות עם תג ה-LoRA והבסיס המתאים בכל אפליקציית Graydient: <lora:my-flux-lora:0.8> <flux-dev> ל-LoRA של Flux.1, או <lora:my-flux2-lora:0.8> <flux2> ל-LoRA של Flux 2. כל אפליקציה, משקל וכללי ערימה נמצאים ב-המדריך למתחילים ל-Flux ו-Flux 2 LoRAs ב-Graydient.

הדגמה מלאה ראשונה ל-Telegram או Discord, עם מילת טריגר ראשונה ו-LoRA ב-0.8 על בסיס Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

רישיונות: מה מותר לעשות עם ה-LoRA

LoRA היא נגזרת של דגם הבסיס שלה, לכן רישיון הבסיס חל עליה. בדוק את טקסט הרישיון הנוכחי בדף הדגם לפני שאתה מוכר תמונות או את הקובץ:

• Flux.1 dev ו-Flux 2 dev משוחררים תחת רישיון לא-מסחרי של Black Forest Labs. פרויקטים אישיים ומחקר בסדר; שימוש מסחרי דורש רישיון מסחרי שלהם.
• Flux 2 Klein 4B (ונקודת הבסיס שלו) תחת Apache 2.0, לכן LoRAs מאומנים עליו אינם כפופים להגבלות דגם בסיס. Klein 9B תחת רישיון לא-מסחרי.
• לתמונות במערך הנתונים שלך יש זכויות משלהן. אמן על תמונות שצילמת או בבעלותך, ולעולם לא על אדם אמיתי ללא הסכמתו.

אם משהו משתבש

• מחסור בזיכרון בדקה הראשונה: הבסיס ב-fp16 יחד עם האופטימייזר לא נכנס. החלף ל-fp8, AdamW או Adafactor ב-8 ביט, checkpointing של גרדיאנטים, רזולוציה 768, אצווה 1. אם עדיין נשפך, השכר כרטיס.
• ה-LoRA משנה את כל התמונה, לא רק את הנושא: הכיתובים לא תיארו את הרקע והתאורה, אז המאמן למד אותם כחלק ממילת הטריגר. כתוב כיתובים מחדש עם ההקשר מפורט ושנה את מערך הנתונים.
• הפנים נכונות במשקל 1.0 אבל הפרומפטים מתעלמים: אימון יתר. השתמש בנקודת בדיקה מוקדמת יותר. בריצה הבאה, חלק את הצעדים בחצי או הורד את קצב הלמידה ל-5e-5.
• רק דמיון מעורפל בכל משקל: אימון חסר, או שהמערך אחיד מדי. הוסף צעדים בבלוקים של 500, או הוסף תמונות עם זוויות חדשות.
• ה-LoRA לא עושה כלום ב-Graydient: הבסיס לא תואם. LoRA של Flux.1 צריכה <flux-dev>; LoRA של Flux 2 צריכה <flux2>. בדוק גם שמילת הטריגר נמצאת בפרומפט.
• האימון רץ אבל לאט מאוד: נשפך לזיכרון מערכת, או שהמערך על כונן איטי. תקן את הזיכרון כפי שנאמר בנקודה הראשונה, שמור לטנטים, והעבר את המערך ל-SSD.

זו כל השיטה: בסיס אחד, 20 תמונות נקיות, כיתובים כנים, חמישה מספרים, ריצה, בדיקה. ה-LoRA הראשון שלך Flux לא יהיה הטוב ביותר, והשני לוקח חצי מהזמן. כשהקובץ קיים, התחבר ל-Graydient או השווה תוכניות ותמחור כדי ליצור איתו כמה פעמים שתרצה. כל תוכנית כוללת אחריות החזר כספי ל-7 ימים.

שאלות

ראה תוכניות ותמחור