วิธีฝึกสอน Flux LoRA (Flux.1 และ Flux 2): คู่มือสำหรับผู้เริ่มต้นทีละขั้นตอน

การฝึกสอน Flux LoRA คือการสอนโมเดลภาพ Flux ให้รู้สิ่งที่มันไม่รู้: ใบหน้าคุณ สินค้าคุณ สไตล์การวาด หรือรูปลักษณ์กล้อง ผลลัพธ์คือไฟล์ .safetensors ขนาด 20 ถึง 300 MB ที่คุณใช้ได้ในแอป Flux ใดก็ได้ รวมถึง Graydient กระบวนการนี้ใช้ภาพ 15 ถึง 30 ภาพ การ์ดที่มีหน่วยความจำ 12 ถึง 16 GB (หรือเช่าเป็นชั่วโมง) และผู้ฝึกสอนฟรี คู่มือนี้อธิบายทุกขั้นตอนสำหรับ Flux.1 dev และ Flux 2 และจบด้วยวิธีใช้งาน LoRA ใหม่ของคุณที่นี่

คุณจะทำเจ็ดอย่าง: เลือกฐาน Flux สร้างชุดข้อมูลเล็กๆ เขียนคำบรรยาย เลือกผู้ฝึกสอน ตั้งค่าตัวเลขบางตัว ฝึกสอนและทดสอบ แล้วนำเข้าไฟล์ไปยัง Graydient แต่ละขั้นตอนเขียนไว้ด้านล่างพร้อมค่าที่เหมาะกับคนส่วนใหญ่ ถ้าคุณมีไฟล์ที่ฝึกสอนไว้แล้ว ให้ข้ามไปยังส่วนการใช้งาน

Graydient รัน LoRA; แต่ไม่ฝึกสอน การฝึกสอนเกิดขึ้นบนการ์ดกราฟิกของคุณเอง บน GPU ที่คุณเช่าเป็นชั่วโมง หรือในผู้ฝึกสอนออนไลน์ เมื่อไฟล์มีอยู่แล้ว แผน Graydient ทุกแผนสามารถเรนเดอร์ด้วยไฟล์นั้นในราคาคงที่

สิ่งที่คุณต้องมี

• ภาพดี 15 ถึง 30 ภาพของเรื่องเดียว หรือ 30 ถึง 60 ภาพสำหรับสไตล์ ภาพถ่ายจากโทรศัพท์ก็ใช้ได้ถ้าชัดเจนและหลากหลาย
• การ์ดกราฟิกที่มีหน่วยความจำ 12 ถึง 16 GB สำหรับ Flux.1 dev หรือ Flux 2 Klein 4B หรือ 24 GB ขึ้นไปสำหรับ Flux 2 dev ไม่มีการ์ด? เช่าเป็นชั่วโมง (ดูด้านล่าง) หรือใช้ผู้ฝึกสอนออนไลน์
• ผู้ฝึกสอนฟรี: AI Toolkit, Kohya sd-scripts (หรืออินเทอร์เฟซ FluxGym บนตัวมัน) หรือ OneTrainer ทั้งหมดทำงานบน Windows และ Linux ที่ติดตั้ง Python แล้ว
• เวลาหนึ่งถึงสามชั่วโมง ส่วนใหญ่เป็นเวลารอ แผน Graydient มีผลเฉพาะตอนท้ายเมื่อคุณต้องการเรนเดอร์ด้วยไฟล์ เปรียบเทียบ แผนและราคา

ขั้นตอนที่ 1: เลือกฐาน Flux ที่จะฝึกสอน

LoRA จะผูกกับโมเดลฐานที่ฝึกสอน ดังนั้นเริ่มต้นด้วยฐานที่คุณต้องการเรนเดอร์ด้วย ครอบครัว Flux มีสามสาขาที่ไม่แชร์ LoRA กัน:

กฎที่ต้องจำ: LoRA ของ Flux.1 ใช้กับ Flux 2 ไม่ได้, LoRA ของ Flux 2 ใช้กับ Flux.1 ไม่ได้, และ Klein 4B, Klein 9B กับ Flux 2 dev ต้องมี LoRA ของตัวเอง Krea 2 เป็นโมเดลต่างหาก ไม่ใช่ Flux ถ้าใช้หลายฐาน ให้ฝึกแต่ละฐานจากชุดข้อมูลเดียวกัน

ขั้นตอนที่ 2: สร้างชุดข้อมูล

Flux เรียนรู้เร็วจากชุดข้อมูลเล็กและสะอาด คุณภาพสำคัญกว่าจำนวน; 20 ภาพชัดและหลากหลายดีกว่า 80 ภาพที่เหมือนกันเกือบทั้งหมด

1. เก็บภาพ 15 ถึง 30 ภาพสำหรับคน สินค้า หรือวัตถุ เปลี่ยนมุม ระยะ แสง และพื้นหลังระหว่างถ่าย รวมอย่างน้อยหนึ่งในสามเป็นภาพใกล้ และหนึ่งในสามเป็นภาพเต็มตัวหรือเต็มสินค้า
2. สำหรับสไตล์ เก็บงาน 30 ถึง 60 ชิ้นที่ใช้สื่อและคุณภาพเส้นเดียวกันแต่เรื่องต่างกัน: คน สถานที่ วัตถุ ความหลากหลายคือสิ่งที่บอกผู้ฝึกสอนว่าวัตถุไม่ใช่สไตล์
3. ลบภาพเบลอ การบีบอัดหนัก ลายน้ำ ข้อความทับ และใครที่ไม่ใช่วัตถุ ใบหน้าที่หลุดมาในชุดจะปรากฏในเรนเดอร์
4. ความละเอียด: 1024 พิกเซลด้านยาวเป็นมาตรฐานสำหรับ Flux รักษาสัดส่วนภาพให้หลากหลาย ผู้ฝึกสอนจะจัดกลุ่มให้เอง อย่าบีบภาพให้เป็นสี่เหลี่ยมจัตุรัส
5. ใส่ภาพทั้งหมดในโฟลเดอร์เดียวกับไฟล์ข้อความที่มีชื่อเดียวกับภาพ คำบรรยายใส่ในไฟล์ข้อความ: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

ขั้นตอนที่ 3: เขียนคำบรรยาย

Flux อ่านประโยคธรรมชาติผ่านตัวเข้ารหัสข้อความ T5 ดังนั้นคำบรรยายเป็นคำอธิบายธรรมดา ไม่ใช่รายการคำสำคัญ คำบรรยายกำหนดสิ่งที่ LoRA เรียนรู้และสิ่งที่ไม่เรียนรู้:

• สำหรับวัตถุ เริ่มด้วยคำกระตุ้นที่ไม่ใช่คำจริง แล้วอธิบายทุกอย่างที่ไม่ใช่วัตถุ: เสื้อผ้า ท่าโพส สถานที่ แสง ผู้ฝึกสอนจะเรียนรู้ว่าคำกระตุ้นคือส่วนที่คำบรรยายไม่อธิบาย
• สำหรับสไตล์ อธิบายเนื้อหาของแต่ละภาพและอย่าบรรยายสไตล์ สไตล์คือสิ่งที่ LoRA เรียนรู้จากการละเว้น และจะนำไปใช้กับวัตถุใดก็ได้ที่คุณสั่ง
• เก็บคำบรรยายไว้หนึ่งหรือสองประโยค ใช้ Florence-2 หรือ JoyCaption อัตโนมัติถ้ามีภาพเกิน 30 ภาพ แล้วอ่านและแก้ไข 10 ภาพแรกด้วยมือ
• อย่าใช้ชื่อคนจริงเป็นคำกระตุ้น และอย่าบรรยายสิ่งที่ไม่มีในภาพ

คำบรรยายวัตถุตัวอย่างสำหรับ LoRA คน: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

คำบรรยายสำหรับ LoRA สไตล์ ที่ไม่ระบุสไตล์โดยเจตนา: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

ขั้นตอนที่ 4: เลือกผู้ฝึกสอน

ผู้ฝึกสอนฟรีและโอเพนซอร์สสี่ตัวครอบคลุมฐาน Flux ทุกตัว ทั้งหมดใช้โฟลเดอร์ชุดข้อมูลเดียวกันและสร้างไฟล์ .safetensors แบบเดียวกัน:

• AI Toolkit (โดย ostris): ผู้ฝึกสอน Flux ที่ใช้มากที่สุด ไฟล์ YAML การตั้งค่าต่อรัน อินเทอร์เฟซเว็บ โหมด VRAM ต่ำ และรองรับ Flux.1 dev, Flux 2 dev และ Flux 2 Klein เริ่มรันด้วย python run.py config/my_flux_lora.yaml ตัวเลือกแรกที่ดีที่สุด
• Kohya sd-scripts และ FluxGym: Kohya เป็นผู้ฝึกสอนเก่าแก่เบื้องหลัง LoRA ส่วนใหญ่ของ Stable Diffusion และมีสาขา Flux FluxGym เป็นอินเทอร์เฟซเว็บหน้าเดียวบนตัวมัน มีพรีเซ็ต 12, 16 และ 20 GB ดีเมื่อคุณอยากได้แบบฟอร์มกรอก ไม่ใช่ไฟล์แก้ไข
• OneTrainer: แอปเดสก์ท็อปที่มีอินเทอร์เฟซใช้งานง่ายสำหรับ SDXL และ Flux.1 เลือกถ้าคุณฝึก SDXL LoRA ด้วยและอยากใช้เครื่องมือเดียว
• ผู้ฝึกสอนออนไลน์: ผู้ฝึกสอนของ Civitai บนไซต์และผู้ฝึกสอน Flux บนโฮสต์ GPU รับไฟล์ zip ของภาพและคืนไฟล์ พวกเขาคิดเครดิตต่อรันและซ่อนการตั้งค่า แต่คุณไม่ต้องมีการ์ดเลย ไฟล์ที่ได้สามารถนำเข้า Graydient ได้เหมือนกัน

ขั้นตอนที่ 5: ตั้งค่าห้าตัวเลขที่สำคัญ

ผู้ฝึกสอนแต่ละตัวมีตัวเลือกมากมาย ปล่อยค่าดีฟอลต์ไว้ ยกเว้นตัวเหล่านี้ที่กำหนดความแข็งแรง ความทั่วไป และขนาดของ LoRA:

ตั้งค่าผู้ฝึกให้บันทึกจุดตรวจสอบทุก 250 ก้าวและสร้างภาพตัวอย่างสองภาพในแต่ละครั้งที่บันทึก โดยใช้คำสั่งและเมล็ดพันธุ์เดียวกัน ตัวอย่างเหล่านี้คือวิธีที่คุณจะเลือกผู้ชนะ Flux.1 dev และ Flux 2 dev เป็นแบบ guidance-distilled; ผู้ฝึกจัดการให้คุณ ดังนั้นปล่อยค่าการแนะนำเป็นค่าเริ่มต้น

ขั้นตอนที่ 6: ฝึก

1. เริ่มการฝึกและดูหน่วยความจำในนาทีแรก หากเต็มการ์ดและล้นไปยังหน่วยความจำระบบ ให้หยุด: การฝึกจะช้าลงสิบเท่าและอาจล่ม
2. ถ้าหน่วยความจำล้น ให้เปลี่ยนฐานเป็น fp8 เปิด gradient checkpointing ใช้ตัวปรับแต่ง 8-bit AdamW หรือ Adafactor ลดความละเอียดเป็น 768 และตั้ง batch เป็น 1 อย่างใดอย่างหนึ่งจะช่วยประหยัดกิกะไบต์
3. เมื่อรันได้เรียบร้อยแล้ว ปล่อยให้ทำงานต่อ Flux.1 dev ใช้เวลาหนึ่งถึงสองชั่วโมงสำหรับ 1500 ก้าวบนการ์ด 16 GB; Klein 4B เร็วกว่า; Flux 2 dev ใช้เวลาประมาณหนึ่งชั่วโมงบนการ์ด 48 GB เช่ามา
4. ดูภาพตัวอย่างเมื่อปรากฏ หัวข้อมักจะเห็นได้ชัดที่ก้าว 500 และชัดเจนที่ 1000 ถ้าสมบูรณ์แบบที่ 750 คุณอาจหยุดก่อนเวลา

การฝึกช้าและมีเสียงรบกวน ไม่เปราะบาง การรันที่ผ่านนาทีแรกได้มักจะเสร็จ Cache latents และ text embeddings ก่อนฝึกถ้าผู้ฝึกมีให้; ช่วยประหยัดหน่วยความจำและเวลาในทุกการรัน

ขั้นตอนที่ 7: ทดสอบและเลือกจุดตรวจสอบที่ถูกต้อง

จุดตรวจสอบล่าสุดไม่ใช่จุดที่ดีที่สุดเสมอไป LoRA ที่ฝึกเกินจะคัดลอกพื้นหลังของชุดข้อมูล ทำให้คอนทราสต์ไหม้และไม่สนใจคำสั่ง ทดสอบทั้งหมด:

• เขียนคำสั่งสี่คำที่ชุดข้อมูลไม่มี: สถานที่ใหม่, ชุดใหม่, แสงต่างไป, สื่อที่ต่างกัน ตั้งเมล็ดพันธุ์
• เรนเดอร์แต่ละจุดตรวจสอบที่บันทึกด้วยคำสั่งสี่คำที่น้ำหนัก LoRA 0.6, 0.8 และ 1.0
• เลือกจุดตรวจสอบที่เร็วที่สุดที่จับหัวข้อได้และยังคงตามคำสั่งใหม่ได้ จุดหลังมักจะฝึกเกิน; จุดก่อนมักจะคลุมเครือ
• เปลี่ยนชื่อผู้ชนะเป็นชื่อที่คุณจะจำได้ในห้องสมุดในอีกหนึ่งปี เช่น หัวข้อและฐาน: my-flux-lora ไม่ใช่ lora_000750

ไม่มีการ์ดกราฟิก? เช่าหนึ่งชั่วโมง

การฝึก Flux 2 dev หรือการฝึก Flux บนแล็ปท็อปถูกกว่าบนการ์ดของคุณเอง การ์ด 24 หรือ 48 GB ราคาต่ำกว่าราคากาแฟต่อชั่วโมงในตลาดเช่า GPU และ Flux LoRA ต้องใช้เวลาหนึ่งถึงสองชั่วโมง

• เช่าเครื่องที่มีการ์ด 24 GB สำหรับ Flux.1 dev หรือ Klein, 48 GB สำหรับ Flux 2 dev เลือกเทมเพลตที่ติดตั้งผู้ฝึกไว้ล่วงหน้าถ้ามีในตลาด; เทมเพลต AI Toolkit เป็นที่นิยม
• อัปโหลดโฟลเดอร์ชุดข้อมูล รันการตั้งค่าเหมือนข้างต้น และดาวน์โหลดจุดตรวจสอบที่คุณต้องการทดสอบ ชุดข้อมูลและน้ำหนักเป็นของคุณ
• หยุดเครื่องเมื่อดาวน์โหลดเสร็จ ทั้งหมดรวมตั้งค่ามักใช้เวลาน้อยกว่าสองชั่วโมง

ใช้ Flux LoRA ของคุณบน Graydient

Graydient ไม่ต้องการไฟล์บนคอมพิวเตอร์ของคุณเพื่อเรนเดอร์กับมัน วางไว้ที่ Graydient สามารถดึงได้และนำเข้าลิงก์:

1. อัปโหลดไฟล์ .safetensors ไปยังที่เก็บในบัญชี Hugging Face ของคุณ (สาธารณะหรือส่วนตัว) หรือเผยแพร่บน Civitai โดยตั้งค่าฐานโมเดลเป็นเวอร์ชัน Flux ที่คุณฝึก
2. เข้าสู่ระบบ Graydient เปิด Model Import จากห้องสมุดแดชบอร์ดของคุณ และวางลิงก์ไฟล์ตรงจาก Hugging Face หรือหน้าของ Civitai ขั้นตอนเต็มอยู่ใน วิธีนำเข้าโมเดล Civitai บน Graydient
3. รอให้ LoRA ปรากฏในห้องสมุดของคุณและคัดลอก ShortCode ที่ Graydient ให้
4. เรนเดอร์ด้วยแท็ก LoRA และฐานที่ตรงกันในแอป Graydient ใดก็ได้: <lora:my-flux-lora:0.8> <flux-dev> สำหรับ Flux.1 LoRA หรือ <lora:my-flux2-lora:0.8> <flux2> สำหรับ Flux 2 LoRA ทุกแอป น้ำหนัก และกฎการซ้อนอยู่ใน คู่มือเริ่มต้นสำหรับ Flux และ Flux 2 LoRA บน Graydient

ตัวอย่างการเรนเดอร์แรกสมบูรณ์สำหรับ Telegram หรือ Discord โดยมีคำกระตุ้นก่อนและ LoRA ที่ 0.8 บนฐาน Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

ใบอนุญาต: สิ่งที่คุณทำได้กับ LoRA

LoRA เป็นอนุพันธ์ของโมเดลฐาน ดังนั้นใบอนุญาตฐานจะติดตามไปด้วย ตรวจสอบข้อความใบอนุญาตปัจจุบันในหน้ารุ่นก่อนขายภาพหรือไฟล์:

• Flux.1 dev และ Flux 2 dev ปล่อยภายใต้ใบอนุญาตไม่ใช่เชิงพาณิชย์ของ Black Forest Labs โครงการส่วนตัวและงานวิจัยใช้ได้; การใช้เชิงพาณิชย์ต้องมีใบอนุญาตเชิงพาณิชย์
• Flux 2 Klein 4B (และจุดตรวจสอบฐาน) เป็น Apache 2.0 ดังนั้น LoRA ที่ฝึกบนมันไม่มีข้อจำกัดของโมเดลฐาน Klein 9B อยู่ภายใต้ใบอนุญาตไม่ใช่เชิงพาณิชย์
• ภาพในชุดข้อมูลของคุณมีสิทธิของตัวเอง ฝึกบนภาพถ่ายที่คุณถ่ายหรือเป็นเจ้าของ และอย่าฝึกบนบุคคลจริงโดยไม่ได้รับอนุญาต

ถ้าเกิดปัญหา

• หน่วยความจำไม่พอในนาทีแรก: ฐาน fp16 พร้อมตัวปรับแต่งไม่พอดี เปลี่ยนเป็น fp8, 8-bit AdamW หรือ Adafactor, gradient checkpointing, ความละเอียด 768, batch 1 ถ้ายังล้น ให้เช่าการ์ด
• LoRA เปลี่ยนทั้งภาพ ไม่ใช่แค่หัวข้อ: คำบรรยายไม่ได้อธิบายพื้นหลังและแสง ผู้ฝึกจึงเรียนรู้เป็นส่วนหนึ่งของคำกระตุ้น ใส่คำบรรยายใหม่ที่อธิบายบริบทและเปลี่ยนชุดข้อมูล
• ใบหน้าแม่นที่น้ำหนัก 1.0 แต่คำสั่งถูกละเลย: ฝึกเกิน ใช้จุดตรวจสอบก่อนหน้า รอบถัดไปลดก้าวลงครึ่งหนึ่งหรือลดอัตราการเรียนรู้เป็น 5e-5
• คล้ายคลึงไม่ชัดเจนที่น้ำหนักใด ๆ: ฝึกไม่พอ หรือชุดข้อมูลซ้ำซาก เพิ่มก้าวทีละ 500 หรือเพิ่มภาพมุมใหม่
• LoRA ไม่ทำงานบน Graydient: ฐานไม่ตรงกัน Flux.1 LoRA ต้องการ <flux-dev>; Flux 2 LoRA ต้องการ <flux2> ตรวจสอบว่าคำกระตุ้นอยู่ในคำสั่งด้วย
• การฝึกทำงานแต่ช้ามาก: ล้นไปยังหน่วยความจำระบบ หรือชุดข้อมูลอยู่บนไดรฟ์ช้า แก้หน่วยความจำตามข้อแรก, cache latents, ย้ายชุดข้อมูลไป SSD

นั่นคือวิธีทั้งหมด: ฐานหนึ่ง, 20 ภาพสะอาด, คำบรรยายตรงไปตรงมา, ตัวเลขห้าอย่าง, การรัน, การทดสอบ LoRA Flux แรกของคุณอาจไม่ดีที่สุด และตัวที่สองใช้เวลาครึ่งหนึ่ง เมื่อไฟล์มีอยู่แล้ว เข้าสู่ระบบ Graydient หรือเปรียบเทียบ แผนและราคา เพื่อเรนเดอร์กับมันกี่ครั้งก็ได้ แผนทั้งหมดมีการรับประกันคืนเงิน 7 วัน

คำถาม

ดูแผนและราคา