Cách huấn luyện Flux LoRA (Flux.1 và Flux 2): hướng dẫn từng bước cho người mới bắt đầu

Huấn luyện Flux LoRA là cách bạn dạy cho mô hình hình ảnh Flux điều mà nó chưa biết: khuôn mặt bạn, sản phẩm của bạn, phong cách vẽ của bạn, một kiểu máy ảnh. Kết quả là một file .safetensors từ 20 đến 300 MB mà bạn có thể dùng trong bất kỳ ứng dụng Flux nào, bao gồm Graydient. Quá trình này cần 15 đến 30 hình ảnh, một card có 12 đến 16 GB bộ nhớ (hoặc thuê một cái trong một giờ), và một huấn luyện viên miễn phí. Hướng dẫn này đi qua từng bước cho Flux.1 dev và Flux 2, và kết thúc với cách chạy LoRA mới của bạn ở đây.

Bạn sẽ làm bảy việc: chọn base Flux, xây dựng bộ dữ liệu nhỏ, viết chú thích, chọn huấn luyện viên, đặt một vài con số, huấn luyện và kiểm tra, rồi nhập file vào Graydient. Mỗi bước được viết chi tiết bên dưới với các giá trị phù hợp với hầu hết mọi người. Nếu bạn đã có file huấn luyện, hãy chuyển đến phần sử dụng nó.

Graydient chạy LoRA; nó không huấn luyện chúng. Việc huấn luyện diễn ra trên card đồ họa của bạn, trên GPU bạn thuê theo giờ, hoặc trong huấn luyện viên trực tuyến. Khi file đã có, mọi gói Graydient đều có thể render với nó với một mức giá cố định.

Những gì bạn cần

• 15 đến 30 hình ảnh tốt của một chủ thể, hoặc 30 đến 60 cho một phong cách. Ảnh điện thoại cũng được nếu sắc nét và đa dạng.
• Một card đồ họa có 12 đến 16 GB bộ nhớ cho Flux.1 dev hoặc Flux 2 Klein 4B, hoặc từ 24 GB trở lên cho Flux 2 dev. Không có card? Thuê một cái trong một giờ (xem bên dưới) hoặc dùng huấn luyện viên trực tuyến.
• Một huấn luyện viên miễn phí: AI Toolkit, Kohya sd-scripts (hoặc giao diện FluxGym trên đó) hoặc OneTrainer. Tất cả chạy trên Windows và Linux với Python đã cài.
• Một đến ba giờ, phần lớn là chờ đợi. Gói Graydient chỉ quan trọng khi bạn muốn render với file. So sánh gói và giá.

Bước 1: chọn base Flux để huấn luyện

LoRA gắn với mô hình base mà nó được huấn luyện trên đó, nên bắt đầu với base bạn muốn render cùng. Gia đình Flux có ba nhánh không chia sẻ LoRA:

Quy tắc nhớ: LoRA Flux.1 không dùng được trên Flux 2, LoRA Flux 2 không dùng được trên Flux.1, và Klein 4B, Klein 9B, Flux 2 dev mỗi loại cần LoRA riêng. Krea 2 là mô hình khác, không phải Flux. Nếu dùng nhiều base, huấn luyện một lần cho mỗi base từ cùng bộ dữ liệu.

Bước 2: xây dựng bộ dữ liệu

Flux học nhanh từ bộ dữ liệu nhỏ, sạch. Chất lượng hơn số lượng; 20 ảnh sắc nét và đa dạng hơn 80 ảnh gần giống nhau.

1. Thu thập 15 đến 30 ảnh cho một người, sản phẩm hoặc vật thể. Thay đổi góc, khoảng cách, ánh sáng và nền giữa các ảnh. Bao gồm ít nhất một phần ba ảnh cận cảnh và một phần ba ảnh toàn thân hoặc toàn sản phẩm.
2. Với phong cách, thu thập 30 đến 60 tác phẩm cùng chất liệu và chất lượng nét nhưng chủ thể khác nhau: người, nơi chốn, vật thể. Sự đa dạng giúp huấn luyện viên hiểu chủ thể không phải phong cách.
3. Loại bỏ ảnh mờ, nén nặng, watermark, chữ chồng lên và bất kỳ ai không phải chủ thể. Một khuôn mặt lạc trong bộ sẽ xuất hiện trong render.
4. Độ phân giải: 1024 pixel cạnh dài là chuẩn cho Flux. Giữ tỷ lệ khung hình đa dạng; mỗi huấn luyện viên tự động phân nhóm. Không kéo giãn ảnh thành hình vuông.
5. Đặt ảnh vào một thư mục cùng với file text bên cạnh mỗi ảnh có cùng tên. Chú thích viết trong file text: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

Bước 3: viết chú thích

Flux đọc câu tự nhiên qua bộ mã hóa văn bản T5, nên chú thích là mô tả đơn giản, không phải danh sách từ khóa. Chú thích quyết định LoRA học gì và bỏ qua gì:

• Với chủ thể, bắt đầu bằng từ kích hoạt không phải từ thật, rồi mô tả mọi thứ không phải chủ thể: quần áo, tư thế, nơi chốn, ánh sáng. Huấn luyện viên hiểu từ kích hoạt là phần chú thích không giải thích.
• Với phong cách, mô tả nội dung mỗi ảnh và không bao giờ nhắc đến phong cách. Phong cách là phần LoRA học bằng cách bỏ qua, và sẽ áp dụng cho bất kỳ chủ thể nào bạn gợi ý.
• Giữ chú thích một hoặc hai câu. Tự động chú thích với Florence-2 hoặc JoyCaption nếu có hơn 30 ảnh, rồi đọc và sửa 10 cái đầu bằng tay.
• Không dùng tên người thật làm từ kích hoạt, và không chú thích những gì không có trong ảnh.

Chú thích cho LoRA người: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

Chú thích cho LoRA phong cách, nơi phong cách không được nhắc đến: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

Bước 4: chọn huấn luyện viên

Bốn huấn luyện viên miễn phí, mã nguồn mở bao phủ mọi base Flux. Tất cả dùng cùng thư mục bộ dữ liệu và tạo file .safetensors cùng loại:

• AI Toolkit (của ostris): huấn luyện viên Flux được dùng nhiều nhất. Một file cấu hình YAML cho mỗi lần chạy, giao diện web, chế độ VRAM thấp, hỗ trợ Flux.1 dev, Flux 2 dev và Flux 2 Klein. Bắt đầu chạy với python run.py config/my_flux_lora.yaml. Lựa chọn đầu tiên tốt nhất.
• Kohya sd-scripts và FluxGym: Kohya là huấn luyện viên kỳ cựu phía sau hầu hết LoRA Stable Diffusion và có nhánh Flux. FluxGym là giao diện web một trang trên đó với các preset 12, 16 và 20 GB. Tốt khi bạn muốn form điền, không phải file chỉnh sửa.
• OneTrainer: ứng dụng desktop với giao diện thân thiện cho SDXL và Flux.1. Chọn nếu bạn cũng huấn luyện LoRA SDXL và muốn một công cụ.
• Huấn luyện viên trực tuyến: huấn luyện viên trên site Civitai và huấn luyện viên Flux trên các trang hosting GPU nhận file zip ảnh và trả file. Tốn credit mỗi lần chạy và ẩn cài đặt, nhưng bạn không cần card. File tạo ra nhập vào Graydient giống nhau.

Bước 5: đặt năm con số quan trọng

Mỗi huấn luyện viên có hàng chục tùy chọn. Giữ nguyên mặc định trừ những cái này, quyết định độ mạnh, độ tổng quát và kích thước LoRA:

Đặt trình huấn luyện lưu điểm kiểm tra mỗi 250 bước và tạo hai hình mẫu mỗi lần lưu, với cùng lời nhắc và hạt giống. Những mẫu này là cách bạn chọn người chiến thắng. Flux.1 dev và Flux 2 dev được chưng cất hướng dẫn; trình huấn luyện xử lý điều đó cho bạn, nên để cài đặt hướng dẫn ở mặc định.

Bước 6: huấn luyện

1. Bắt đầu chạy và theo dõi bộ nhớ trong phút đầu tiên. Nếu đầy thẻ và tràn vào bộ nhớ hệ thống, dừng lại: huấn luyện sẽ mất gấp mười lần thời gian và có thể bị lỗi.
2. Nếu tràn bộ nhớ, chuyển cơ sở sang fp8, bật checkpoint gradient, dùng bộ tối ưu AdamW 8-bit hoặc Adafactor, giảm độ phân giải xuống 768, và giữ kích thước lô là 1. Bất kỳ điều nào trong số này sẽ giải phóng gigabyte.
3. Khi chạy ổn định, để yên cho nó. Flux.1 dev mất một đến hai giờ cho 1500 bước trên thẻ 16 GB; Klein 4B nhanh hơn; Flux 2 dev mất khoảng một giờ trên thẻ 48 GB thuê.
4. Xem các hình mẫu khi chúng xuất hiện. Chủ đề thường xuất hiện ở bước 500 và rõ ràng ở bước 1000. Nếu hoàn hảo ở bước 750, bạn có thể dừng sớm.

Huấn luyện chậm và có nhiễu, không dễ vỡ. Một lần chạy sống sót phút đầu hầu như luôn hoàn thành. Lưu bộ nhớ đệm latents và nhúng văn bản trước khi huấn luyện nếu trình huấn luyện của bạn hỗ trợ; nó tiết kiệm bộ nhớ và thời gian mỗi lần chạy.

Bước 7: kiểm tra và chọn điểm kiểm tra phù hợp

Điểm kiểm tra cuối cùng hiếm khi là tốt nhất. LoRA huấn luyện quá mức sao chép nền dữ liệu, làm cháy độ tương phản và ngừng nghe lời nhắc. Kiểm tra tất cả:

• Viết bốn lời nhắc mà dữ liệu không có: một nơi mới, một trang phục mới, ánh sáng khác, phương tiện khác. Khóa hạt giống.
• Tạo hình mỗi điểm kiểm tra đã lưu với bốn lời nhắc ở trọng số LoRA 0.6, 0.8 và 1.0.
• Chọn điểm kiểm tra sớm nhất mà nắm bắt được chủ đề và vẫn theo lời nhắc mới. Những điểm sau thường bị quá mức; những điểm trước thì mơ hồ.
• Đổi tên người chiến thắng thành thứ bạn sẽ nhận ra trong thư viện một năm sau, như chủ đề và cơ sở: my-flux-lora, không phải lora_000750.

Không có card đồ họa? Thuê một cái trong một giờ

Huấn luyện Flux 2 dev, hoặc bất kỳ huấn luyện Flux nào trên laptop, rẻ hơn khi thuê card so với dùng card của bạn. Card 24 hoặc 48 GB có giá thấp hơn nhiều so với một ly cà phê mỗi giờ trên các chợ thuê GPU, và một Flux LoRA cần một đến hai giờ.

• Thuê máy có card 24 GB cho Flux.1 dev hoặc Klein, 48 GB cho Flux 2 dev. Chọn mẫu có trình huấn luyện cài sẵn khi chợ có cung cấp; mẫu AI Toolkit phổ biến.
• Tải lên thư mục dữ liệu, chạy các cài đặt như trên, và tải xuống các điểm kiểm tra bạn muốn kiểm tra. Dữ liệu và trọng số vẫn thuộc về bạn.
• Dừng máy khi tải xong. Toàn bộ quá trình, kể cả thiết lập, thường dưới hai giờ thuê.

Dùng Flux LoRA của bạn trên Graydient

Graydient không cần file trên máy bạn để tạo hình với nó. Đặt file ở nơi Graydient có thể lấy và nhập liên kết:

1. Tải file .safetensors lên kho lưu trữ trong tài khoản Hugging Face của bạn (công khai hoặc riêng tư), hoặc công khai trên Civitai với mô hình cơ sở đặt là phiên bản Flux bạn đã huấn luyện.
2. đăng nhập vào Graydient, mở Model Import từ thư viện bảng điều khiển của bạn, và dán liên kết file trực tiếp từ Hugging Face hoặc liên kết trang Civitai. Các bước đầy đủ có trong cách nhập mô hình Civitai trên Graydient.
3. Chờ LoRA xuất hiện trong thư viện và sao chép ShortCode Graydient đã cấp.
4. Tạo hình với thẻ LoRA và cơ sở tương ứng trong bất kỳ ứng dụng Graydient nào: <lora:my-flux-lora:0.8> <flux-dev> cho LoRA Flux.1, hoặc <lora:my-flux2-lora:0.8> <flux2> cho LoRA Flux 2. Mọi ứng dụng, trọng số và quy tắc xếp chồng có trong hướng dẫn cho người mới bắt đầu về Flux và Flux 2 LoRA trên Graydient.

Một lần tạo hình đầu tiên hoàn chỉnh cho Telegram hoặc Discord, với từ kích hoạt đầu tiên và LoRA ở 0.8 trên cơ sở Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

Giấy phép: bạn có thể làm gì với LoRA

LoRA là dẫn xuất của mô hình cơ sở, nên giấy phép cơ sở đi kèm. Kiểm tra văn bản giấy phép hiện tại trên trang mô hình trước khi bạn bán hình hoặc file:

• Flux.1 dev và Flux 2 dev được phát hành theo giấy phép phi thương mại của Black Forest Labs. Dự án cá nhân và nghiên cứu được phép; sử dụng thương mại cần giấy phép thương mại của họ.
• Flux 2 Klein 4B (và điểm kiểm tra Base của nó) là Apache 2.0, nên LoRA huấn luyện trên nó không bị hạn chế mô hình cơ sở. Klein 9B thuộc giấy phép phi thương mại.
• Hình trong dữ liệu của bạn có quyền riêng. Huấn luyện trên ảnh bạn chụp hoặc sở hữu, và không bao giờ trên người thật nếu không có sự đồng ý.

Nếu có sự cố

• Hết bộ nhớ trong phút đầu: cơ sở fp16 cộng bộ tối ưu không vừa. Chuyển sang fp8, AdamW 8-bit hoặc Adafactor, checkpoint gradient, độ phân giải 768, lô 1. Nếu vẫn tràn, thuê card.
• LoRA thay đổi toàn bộ hình, không chỉ chủ đề: chú thích không mô tả nền và ánh sáng, nên trình huấn luyện học chúng như một phần của từ kích hoạt. Viết lại chú thích rõ bối cảnh và thay đổi dữ liệu.
• Khuôn mặt đúng ở trọng số 1.0 nhưng lời nhắc bị bỏ qua: huấn luyện quá mức. Dùng điểm kiểm tra trước đó. Lần chạy tiếp theo, giảm một nửa số bước hoặc hạ tốc độ học xuống 5e-5.
• Chỉ giống mơ hồ ở mọi trọng số: chưa huấn luyện đủ, hoặc dữ liệu quá đồng nhất. Thêm bước theo khối 500 bước, hoặc thêm hình với góc mới.
• LoRA không hoạt động trên Graydient: cơ sở không khớp. LoRA Flux.1 cần <flux-dev>; LoRA Flux 2 cần <flux2>. Cũng kiểm tra từ kích hoạt có trong lời nhắc không.
• Huấn luyện chạy nhưng rất chậm: tràn vào bộ nhớ hệ thống, hoặc dữ liệu trên ổ chậm. Sửa bộ nhớ như điểm đầu, lưu bộ nhớ đệm latents, và chuyển dữ liệu sang SSD.

Đó là toàn bộ phương pháp: một cơ sở, 20 hình sạch, chú thích trung thực, năm con số, một lần chạy, một lần kiểm tra. LoRA Flux đầu tiên của bạn sẽ không phải tốt nhất, và cái thứ hai mất nửa thời gian. Khi file tồn tại, đăng nhập vào Graydient hoặc so sánh gói và giá để tạo hình với nó bao nhiêu lần bạn muốn. Mỗi gói đều có bảo đảm hoàn tiền trong 7 ngày.

Câu hỏi

Xem các gói và giá