Flux LoRA (Flux.1 और Flux 2) कैसे ट्रेन करें: शुरुआती के लिए चरण-दर-चरण गाइड

Flux LoRA ट्रेनिंग वह तरीका है जिससे आप Flux इमेज मॉडल को कुछ नया सिखाते हैं: आपका चेहरा, आपका उत्पाद, आपकी ड्राइंग शैली, या कैमरा लुक। परिणाम एक .safetensors फाइल होती है जो 20 से 300 MB तक हो सकती है और जिसे आप किसी भी Flux ऐप में इस्तेमाल कर सकते हैं, जिसमें Graydient भी शामिल है। प्रक्रिया में 15 से 30 तस्वीरें, 12 से 16 GB मेमोरी वाला कार्ड (या एक घंटे के लिए किराए पर लिया गया कार्ड), और एक मुफ्त ट्रेनर चाहिए। यह गाइड Flux.1 dev और Flux 2 दोनों के लिए हर स्टेप को समझाता है और अंत में बताता है कि नई LoRA को यहां कैसे चलाएं।

आप सात काम करेंगे: Flux बेस चुनना, एक छोटा डेटासेट बनाना, कैप्शन लिखना, ट्रेनर चुनना, कुछ सेटिंग्स सेट करना, ट्रेन और टेस्ट करना, फिर फाइल को Graydient में इम्पोर्ट करना। हर स्टेप नीचे लिखा है जिसमें अधिकांश लोगों के लिए काम करने वाले मान शामिल हैं। अगर आपके पास पहले से ट्रेन की हुई फाइल है, तो उसे इस्तेमाल करने वाले सेक्शन पर जाएं।

Graydient LoRA चलाता है; यह उन्हें ट्रेन नहीं करता। ट्रेनिंग आपके अपने ग्राफिक्स कार्ड पर, घंटे के हिसाब से किराए पर लिए गए GPU पर, या ऑनलाइन ट्रेनर में होती है। फाइल बनने के बाद, हर Graydient प्लान इसे एक फिक्स्ड कीमत पर रेंडर कर सकता है।

आपको क्या चाहिए

• एक विषय की 15 से 30 अच्छी तस्वीरें, या एक स्टाइल के लिए 30 से 60। फोन से ली गई तस्वीरें ठीक हैं अगर वे साफ और विविध हों।
• Flux.1 dev या Flux 2 Klein 4B के लिए 12 से 16 GB मेमोरी वाला ग्राफिक्स कार्ड, या Flux 2 dev के लिए 24 GB या उससे अधिक। कार्ड नहीं है? एक घंटे के लिए किराए पर लें (नीचे देखें) या ऑनलाइन ट्रेनर का उपयोग करें।
• एक मुफ्त ट्रेनर: AI Toolkit, Kohya sd-scripts (या इसके ऊपर FluxGym इंटरफेस) या OneTrainer। ये सभी Windows और Linux पर Python के साथ चलते हैं।
• एक से तीन घंटे, ज्यादातर इंतजार में। Graydient प्लान केवल अंत में मायने रखता है, जब आप फाइल से रेंडर करना चाहते हैं। तुलना करें योजनाएं और मूल्य निर्धारण।

चरण 1: ट्रेनिंग के लिए Flux बेस चुनें

एक LoRA उस बेस मॉडल से जुड़ा होता है जिस पर उसे ट्रेन किया गया है, इसलिए उस बेस से शुरू करें जिससे आप रेंडर करना चाहते हैं। Flux परिवार के तीन शाखाएं हैं जो LoRA साझा नहीं करतीं:

याद रखने का नियम: Flux.1 LoRA Flux 2 पर काम नहीं करते, Flux 2 LoRA Flux.1 पर काम नहीं करते, और Klein 4B, Klein 9B और Flux 2 dev को अपनी-अपनी LoRA चाहिए। Krea 2 अलग मॉडल है, Flux नहीं। अगर आप कई बेस इस्तेमाल करते हैं, तो एक ही डेटासेट से हर बेस के लिए अलग ट्रेनिंग करें।

चरण 2: डेटासेट बनाएं

Flux छोटे, साफ डेटासेट से जल्दी सीखता है। गुणवत्ता संख्या से बेहतर है; 20 साफ और विविध तस्वीरें 80 लगभग समान तस्वीरों से बेहतर हैं।

1. किसी व्यक्ति, उत्पाद या वस्तु के लिए 15 से 30 तस्वीरें इकट्ठा करें। कोण, दूरी, रोशनी और पृष्ठभूमि बदलें। कम से कम एक तिहाई क्लोज़-अप और एक तिहाई पूरे शरीर या पूरे उत्पाद की तस्वीरें शामिल करें।
2. एक स्टाइल के लिए, एक ही माध्यम और लाइन क्वालिटी के साथ 30 से 60 कार्य इकट्ठा करें लेकिन विषय अलग हों: लोग, जगहें, वस्तुएं। विविधता ट्रेनर को बताती है कि विषय स्टाइल नहीं है।
3. धुंधलापन, भारी संपीड़न, वॉटरमार्क, टेक्स्ट ओवरले और जो विषय नहीं हैं उन्हें हटा दें। सेट में एक भी अनचाहा चेहरा रेंडर में दिखेगा।
4. रिज़ॉल्यूशन: Flux के लिए लंबी साइड पर 1024 पिक्सल मानक है। पहलू अनुपात मिश्रित रखें; हर ट्रेनर उन्हें स्वचालित रूप से वर्गीकृत करता है। तस्वीरों को चौकोर बनाने के लिए खींचें नहीं।
5. तस्वीरों को एक फ़ोल्डर में रखें और हर तस्वीर के साथ एक टेक्स्ट फ़ाइल हो जिसका नाम तस्वीर के नाम जैसा ही हो। कैप्शन टेक्स्ट फ़ाइल में जाए: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

चरण 3: कैप्शन लिखें

Flux अपने T5 टेक्स्ट एन्कोडर के माध्यम से प्राकृतिक वाक्य पढ़ता है, इसलिए कैप्शन साधारण विवरण होते हैं, कीवर्ड सूची नहीं। कैप्शन तय करते हैं कि LoRA क्या सीखता है और क्या छोड़ता है:

• किसी विषय के लिए, एक ट्रिगर शब्द से शुरू करें जो असली शब्द न हो, फिर विषय के अलावा सब कुछ वर्णित करें: कपड़े, पोज़, जगह, रोशनी। ट्रेनर सीखता है कि ट्रिगर शब्द वह हिस्सा है जिसे कैप्शन नहीं बताता।
• एक स्टाइल के लिए, हर तस्वीर की सामग्री का वर्णन करें और स्टाइल का कभी उल्लेख न करें। स्टाइल LoRA द्वारा छूट के माध्यम से सीखा जाता है, और फिर यह किसी भी विषय पर लागू होगा जिसे आप प्रॉम्प्ट करते हैं।
• कैप्शन एक या दो वाक्य तक रखें। अगर 30 से अधिक तस्वीरें हैं तो Florence-2 या JoyCaption से ऑटो-कैप्शन करें, फिर पहले दस को हाथ से पढ़ें और ठीक करें।
• ट्रिगर शब्द के रूप में किसी असली व्यक्ति का नाम न इस्तेमाल करें, और ऐसी चीज़ों का कैप्शन न करें जो तस्वीर में न हों।

किसी व्यक्ति LoRA के लिए विषय कैप्शन: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

एक स्टाइल LoRA के लिए कैप्शन, जहां स्टाइल जानबूझकर नहीं बताया गया: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

चरण 4: एक ट्रेनर चुनें

चार मुफ्त, ओपन-सोर्स ट्रेनर हर Flux बेस को कवर करते हैं। ये सभी एक ही डेटासेट फ़ोल्डर लेते हैं और एक ही तरह की .safetensors फाइल बनाते हैं:

• AI Toolkit (ostris द्वारा): सबसे ज्यादा इस्तेमाल किया जाने वाला Flux ट्रेनर। हर रन के लिए एक YAML कॉन्फ़िगरेशन फाइल, वेब इंटरफेस, कम VRAM मोड, और Flux.1 dev, Flux 2 dev और Flux 2 Klein सपोर्ट। रन शुरू करने के लिए python run.py config/my_flux_lora.yaml। सबसे अच्छा पहला विकल्प।
• Kohya sd-scripts और FluxGym: Kohya Stable Diffusion LoRA के पीछे अनुभवी ट्रेनर है और इसका Flux ब्रांच है। FluxGym इसके ऊपर एक पेज का वेब इंटरफेस है जिसमें 12, 16 और 20 GB प्रीसेट हैं। जब आप फॉर्म भरना चाहते हैं, फाइल एडिट नहीं, तब अच्छा।
• OneTrainer: SDXL और Flux.1 के लिए एक डेस्कटॉप एप्लिकेशन जिसमें दोस्ताना इंटरफेस है। अगर आप SDXL LoRA भी ट्रेन करते हैं और एक टूल चाहते हैं तो चुनें।
• ऑनलाइन ट्रेनर: Civitai का ऑन-साइट ट्रेनर और GPU होस्टिंग साइट्स के Flux ट्रेनर तस्वीरों का ज़िप लेते हैं और फाइल लौटाते हैं। ये रन के लिए क्रेडिट लेते हैं और सेटिंग्स छुपाते हैं, लेकिन आपको कार्ड की जरूरत नहीं। ये फाइल Graydient में वैसे ही इम्पोर्ट होती है।

चरण 5: पांच महत्वपूर्ण नंबर सेट करें

हर ट्रेनर दर्जनों विकल्प दिखाता है। डिफ़ॉल्ट छोड़ दें सिवाय इन के, जो तय करते हैं कि LoRA कितना मजबूत, कितना सामान्य और कितना बड़ा होगा:

ट्रेनर को हर 250 स्टेप पर चेकपॉइंट सेव करने और हर सेव पर दो सैंपल तस्वीरें रेंडर करने के लिए सेट करें, एक ही प्रॉम्प्ट और सीड के साथ। ये सैंपल्स विजेता चुनने में मदद करेंगे। Flux.1 dev और Flux 2 dev गाइडेंस-डिस्टिल्ड हैं; ट्रेनर इसे आपके लिए संभालते हैं, इसलिए गाइडेंस सेटिंग को डिफ़ॉल्ट पर ही छोड़ दें।

चरण 6: ट्रेनिंग

1. रन शुरू करें और पहले मिनट के लिए मेमोरी देखें। अगर यह कार्ड भर देता है और सिस्टम मेमोरी में चला जाता है, तो रोकें: ट्रेनिंग दस गुना धीमी होगी और क्रैश हो सकती है।
2. अगर मेमोरी फैलती है, तो बेस को fp8 पर स्विच करें, ग्रेडिएंट चेकपॉइंटिंग चालू करें, 8-बिट AdamW या Adafactor ऑप्टिमाइज़र का उपयोग करें, रिज़ॉल्यूशन 768 पर गिराएं, और बैच 1 रखें। इनमें से कोई भी एक गीगाबाइट्स मुक्त करता है।
3. जब यह साफ़ चले, तो इसे वैसे ही छोड़ दें। Flux.1 dev 16 GB कार्ड पर 1500 स्टेप्स के लिए एक से दो घंटे लेता है; Klein 4B तेज़ है; Flux 2 dev किराए पर लिए गए 48 GB कार्ड पर लगभग एक घंटा लेता है।
4. जैसे ही सैंपल तस्वीरें आती हैं, उन्हें देखें। विषय आमतौर पर 500 स्टेप पर दिखने लगता है और 1000 पर ठोस होता है। अगर 750 पर यह परफेक्ट हो, तो आप जल्दी रोक सकते हैं।

ट्रेनिंग धीमी और शोरगुल वाली होती है, न कि नाजुक। जो रन पहले मिनट में बच जाता है, वह लगभग हमेशा पूरा होता है। अगर आपका ट्रेनर ऑफर करता है तो ट्रेनिंग से पहले लेटेंट्स और टेक्स्ट एम्बेडिंग्स कैश करें; यह हर रन पर मेमोरी और समय बचाता है।

चरण 7: टेस्ट करें और सही चेकपॉइंट चुनें

अंतिम चेकपॉइंट आमतौर पर सबसे अच्छा नहीं होता। ओवरट्रेंड LoRAs डेटासेट के बैकग्राउंड्स की नकल करते हैं, कंट्रास्ट जलाते हैं और प्रॉम्प्ट्स सुनना बंद कर देते हैं। सभी को टेस्ट करें:

• चार प्रॉम्प्ट लिखें जो डेटासेट में नहीं हैं: एक नया स्थान, एक नया आउटफिट, अलग रोशनी, अलग माध्यम। सीड फिक्स करें।
• हर सेव्ड चेकपॉइंट को चार प्रॉम्प्ट्स के साथ LoRA वेट्स 0.6, 0.8 और 1.0 पर रेंडर करें।
• सबसे पहले चेकपॉइंट चुनें जो विषय को सही पकड़े और नए प्रॉम्प्ट्स का पालन करे। बाद वाले आमतौर पर ओवरकुक्ड होते हैं; पहले वाले अस्पष्ट।
• विजेता को ऐसा नाम दें जिसे आप एक साल बाद लाइब्रेरी में पहचान सकें, जैसे विषय और बेस: my-flux-lora, न कि lora_000750।

कोई ग्राफिक्स कार्ड नहीं? एक घंटे के लिए किराए पर लें

Flux 2 dev ट्रेनिंग, या लैपटॉप पर कोई भी Flux ट्रेनिंग, आपके अपने समय की तुलना में किराए पर कार्ड पर सस्ती होती है। 24 या 48 GB कार्ड GPU किराए के बाजारों पर प्रति घंटे कॉफी की कीमत से काफी कम में मिलता है, और एक Flux LoRA को एक से दो घंटे चाहिए।

• Flux.1 dev या Klein के लिए 24 GB कार्ड वाला मशीन किराए पर लें, Flux 2 dev के लिए 48 GB। जब मार्केटप्लेस उपलब्ध कराए तो ट्रेनर प्रीइंस्टॉल्ड टेम्पलेट चुनें; AI Toolkit टेम्पलेट आम हैं।
• डेटासेट फ़ोल्डर अपलोड करें, ऊपर दिए सेटिंग्स चलाएं, और टेस्ट करने के लिए चेकपॉइंट डाउनलोड करें। डेटासेट और वेट्स आपके ही रहते हैं।
• डाउनलोड खत्म होते ही मशीन बंद करें। पूरा काम, सेटअप सहित, आमतौर पर दो घंटे से कम किराए में होता है।

अपने Flux LoRA को Graydient पर इस्तेमाल करें

Graydient को रेंडर करने के लिए आपके कंप्यूटर पर फाइल की जरूरत नहीं है। इसे ऐसे जगह रखें जहां Graydient इसे ले सके और लिंक इम्पोर्ट करें:

1. .safetensors फाइल को अपने Hugging Face अकाउंट के रिपॉजिटरी में अपलोड करें (पब्लिक या प्राइवेट), या Civitai पर प्रकाशित करें जिसमें बेस मॉडल वह Flux वर्शन हो जिस पर आपने ट्रेनिंग की हो।
2. Graydient में लॉग इन करें, अपने डैशबोर्ड लाइब्रेरी से Model Import खोलें, और Hugging Face या Civitai पेज से डायरेक्ट फाइल लिंक पेस्ट करें। पूरी प्रक्रिया Graydient पर Civitai मॉडल कैसे आयात करें में है।
3. लाइब्रेरी में LoRA दिखने का इंतजार करें और Graydient द्वारा दिया गया ShortCode कॉपी करें।
4. किसी भी Graydient ऐप में LoRA टैग और मेल खाते बेस के साथ रेंडर करें: Flux.1 LoRA के लिए <lora:my-flux-lora:0.8> <flux-dev>, या Flux 2 LoRA के लिए <lora:my-flux2-lora:0.8> <flux2>। हर ऐप, वेट और स्टैकिंग नियम Graydient पर Flux और Flux 2 LoRAs के लिए शुरुआती गाइड में हैं।

Telegram या Discord के लिए एक पूरा पहला रेंडर, ट्रिगर शब्द पहले और LoRA 0.8 पर Flux dev बेस के साथ: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

लाइसेंस: LoRA के साथ आप क्या कर सकते हैं

LoRA अपने बेस मॉडल का डेरिवेटिव होता है, इसलिए बेस लाइसेंस उसके साथ चलता है। रेंडर या फाइल बेचने से पहले मॉडल पेज पर वर्तमान लाइसेंस टेक्स्ट जांचें:

• Flux.1 dev और Flux 2 dev Black Forest Labs के नॉन-कमर्शियल लाइसेंस के तहत जारी हैं। व्यक्तिगत प्रोजेक्ट्स और रिसर्च ठीक हैं; व्यावसायिक उपयोग के लिए उनका कमर्शियल लाइसेंस चाहिए।
• Flux 2 Klein 4B (और उसका बेस चेकपॉइंट) Apache 2.0 के तहत है, इसलिए इस पर ट्रेन किए LoRAs पर कोई बेस-मॉडल प्रतिबंध नहीं है। Klein 9B नॉन-कमर्शियल लाइसेंस के तहत है।
• आपके डेटासेट की तस्वीरों के अपने अधिकार होते हैं। केवल अपनी ली या अपने पास मौजूद तस्वीरों पर ट्रेन करें, और बिना सहमति के किसी असली व्यक्ति पर कभी नहीं।

अगर कुछ गलत हो जाए

• पहले मिनट में मेमोरी खत्म हो जाए: बेस fp16 में और ऑप्टिमाइज़र फिट नहीं होता। fp8, 8-बिट AdamW या Adafactor, ग्रेडिएंट चेकपॉइंटिंग, रिज़ॉल्यूशन 768, बैच 1 पर स्विच करें। अगर फिर भी फैलता है, तो कार्ड किराए पर लें।
• LoRA पूरी तस्वीर बदल देता है, सिर्फ विषय नहीं: कैप्शन ने बैकग्राउंड और लाइट का वर्णन नहीं किया, इसलिए ट्रेनर ने उन्हें ट्रिगर शब्द का हिस्सा समझ लिया। संदर्भ स्पष्ट करते हुए फिर से कैप्शन करें और डेटासेट में विविधता लाएं।
• चेहरा सही है वेट 1.0 पर लेकिन प्रॉम्प्ट्स अनसुने हैं: ओवरट्रेंड। पहले चेकपॉइंट का उपयोग करें। अगली बार रन में स्टेप्स आधे करें या लर्निंग रेट 5e-5 तक घटाएं।
• किसी भी वेट पर केवल अस्पष्ट समानता: अंडरट्रेंड या डेटासेट बहुत समान है। 500 स्टेप ब्लॉक्स में स्टेप्स बढ़ाएं, या नए एंगल वाली तस्वीरें जोड़ें।
• Graydient पर LoRA कुछ नहीं करता: बेस मेल नहीं खाता। Flux.1 LoRA को <flux-dev> चाहिए; Flux 2 LoRA को <flux2> चाहिए। यह भी जांचें कि ट्रिगर शब्द प्रॉम्प्ट में है।
• ट्रेनिंग चल रही है लेकिन बहुत धीमी है: यह सिस्टम मेमोरी में फैल गई है, या डेटासेट धीमी ड्राइव पर है। पहले पॉइंट की तरह मेमोरी ठीक करें, लेटेंट्स कैश करें, और डेटासेट SSD पर ले जाएं।

यह पूरी विधि है: एक बेस, 20 साफ तस्वीरें, ईमानदार कैप्शन, पांच नंबर, एक रन, एक टेस्ट। आपकी पहली Flux LoRA आपकी सबसे अच्छी नहीं होगी, और दूसरी आधा समय लेगी। जब फाइल मौजूद हो, तो Graydient में लॉग इन करें करें या योजनाएं और मूल्य निर्धारण की तुलना करें और इसे जितनी बार चाहें रेंडर करें। हर प्लान में 7 दिन की मनी-बैक गारंटी शामिल है।

प्रश्न

योजनाएँ और मूल्य देखें