Comment entraîner un LoRA Flux (Flux.1 et Flux 2) : le guide débutant étape par étape

L'entraînement d'un LoRA Flux, c'est comment tu apprends au modèle d'image Flux quelque chose qu'il ne connaît pas : ton visage, ton produit, ton style de dessin, un rendu caméra. Le résultat est un fichier .safetensors de 20 à 300 Mo que tu peux utiliser dans n'importe quelle appli Flux, y compris Graydient. Le processus demande 15 à 30 photos, une carte avec 12 à 16 Go de mémoire (ou une louée pour une heure), et un formateur gratuit. Ce guide détaille chaque étape pour Flux.1 dev et Flux 2, et se termine par comment utiliser ton nouveau LoRA ici.

Tu feras sept choses : choisir la base Flux, créer un petit jeu de données, écrire les légendes, choisir un formateur, régler quelques paramètres, entraîner et tester, puis importer le fichier dans Graydient. Chaque étape est expliquée ci-dessous avec les valeurs qui fonctionnent pour la plupart. Si tu as déjà un fichier entraîné, passe à la section sur son utilisation.

Graydient utilise les LoRAs ; il ne les entraîne pas. L'entraînement se fait sur ta propre carte graphique, sur un GPU loué à l'heure, ou via un formateur en ligne. Une fois le fichier créé, tous les plans Graydient peuvent rendre avec pour un prix fixe.

Ce dont tu as besoin

• 15 à 30 bonnes photos d'un sujet, ou 30 à 60 pour un style. Les photos de téléphone conviennent si elles sont nettes et variées.
• Une carte graphique avec 12 à 16 Go de mémoire pour Flux.1 dev ou Flux 2 Klein 4B, ou 24 Go et plus pour Flux 2 dev. Pas de carte ? Loue-en une pour une heure (voir ci-dessous) ou utilise un formateur en ligne.
• Un formateur gratuit : AI Toolkit, Kohya sd-scripts (ou l'interface FluxGym dessus) ou OneTrainer. Tous fonctionnent sous Windows et Linux avec Python installé.
• Une à trois heures, la plupart du temps en attente. Un plan Graydient ne sert qu'à la fin, quand tu veux rendre avec le fichier. Compare plans et tarifs.

Étape 1 : choisir la base Flux pour l'entraînement

Un LoRA est lié au modèle de base sur lequel il a été entraîné, commence donc par la base avec laquelle tu veux rendre. La famille Flux a trois branches qui ne partagent pas les LoRAs :

La règle à retenir : les LoRAs Flux.1 ne fonctionnent pas sur Flux 2, les LoRAs Flux 2 ne fonctionnent pas sur Flux.1, et Klein 4B, Klein 9B et Flux 2 dev ont chacun leur propre LoRA. Krea 2 est un modèle différent, pas Flux. Si tu utilises plusieurs bases, entraîne une fois par base avec le même jeu de données.

Étape 2 : créer le jeu de données

Flux apprend vite avec des jeux de données petits et propres. La qualité prime sur la quantité ; 20 photos nettes et variées valent mieux que 80 quasi-duplicates.

1. Rassemble 15 à 30 photos pour une personne, un produit ou un objet. Change l'angle, la distance, la lumière et l'arrière-plan entre les prises. Inclue au moins un tiers de gros plans et un tiers de vues en pied ou produit complet.
2. Pour un style, rassemble 30 à 60 œuvres avec le même médium et qualité de trait mais sujets différents : personnes, lieux, objets. La variété indique au formateur que le sujet n'est pas le style.
3. Supprime le flou, la compression lourde, les filigranes, les textes superposés et toute personne qui n'est pas le sujet. Un visage parasite dans le set apparaîtra dans les rendus.
4. Résolution : 1024 pixels sur le côté long est la norme pour Flux. Garde les ratios d'aspect variés ; chaque formateur les trie automatiquement. Ne déforme pas les images en carrés.
5. Mets les images dans un dossier avec un fichier texte à côté de chaque image portant le même nom. La légende va dans le fichier texte : dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

Étape 3 : écrire les légendes

Flux lit des phrases naturelles via son encodeur texte T5, donc les légendes sont des descriptions simples, pas des listes de mots-clés. Les légendes décident ce que le LoRA apprend et ce qu'il ignore :

• Pour un sujet, commence par un mot déclencheur qui n'est pas un vrai mot, puis décris tout ce qui n'est pas le sujet : vêtements, pose, lieu, lumière. Le formateur apprend que le mot déclencheur est la partie que la légende n'explique pas.
• Pour un style, décris le contenu de chaque image et jamais le style. Le style est ce que le LoRA apprend par omission, et il l'appliquera à tout sujet que tu prompts.
• Garde les légendes à une ou deux phrases. Auto-légende avec Florence-2 ou JoyCaption si tu as plus de 30 images, puis lis et corrige les dix premières à la main.
• N'utilise pas le vrai nom d'une personne comme mot déclencheur, et ne légende pas ce qui n'est pas dans l'image.

Une légende pour un LoRA sujet personne : ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

Une légende pour un LoRA style, où le style est volontairement non mentionné : a fishing boat in a harbour at dawn, two men on the pier, fog over the water

Étape 4 : choisir un formateur

Quatre formateurs gratuits et open-source couvrent toutes les bases Flux. Ils prennent tous le même dossier de jeu de données et produisent le même type de fichier .safetensors :

• AI Toolkit (par ostris) : le formateur Flux le plus utilisé. Un fichier YAML de configuration par session, une interface web, modes basse VRAM, et support pour Flux.1 dev, Flux 2 dev et Flux 2 Klein. Lance la session avec python run.py config/my_flux_lora.yaml. Le meilleur premier choix.
• Kohya sd-scripts et FluxGym : Kohya est le formateur vétéran derrière la plupart des LoRAs Stable Diffusion et a une branche Flux. FluxGym est une interface web d'une page au-dessus avec des presets 12, 16 et 20 Go. Pratique quand tu veux un formulaire à remplir, pas un fichier à éditer.
• OneTrainer : une application desktop avec une interface conviviale pour SDXL et Flux.1. Choisis-le si tu entraînes aussi des LoRAs SDXL et veux un seul outil.
• Formateurs en ligne : le formateur sur site de Civitai et les formateurs Flux sur des sites d'hébergement GPU prennent un zip d'images et renvoient un fichier. Ils coûtent des crédits par session et cachent les réglages, mais tu n'as pas besoin de carte du tout. Le fichier produit s'importe dans Graydient de la même façon.

Étape 5 : régler les cinq chiffres importants

Chaque formateur expose des dizaines d'options. Laisse les valeurs par défaut sauf celles-ci, qui décident de la force, de la généralité et de la taille du LoRA :

Configure le formateur pour sauvegarder un checkpoint toutes les 250 étapes et rendre deux images d'exemple à chaque sauvegarde, avec le même prompt et la même graine. Ces exemples servent à choisir le gagnant. Flux.1 dev et Flux 2 dev sont distillés par guidance ; les formateurs gèrent ça pour toi, donc laisse le réglage de guidance par défaut.

Étape 6 : entraînement

1. Lance l'entraînement et surveille la mémoire pendant la première minute. Si elle remplit la carte et déborde dans la mémoire système, arrête : l'entraînement prendra dix fois plus de temps et peut planter.
2. Si la mémoire déborde, passe la base en fp8, active le checkpointing de gradient, utilise l'optimiseur AdamW 8 bits ou Adafactor, baisse la résolution à 768, et garde la taille du lot à 1. Chacun de ces points libère plusieurs gigaoctets.
3. Une fois que ça tourne bien, ne touche plus à rien. Flux.1 dev prend une à deux heures pour 1500 étapes sur une carte 16 GB ; Klein 4B est plus rapide ; Flux 2 dev prend environ une heure sur une carte 48 GB louée.
4. Regarde les images d'exemple au fur et à mesure qu'elles apparaissent. Le sujet apparaît généralement vers l'étape 500 et est solide à 1000. S'il est parfait à 750, tu peux arrêter plus tôt.

L'entraînement est lent et bruyant, pas fragile. Un run qui tient la première minute finit presque toujours. Mets en cache les latents et embeddings texte avant l'entraînement si ton formateur le propose ; ça économise mémoire et temps à chaque run.

Étape 7 : test et choix du bon checkpoint

Le dernier checkpoint est rarement le meilleur. Les LoRAs surentraînés copient les arrière-plans du dataset, brûlent le contraste et ignorent les prompts. Teste-les tous :

• Écris quatre prompts que le dataset ne contient pas : un nouvel endroit, une nouvelle tenue, une lumière différente, un médium différent. Fixe la graine.
• Rends chaque checkpoint sauvegardé avec les quatre prompts aux poids LoRA 0.6, 0.8 et 1.0.
• Choisis le checkpoint le plus tôt qui réussit le sujet et suit encore les nouveaux prompts. Les plus tardifs sont souvent trop cuits ; les plus précoces sont vagues.
• Renomme le gagnant avec un nom que tu reconnaîtras dans une bibliothèque dans un an, comme le sujet et la base : mon-flux-lora, pas lora_000750.

Pas de carte graphique ? Loue-en une pour une heure

L'entraînement Flux 2 dev, ou tout entraînement Flux sur un portable, est moins cher sur une carte louée que sur ton propre temps. Une carte 24 ou 48 GB coûte bien moins qu'un café par heure sur les places de marché GPU, et un Flux LoRA prend une à deux heures.

• Loue une machine avec une carte 24 GB pour Flux.1 dev ou Klein, 48 GB pour Flux 2 dev. Choisis un template avec le formateur préinstallé si le marketplace en propose ; les templates AI Toolkit sont courants.
• Upload le dossier dataset, lance les mêmes réglages que ci-dessus, et télécharge les checkpoints que tu veux tester. Le dataset et les poids restent à toi.
• Arrête la machine quand le téléchargement est fini. Le tout, y compris l'installation, prend généralement moins de deux heures de location.

Utilise ton Flux LoRA sur Graydient

Graydient n'a pas besoin du fichier sur ton ordinateur pour rendre avec. Mets-le où Graydient peut le récupérer et importe le lien :

1. Upload le fichier .safetensors dans un dépôt de ton compte Hugging Face (public ou privé), ou publie-le sur Civitai avec le modèle de base réglé sur la version Flux que tu as entraînée.
2. se connecter à Graydient, ouvre Model Import depuis ta bibliothèque du tableau de bord, et colle le lien direct du fichier depuis Hugging Face ou le lien de la page Civitai. Les étapes complètes sont dans comment importer des modèles Civitai sur Graydient.
3. Attends que le LoRA apparaisse dans ta bibliothèque et copie le ShortCode que Graydient lui a donné.
4. Rends avec le tag LoRA et la base correspondante dans n'importe quelle app Graydient : <lora:my-flux-lora:0.8> <flux-dev> pour un LoRA Flux.1, ou <lora:my-flux2-lora:0.8> <flux2> pour un LoRA Flux 2. Toutes les apps, poids et règles d'empilement sont dans le guide débutant pour Flux et Flux 2 LoRAs sur Graydient.

Un rendu complet pour Telegram ou Discord, avec le mot déclencheur en premier et le LoRA à 0.8 sur la base Flux dev : /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

Licences : ce que tu peux faire avec le LoRA

Un LoRA est un dérivé de son modèle de base, donc la licence de base s'applique. Vérifie le texte de licence actuel sur la page du modèle avant de vendre des rendus ou le fichier :

• Flux.1 dev et Flux 2 dev sont sous licence non commerciale de Black Forest Labs. Les projets personnels et la recherche sont autorisés ; l'usage commercial nécessite leur licence commerciale.
• Flux 2 Klein 4B (et son checkpoint Base) est sous Apache 2.0, donc les LoRAs entraînés dessus n'ont pas de restriction liée au modèle de base. Klein 9B est sous licence non commerciale.
• Les images de ton dataset ont leurs propres droits. Entraîne-toi sur des photos que tu as prises ou possèdes, et jamais sur une personne réelle sans son consentement.

Si quelque chose tourne mal

• Manque de mémoire dans la première minute : la base en fp16 plus l'optimiseur ne tiennent pas. Passe en fp8, AdamW 8 bits ou Adafactor, checkpointing de gradient, résolution 768, lot 1. Si ça déborde encore, loue une carte.
• Le LoRA change toute l'image, pas juste le sujet : les légendes ne décrivaient pas l'arrière-plan et la lumière, donc le formateur les a appris comme partie du mot déclencheur. Refais les légendes avec le contexte clair et varie le dataset.
• Le visage est bon à poids 1.0 mais les prompts sont ignorés : surentraînement. Utilise un checkpoint plus tôt. Au prochain run, divise les étapes par deux ou baisse le taux d'apprentissage à 5e-5.
• Ressemblance vague à n'importe quel poids : sous-entraînement, ou dataset trop uniforme. Ajoute des étapes par blocs de 500, ou ajoute des images avec de nouveaux angles.
• Le LoRA ne fait rien sur Graydient : la base ne correspond pas. Un LoRA Flux.1 a besoin de <flux-dev> ; un LoRA Flux 2 a besoin de <flux2>. Vérifie aussi que le mot déclencheur est dans le prompt.
• L'entraînement tourne mais est très lent : il déborde dans la mémoire système, ou le dataset est sur un disque lent. Corrige la mémoire comme au premier point, mets en cache les latents, et déplace le dataset sur un SSD.

Voilà toute la méthode : une base, 20 images propres, des légendes honnêtes, cinq chiffres, un run, un test. Ton premier Flux LoRA ne sera pas le meilleur, et le deuxième prend la moitié du temps. Quand le fichier existe, se connecter à Graydient ou compare plans et tarifs pour rendre avec autant de fois que tu veux. Chaque plan inclut une garantie satisfait ou remboursé de 7 jours.

Questions

Voir les plans et tarifs