Como treinar um Flux LoRA (Flux.1 e Flux 2): o guia passo a passo para iniciantes

O treinamento de Flux LoRA é como você ensina ao modelo de imagem Flux algo que ele não sabe: seu rosto, seu produto, seu estilo de desenho, um visual de câmera. O resultado é um arquivo .safetensors de 20 a 300 MB que você pode usar em qualquer app Flux, incluindo o Graydient. O processo leva de 15 a 30 fotos, uma placa com 12 a 16 GB de memória (ou uma alugada por uma hora) e um treinador gratuito. Este guia passa por cada passo para Flux.1 dev e para Flux 2, e termina com como usar seu novo LoRA aqui.

Você fará sete coisas: escolher a base Flux, montar um pequeno conjunto de dados, escrever legendas, escolher um treinador, definir alguns números, treinar e testar, e depois importar o arquivo para o Graydient. Cada passo está descrito abaixo com os valores que funcionam para a maioria das pessoas. Se você já tem um arquivo treinado, pule para a seção de uso.

O Graydient roda LoRAs; ele não os treina. O treinamento acontece na sua própria placa gráfica, numa GPU alugada por hora, ou num treinador online. Uma vez que o arquivo existe, todo plano Graydient pode renderizar com ele por um preço fixo.

O que você precisa

• 15 a 30 boas fotos de um assunto, ou 30 a 60 para um estilo. Fotos de celular servem se estiverem nítidas e variadas.
• Uma placa gráfica com 12 a 16 GB de memória para Flux.1 dev ou Flux 2 Klein 4B, ou 24 GB ou mais para Flux 2 dev. Sem placa? Alugue uma por uma hora (veja abaixo) ou use um treinador online.
• Um treinador gratuito: AI Toolkit, Kohya sd-scripts (ou a interface FluxGym por cima) ou OneTrainer. Todos rodam no Windows e Linux com Python instalado.
• De uma a três horas, a maior parte esperando. Um plano Graydient só importa no final, quando quiser renderizar com o arquivo. Compare planos e preços.

Passo 1: escolha a base Flux para treinar

Um LoRA está ligado ao modelo base em que foi treinado, então comece com a base que quer usar para renderizar. A família Flux tem três ramos que não compartilham LoRAs:

A regra para lembrar: LoRAs Flux.1 não funcionam no Flux 2, LoRAs Flux 2 não funcionam no Flux.1, e Klein 4B, Klein 9B e Flux 2 dev precisam de seus próprios LoRAs. Krea 2 é um modelo diferente, não Flux. Se usar várias bases, treine uma vez por base com o mesmo conjunto de dados.

Passo 2: monte o conjunto de dados

Flux aprende rápido com conjuntos de dados pequenos e limpos. Qualidade vale mais que quantidade; 20 fotos nítidas e variadas valem mais que 80 quase duplicadas.

1. Colete 15 a 30 fotos para uma pessoa, produto ou objeto. Mude o ângulo, a distância, a iluminação e o fundo entre as fotos. Inclua pelo menos um terço de close-ups e um terço de corpo inteiro ou produto inteiro.
2. Para um estilo, colecione 30 a 60 obras com o mesmo meio e qualidade de linha, mas assuntos diferentes: pessoas, lugares, objetos. A variedade é o que diz ao treinador que o assunto não é o estilo.
3. Remova borrões, compressão pesada, marcas d’água, textos sobrepostos e qualquer pessoa que não seja o assunto. Um rosto estranho no conjunto aparecerá nas renderizações.
4. Resolução: 1024 pixels no lado maior é o padrão para Flux. Mantenha proporções variadas; todo treinador as agrupa automaticamente. Não estique as fotos para quadrados.
5. Coloque as fotos numa pasta com um arquivo de texto ao lado de cada foto com o mesmo nome. A legenda vai no arquivo de texto: dataset/01.jpg dataset/01.txt dataset/02.jpg dataset/02.txt

Passo 3: escreva as legendas

Flux lê frases naturais pelo seu codificador de texto T5, então legendas são descrições simples, não listas de palavras-chave. As legendas decidem o que o LoRA aprende e o que deixa de lado:

• Para um assunto, comece com uma palavra gatilho que não seja uma palavra real, depois descreva tudo que não é o assunto: roupas, pose, lugar, luz. O treinador aprende que a palavra gatilho é a parte que a legenda não explica.
• Para um estilo, descreva o conteúdo de cada foto e nunca o estilo. O estilo é o que o LoRA aprende por omissão, e ele aplicará a qualquer assunto que você pedir.
• Mantenha as legendas em uma ou duas frases. Use Florence-2 ou JoyCaption para legendas automáticas se tiver mais de 30 fotos, depois leia e corrija as dez primeiras manualmente.
• Não use o nome real de uma pessoa como palavra gatilho, e não coloque legendas de coisas que não estão na foto.

Uma legenda para um LoRA de pessoa: ohwx woman, wearing a grey wool coat, standing on a stone bridge, overcast daylight, looking at the camera

Uma legenda para um LoRA de estilo, onde o estilo é deliberadamente não mencionado: a fishing boat in a harbour at dawn, two men on the pier, fog over the water

Passo 4: escolha um treinador

Quatro treinadores gratuitos e open-source cobrem todas as bases Flux. Todos usam a mesma pasta de conjunto de dados e produzem o mesmo tipo de arquivo .safetensors:

• AI Toolkit (por ostris): o treinador Flux mais usado. Um arquivo YAML de configuração por execução, interface web, modos de baixo VRAM e suporte para Flux.1 dev, Flux 2 dev e Flux 2 Klein. Comece a execução com python run.py config/my_flux_lora.yaml. A melhor escolha inicial.
• Kohya sd-scripts e FluxGym: Kohya é o treinador veterano por trás da maioria dos LoRAs Stable Diffusion e tem um ramo Flux. FluxGym é uma interface web de uma página por cima com presets de 12, 16 e 20 GB. Bom quando quer um formulário para preencher, não um arquivo para editar.
• OneTrainer: um aplicativo desktop com interface amigável para SDXL e Flux.1. Escolha se também treina LoRAs SDXL e quer uma ferramenta só.
• Treinadores online: o treinador no site da Civitai e os treinadores Flux em sites de hospedagem GPU aceitam um zip de fotos e devolvem um arquivo. Custam créditos por execução e escondem as configurações, mas você não precisa de placa alguma. O arquivo que produzem importa no Graydient da mesma forma.

Passo 5: defina os cinco números que importam

Cada treinador tem dezenas de opções. Deixe as padrões, exceto estas, que decidem quão forte, geral e grande o LoRA será:

Configure o treinador para salvar um checkpoint a cada 250 passos e renderizar duas imagens de amostra a cada salvamento, com o mesmo prompt e seed. Essas amostras são como você escolherá o vencedor. Flux.1 dev e Flux 2 dev são guidance-distilled; os treinadores cuidam disso para você, então deixe a configuração de guidance no padrão.

Passo 6: treinar

1. Inicie a execução e observe a memória no primeiro minuto. Se ela encher a placa e passar para a memória do sistema, pare: o treinamento vai demorar dez vezes mais e pode travar.
2. Se a memória vazar, mude a base para fp8, ative o gradient checkpointing, use o otimizador AdamW ou Adafactor de 8 bits, reduza a resolução para 768 e mantenha o lote em 1. Qualquer uma dessas ações libera gigabytes.
3. Quando rodar sem problemas, deixe-o tranquilo. Flux.1 dev leva uma a duas horas para 1500 passos em uma placa de 16 GB; Klein 4B é mais rápido; Flux 2 dev leva cerca de uma hora em uma placa alugada de 48 GB.
4. Observe as imagens de amostra conforme aparecem. O assunto geralmente aparece no passo 500 e fica sólido no 1000. Se estiver perfeito no 750, você pode parar antes.

O treinamento é lento e ruidoso, não frágil. Uma execução que passa o primeiro minuto quase sempre termina. Faça cache dos latentes e embeddings de texto antes do treinamento se seu treinador oferecer; isso economiza memória e tempo em cada execução.

Passo 7: testar e escolher o checkpoint certo

O último checkpoint raramente é o melhor. LoRAs sobretreinados copiam os fundos do conjunto de dados, queimam o contraste e param de responder aos prompts. Teste todos:

• Escreva quatro prompts que o conjunto de dados não contenha: um lugar novo, uma roupa nova, uma luz diferente, um meio diferente. Fixe a seed.
• Renderize cada checkpoint salvo com os quatro prompts nos pesos LoRA 0.6, 0.8 e 1.0.
• Escolha o checkpoint mais cedo que acerte o assunto e ainda siga os novos prompts. Os posteriores geralmente estão exagerados; os anteriores são vagos.
• Renomeie o vencedor para algo que você reconhecerá em uma biblioteca daqui a um ano, como o assunto e a base: meu-flux-lora, não lora_000750.

Sem placa de vídeo? Alugue uma por uma hora

Treinar Flux 2 dev, ou qualquer treinamento Flux em um laptop, é mais barato em uma placa alugada do que no seu próprio tempo. Uma placa de 24 ou 48 GB custa bem menos que um café por hora em marketplaces de aluguel de GPU, e um Flux LoRA precisa de uma a duas horas.

• Alugue uma máquina com uma placa de 24 GB para Flux.1 dev ou Klein, 48 GB para Flux 2 dev. Escolha um template que tenha o treinador pré-instalado quando o marketplace oferecer; templates AI Toolkit são comuns.
• Envie a pasta do conjunto de dados, execute as mesmas configurações acima e baixe os checkpoints que quiser testar. O conjunto de dados e os pesos continuam seus.
• Pare a máquina quando o download terminar. Tudo, incluindo a configuração, geralmente fica abaixo de duas horas de aluguel.

Use seu Flux LoRA no Graydient

Graydient não precisa do arquivo no seu computador para renderizar com ele. Coloque onde o Graydient possa acessar e importe o link:

1. Envie o arquivo .safetensors para um repositório na sua conta Hugging Face (público ou privado), ou publique no Civitai com o modelo base definido para a versão Flux que você treinou.
2. entrar no Graydient, abra Importação de Modelos na sua biblioteca do painel e cole o link direto do arquivo do Hugging Face ou o link da página do Civitai. Os passos completos estão em como importar modelos Civitai no Graydient.
3. Espere o LoRA aparecer na sua biblioteca e copie o ShortCode que o Graydient deu a ele.
4. Renderize com a tag LoRA e a base correspondente em qualquer app Graydient: <lora:my-flux-lora:0.8> <flux-dev> para um LoRA Flux.1, ou <lora:my-flux2-lora:0.8> <flux2> para um LoRA Flux 2. Todos os apps, pesos e regras de empilhamento estão em guia para iniciantes de Flux e Flux 2 LoRAs no Graydient.

Uma renderização completa inicial para Telegram ou Discord, com a palavra-chave primeiro e o LoRA em 0.8 na base Flux dev: /render ohwx woman, portrait, soft window light, 85mm photo <lora:my-flux-lora:0.8> <flux-dev> /steps:24 /guidance:3.5 /size:1024x1024

Licenças: o que você pode fazer com o LoRA

Um LoRA é um derivado do seu modelo base, então a licença base o acompanha. Verifique o texto da licença atual na página do modelo antes de vender renders ou o arquivo:

• Flux.1 dev e Flux 2 dev são lançados sob a licença não comercial da Black Forest Labs. Projetos pessoais e pesquisa são permitidos; uso comercial precisa da licença comercial deles.
• Flux 2 Klein 4B (e seu checkpoint Base) é Apache 2.0, então LoRAs treinados nele não têm restrição do modelo base. Klein 9B está sob licença não comercial.
• As imagens no seu conjunto de dados têm seus próprios direitos. Treine com fotos que você tirou ou possui, e nunca com uma pessoa real sem consentimento.

Se algo der errado

• Falta de memória no primeiro minuto: a base em fp16 mais o otimizador não cabem. Mude para fp8, AdamW ou Adafactor de 8 bits, gradient checkpointing, resolução 768, lote 1. Se ainda vazar, alugue uma placa.
• O LoRA muda a imagem toda, não só o assunto: as legendas não descreveram o fundo e a luz, então o treinador aprendeu isso como parte da palavra-chave. Relegende com o contexto detalhado e varie o conjunto de dados.
• O rosto está certo no peso 1.0 mas os prompts são ignorados: sobretreinado. Use um checkpoint anterior. Na próxima execução, reduza os passos pela metade ou baixe a taxa de aprendizado para 5e-5.
• Só uma semelhança vaga em qualquer peso: subtreinado, ou o conjunto de dados é muito uniforme. Adicione passos em blocos de 500, ou adicione imagens com ângulos novos.
• O LoRA não faz nada no Graydient: a base não corresponde. Um LoRA Flux.1 precisa de <flux-dev>; um LoRA Flux 2 precisa de <flux2>. Também verifique se a palavra-chave está no prompt.
• O treinamento roda mas é dolorosamente lento: vazou para a memória do sistema, ou o conjunto de dados está em um drive lento. Corrija a memória como no primeiro ponto, faça cache dos latentes e mova o conjunto de dados para um SSD.

Esse é o método completo: uma base, 20 imagens limpas, legendas honestas, cinco números, uma execução, um teste. Seu primeiro Flux LoRA não será o melhor, e o segundo leva metade do tempo. Quando o arquivo existir, entrar no Graydient ou compare planos e preços para renderizar com ele quantas vezes quiser. Todo plano inclui garantia de reembolso de 7 dias.

Perguntas

Veja planos e preços