Neuer Gewichte-Parser, aktualisiert

Aktualisiert am 11. Juni mit klareren Beispielen, Übungen und einem kleinen Quiz

Gewichtungen sind eine neue Funktion in unserer Web-UI und unserem Telegram-Bot, die durch ein Subsystem namens Text Parser ermöglicht wird, ein Stück Code, das versucht zu verstehen, welche Wörter für Sie am wichtigsten sind. Der alte Text-Parser unterstützte keine Gewichtung, der neue schon. Sie können zwischen beiden hin- und herschalten.

Web-UI: Wählen Sie die erweiterten Optionen und schalten Sie diesen Schalter ein, um die Funktion zu aktivieren:

Telegramm: Hinzufügen dieses Befehls während des Renderns:

/render /parser:new Ihre Eingabeaufforderung steht hier (Hund:2) usw.

Solange keiner dieser Befehle aufgerufen wird, werden die Gewichte ignoriert. Der Parser-Befehl verschwindet, wenn unsere Beta-Phase vorbei ist.

Einführung in die Gewichte

You’ve probably seen an Stable Diffusion prompt that looks like thing like this: <yae-miko:0.7>. This is a way of adding or subtracting its effect from a prompt, where the default value is 1, too much is 2, and a negative number is bad news. It is similar to negative guidance, where things get eerie.

_{Side note about syntax: In our system, pointed brackets like <this> means AI model, like a LoRA and round parenthesis (like this) are used for words, also called Tokens. This guide teaches both kinds.}

Gewichtsspannen und sichere Standardwerte

Eine Zahl, die größer als 0 ist, auch wenn sie einen Bruchteil davon ausmacht, hat immer noch ein positives Gewicht. Auch wenn also 0,7 weniger als eine ganze 1 ist, bedeutet ein Ausdruck wie (Hund:0,7) immer noch, dass ein Bild eines Hundes in das Bild kommt. Weniger als 0 ist negativ, und Negatives ist im Allgemeinen eine schlechte Nachricht.

Bei Gewichten funktionieren Negative nicht wie negative Prompts. Sie meinen wahrscheinlich null, nicht negativ. Negatives Gewicht ist die Twilight Zone, die Dinge werden unheimlich wie Negativ Guidance. Möglich, aber seltsam.

Das am häufigsten verwendete Gewicht ist 0,7

Insbesondere für LoRAs. Viele halten 0,7 für den sichersten Startpunkt, weil er den Weg frei macht, so dass ein Basismodell die Kunst style einstellen kann, aber immer noch vorhanden ist, um seine Aufgabe zu erfüllen. Vor allem bei LoRAs sollten Sie selten ein Gewicht von 1 oder mehr verwenden, es sei denn, Sie wollen einen sehr starken Effekt erzielen.

Abbildung 1: Gewichte vs. positive Aufforderungen

Drei Möglichkeiten, dem Wort Hund besondere Aufmerksamkeit zu schenken, sind:

(Hund:1.1), (Hund) und ((Hund:1.1)), aber von der letzten Variante wird im Allgemeinen abgeraten, da sie die Suche auf control erschwert und zu schlechten Ergebnissen führen kann.

Warum Gewichte nützlich sind

Gewichtete Aufforderungen sind nützlich, um relative Ideen auszudrücken. Zum Beispiel können Sie auf render ein Bild eines Hundes, der einige Merkmale einer Katze aufweist, auffordern:

/render /parser:new  a (cat:2,dog:0.5)

Beachten Sie, dass die Nase und die Pfoten ein wenig an einen Hund erinnern, aber in erster Linie ist es eine Katze.

_{Randbemerkung: Denken Sie daran, dass auch die Reihenfolge der Wörter eine Rolle spielt, mehr noch als die Gewichtung. Wenn wir die Reihenfolge dieser beiden einfachen Wörter vertauschen, ergibt sich ein anderes Bild, obwohl die Gewichtung gleich bleibt. Bei der Mischung von zwei Tieren ist es schwierig, diese Idee zu erkennen, also lassen Sie uns als Nächstes blend mehr concepts .}

Gute Ranges zum Merken

• Die Mitte ist 1
• positive Aufforderungen sind wie folgt
  • (good:0.7) <– weaker positive
  • (good:1.3) <–stronger positive
• Negative Aufforderungen wie diese [(thing:1), (thing:1.3), thing:0.7)]
• Verwenden Sie negative Gewichte nur mit LoRA (auf eigene Gefahr!)

Hund - neutral
(Hund) - Hund ist 1.1x wichtig
(Hund:1) - neutral
(Hund:1.1) - Hund ist 1.1x wichtig

Positive Syntax mit positiven Gewichten zu mischen, funktioniert (wird aber nicht empfohlen)

((dog:0.5)) - dog is 0.5x wird durch die (positive) Syntax verstärkt
((dog:2.0)) - dog is 2x wird durch die (positive) Syntax verstärkt und wird höchstwahrscheinlich Ihr render zerstören, da es diese einzelne Aufforderung zu stark macht

Das Gleiche gilt jedoch nicht für negative Aufforderungen

Hund - neutral
(Hund) - eine standardmäßige negative Eingabeaufforderung, d.h. es wird 1,1x entmutigt
[Hund:2] - 2x wird ignoriert, dies wird nur als 1,1x negative Aufforderung verarbeitet
[[Hund:2]] - 2x wird ebenfalls ignoriert, und die [negative] Syntax wird übernommen

Haben Sie es verstanden? Testen Sie sich selbst

F) Können Sie Gewichte ohne () verwenden? Ist z. B. "gut:1,6" gültig, oder muss man (gut:1,6) verwenden?

A) Sie müssen verwenden (gut:1,2)

F) Wie funktioniert das mit Negativen? Auf dieselbe Weise? [schlecht:1.6]?

A) Sie müssen [(bad:1.2)] verwenden, damit es richtig funktioniert. Machen Sie sich auch keine Sorgen über () innerhalb von [] mit zusätzlichem Gewicht, da der Einfluss nicht vorhanden ist.

Grad der Präzision

Was die Dezimalstellen betrifft, so sind ein oder zwei Grad mehr als ausreichend. In unseren Tests unterscheidet sich (Hund:0,55) nicht wesentlich von (Hund:0,55348567), wenn alle anderen Werte gesperrt sind.

Denken Sie beim Testen der relativen Gewichtung daran, dass unser System zufällige Werte für seed, guidance und sampler zuweist. Wenn diese Werte nicht festgelegt sind, erhalten Sie jedes Mal sehr unterschiedliche Bilder. Machen wir ein paar Übungen, bei denen diese Werte immer gleich sind, und vergleichen wir.

Übung: Rot, Blau, Hund, Katze

Hier haben wir einige hundeähnlich aussehende Katzen, einige sind blau und einige sind rot. Versuchen Sie mit dem Gelernten, eine Farbe oder ein Tiermerkmal aus dem Bild zu entfernen, schaffen Sie das? Abgesehen von der Gewichtung ist auchGuidance wichtig. Sie können jede beliebige Eingabeaufforderung eingeben, aber mit einer niedrigen guidance wird die KI die meisten Ihrer Befehle ohnehin ignorieren. Setzen Sie also guidance auf 13, damit sie Ihnen gut zuhört.

/render /seed:32745 /sampler:ddim /guidance:13 /parser:new /images:1 blue cat, red dog, [blue cat, red dog] <dreamshaper6>

Beginnen wir mit einem Bild von control . Keine Gewichte. Versuchen wir nun, das Rot zu entfernen.

/render /seed:32745 /sampler:ddim /guidance:13 /parser:new /images:1 blue cat, red dog, [blue cat, (red dog:2)] <dreamshaper6>

Wir haben die negative Gewichtung von "roter Hund" erhöht und sind das Token "Hund" und das Token "rot" losgeworden, so dass diese nun eindeutig katzenähnlich sind und es kein rotes Tier im Bild gibt.

Versuchen wir eine andere Übung: Schaffst du es, alle Katzen loszuwerden?

Eine mögliche Lösung ist:

/render /seed:32745 /sampler:ddim /guidance:13 /parser:new /images:1 (blue cat:0.1), (red dog:2), [(blue cat:2), (red dog:0.1)] <dreamshaper6>

Die blaue Katze war schwieriger loszuwerden, möglicherweise weil sie in der Reihenfolge der Aufforderung die erste war. Also wurden viele Gewichte verschoben, um sie loszuwerden.

Aufgabe 1: Warum ergibt diese Eingabeaufforderung fast das gleiche Bild wie das allererste Bild von control ?

/render /seed:32745 /sampler:ddim /guidance:13 /parser:new /images:1 blue cat, red dog, [blue cat, red dog:2] <dreamshaper6>

Antwort: Weil eine Klammer innerhalb der negativen Eingabeaufforderung fehlt. Was verarbeitet wurde, waren keine Gewichte, sondern eine schwache [negative Eingabeaufforderung] Gewicht 2 negativ wurde ignoriert. Ohne die Klammer bedeutet es einfach wörtlich "Nummer 2".

Versuchen wir nun, doppelte eckige Klammern als Ersatz für Klammern zu verwenden. Funktioniert das genauso wie die Klammern innerhalb eines negativen Tags?

/render /seed:32745 /sampler:ddim /guidance:13 /parser:new /images:1 blue cat, red dog, [blue cat, [red dog:2]] <dreamshaper6>

Hier wird eine doppelte starke Verneinung [[so]] verarbeitet und auch die Gewichte wurden ignoriert. Jetzt wissen wir also, dass das nicht funktioniert, es braucht Klammern. Aber wenn wir nur Hunde loswerden wollen, ist die Verwendung von Negativen anstelle von Gewichtungen auch eine gültige Strategie. Seht ihr? Die Hundeeigenschaften werden durch das stärkere Negativ beseitigt. Wenn das alles ist, was wir wollen, brauchen wir keine Gewichte. Ein einfaches Negativ funktioniert.

Übung 2: Erkennen Sie den Fehler

Wird diese Eingabeaufforderung wie vorgesehen funktionieren?

Figure 1 - /render /parser:new /clipskip:1 /seed:761614 /sampler:ddim /guidance:11.5 1girl [lowres:2, blurry:2, worst quality:2, pixelated:2] <sushimix>

Oder vielleicht wird es dieser?

Figure 2 - /render /parser:new /clipskip:1 /seed:761614 /sampler:ddim /guidance:11.5 1girl [lowres;2, blurry;2, worst quality;2, pixelated;2] <sushimix>

Die richtige Antwort ist, dass keine von beiden richtig funktionieren wird, sie sind beide falsch. Bei beiden fehlt die Klammer ("Gewichte"), so dass keine Gewichte zum Tragen kommen. Außerdem hat Abbildung 2 einen absichtlichen Tippfehler bei den Semikolons, um ein Argument zu beweisen - beide ergeben im Grunde das gleiche Bild. Die Ergebnisse sind unten dargestellt, die Änderungen sind aufgrund des Token-Unterschieds der fehlerhaften ; als Wörter verarbeitet sehr gering. Dass sie zu geringfügigen Unterschieden in der Schattierung führen, ist willkürlich, das ist keine Sache.

Wir können dieselbe seed nehmen und diese Gewichte abfeuern, und derselbe Prompt ist plötzlich ein ganz anderes Bild.

/render /parser:new /clipskip:1 /seed:761614 /sampler:ddim /guidance:11.5 1girl [(lowres:2), (blurry:2), (worst quality:2), (pixelated:2)] <sushimix>

Ob Sie sie einzeln in Klammern setzen oder ob Sie Gewichte und Kommata in einer langen Klammer verwenden, bleibt Ihnen überlassen. Beides funktioniert und ergibt im Verhältnis zueinander ein ähnliches Bild, aber die Gewichte funktionieren in beiden Fällen.

/render /parser:new /clipskip:1 /seed:761614 /sampler:ddim /guidance:11.5 1girl [(lowres:2, blurry:2, worst quality:2, pixelated:2)] <sushimix>

Zugegeben, es sind beides wunderschöne Bilder, so dass die Nuancen schwerer zu erkennen sind. Wenn Sie einmal nicht mehr weiter wissen, können Sie auf die Strategie "Rot/Blau, Hund/Katze" zurückgreifen, um sicherzustellen, dass Ihre Eingabeaufforderung das tut, wofür Sie sie halten.

Gewichte in Web UI verwenden

Wenn Sie wissen, was Sie tun, geben Sie sie einfach ein und sie funktionieren wie in der PC-Version von Stable Diffusion. So aktivieren Sie den neuen Parser in der Web-Benutzeroberfläche:

1. Klicken Sie auf Erweitert (unten links)
2. Klicken Sie auf die Schaltfläche Gewichte oben rechts auf dem Bildschirm (siehe Abbildung).

Die Gewichte mode zeigen dann Schieberegler an, mit denen Sie leichter Wörter setzen und andere Arten von visuellen concepts zusammenstellen können, um eine einzigartige Komposition zu schaffen.

Schauen wir uns alle Elemente an, mit denen Sie auf dieser Seite spielen können:

1. Oben rechts: Die Registerkarte "Gewichtung" ist aktiviert, sodass Sie einzelne Wörter eingeben und jedem Wort mithilfe eines Schiebereglers eine eigene Gewichtung zuweisen können. Klicken Sie auf die graue Schaltfläche "Gewichtetes Wort hinzufügen", um weitere Wörter hinzuzufügen, oder geben Sie dort Ihre gesamte positive Aufforderung ein, wenn alle diese Wörter gleich gewichtet werden sollen.
2. Der blaue Schieberegler zeigt ein Gewicht von 1,0 an. Wenn Sie ihn nach links schieben, wird das Kästchen rot, was bedeutet, dass es eine negative Auswirkung hat.
3. Optional können Sie eine recipe auswählen. Rezepte sind Eingabeaufforderungsvorlagen, die visuelle Ergebnisse ähnlich dem gezeigten Foto erzeugen. Rezepte haben ihr eigenes Basismodell, das Sie jedoch überschreiben können.
4. Base art style, or base model, is the over-arching visual style and contents model. The base model has the biggest visual impact over the image. Here the model <revani> aka Rev Animated is selected.  Base models do not have weights, they are the foundation that everything else sits on top of.

Hier haben wir ein neues Schlüsselwort hinzugefügt und ihm eine negative Gewichtung von 0,49 gegeben

Wenn Sie auf die Schaltfläche "Hinzufügen Concept" klicken, können Sie das Basismodell ändern oder zusätzliche visuelle Elemente wie Charaktere, Effekte, Posen und mehr auf concepts stapeln.

Ich erstelle ein seltsames Fantasietier, also habe ich mir in der Kategorie Kreaturen eines ausgesucht. Unter "Best Practices und Fehlerbehebung" erfahren Sie, wie Sie diese Funktion optimal nutzen können.

Wenn Sie einen Fehler machen, können Sie auf die Schaltfläche "Verlauf" klicken und erneut bearbeiten.

Unten finden Sie auch eine Schaltfläche Brew , die Sie zur einfachen mode ohne Gewichte zurückbringt, sowie Pulldowns für guidance (CFG), Seitenverhältnis und Steps vs. Anzahl der Images. Jeder Wert benötigt die gleiche Zeit für render.

Zusammenstellung

Wir haben auch eine Lora mit einem Gewicht von 1,0 hinzugefügt. Das sollte wahrscheinlich auf 0,7 angepasst werden, um sicher zu gehen, tsk tsk. So wird der visuelle concept "chinesischer Drache" zum Thema des Bildes, mit der Prompt-Vorlage "Uncased Fantasy", die wahrscheinlich Tokens wie "Meisterwerk" und "hohe Qualität" hinzufügt, während sie auch allgemeine negative Prompts wie "nicht mutiert" usw. hinzufügt.

Und hier ist meine 70%ige Drachen-Hund-Katze. Hauptsächlich Drachenkatze, um fair zu sein. Ich schätze, dass die stärkeren Assoziationen mit Katzen und Drachen in der asiatischen Kunst meinen stärker gewichteten Hund ausstechen, also kann ich zurückgehen und die Katze weiter reduzieren oder mehr Worte darüber hinzufügen, wie ein Hund aussieht, um mein Ergebnis zu ändern.

Wenn Sie mit images nicht zufrieden sind, können Sie auf "Mein Archiv" klicken, um Ihren Eingabeaufforderungsverlauf zurückzuverfolgen und die unerwünschten Einträge zu löschen.

Wenn Sie in Telegram arbeiten, können Sie auch mit dem /delete verwenden, um ein Bild aus Ihrem Verlauf und Ihrem Archiv zu löschen, indem Sie auf das Bild antworten.

Bewährte Praktiken und Fehlerbehebung

Die meisten Probleme entstehen, wenn die Gewichte zu hoch sind oder wenn concepts in Konflikt gerät. Wenn Sie alles zwischen 0,5 und 0,7 einstellen, können Sie die meisten Probleme vermeiden.

Einige Modelle sind sehr empfindlich. Versuchen Sie es mit einem Wert von 0,1, wenn sie stören. Wir haben einen separaten Abschnitt zur Behebung häufiger LoRA-Probleme mit Beispielen geschrieben.

Wie viele visuelle concepts sind zu viel?

Sie können bedenkenlos 2-3 LoRAs mit geringer Gewichtung zu einem Bild hinzufügen, wobei Sie sorgfältig darauf achten sollten, wie sie sich überschneiden. Wenn das Bild nicht zurückkommt, ist dem Server der Speicher ausgegangen und das Bild konnte nicht abgeschlossen werden. Versuchen Sie es mit einer geringeren Anzahl von Bildern.

Wählen Sie auf der Qualitätsseite settings die Option Entwurf, um Ihre Idee zu testen. Es macht keinen Sinn, länger zu warten, wenn es widersprüchliche concepts gibt. Es ist besser, Ihre Idee langsam zu entwickeln und sie immer wieder zu überarbeiten.

Blaue Artefakte sind häufig

Wenn Sie mit LoRAs und Gewichten arbeiten, werden Sie unweigerlich auf Konflikte stoßen. Wenn Sie z. B. einen LoRA eines Zombies und einen LoRA eines Ritterhelms hinzufügen, kämpfen beide darum, das Gesicht zu beeinflussen, und es entstehen blaue Artefakte. Wenn das passiert, verringern Sie die Gewichtung oder wählen Sie eine andere visuelle concept. Halten Sie die Dinge einfach und bauen Sie langsam auf.

Das Bild wird als buntes Quadrat ohne Motiv angezeigt.

Es gibt einige (sehr wenige) Modelle, die mit unserem System nicht kompatibel sind, aber im Allgemeinen sollte dies nicht passieren, wenn LoRAs niedrige Gewichte haben. Wenn Sie ein rotes Quadrat erhalten, verringern Sie Ihre Gewichte. Wenn Sie immer noch etwas erhalten, das wie grüne Berge oder Rauschen aussieht, lassen Sie es uns bitte wissen.

Andere Ergebnisse als die, die Sie im Internet gesehen haben

Wir sind da ganz bei Ihnen. Nicht jeder veröffentlicht seine bestgehüteten Geheimnisse, wie z. B. dass er seine images 3 Stunden lang mit inpaint und Lightroom bearbeitet. Der Wettbewerb innerhalb der Stable Diffusion community um die beste images ist hart. Es wird ein bisschen geschummelt. Lassen Sie sich nicht einwickeln.

Auf der beliebten Civitai-Website können Sie nachlesen, was andere Nutzer in den Kommentaren sagen, und sicherstellen, dass Sie alle die gleichen concepts verwenden. Wenn wir ein Modell vermissen, das Sie benötigen, lassen Sie es uns einfach wissen und wir werden es hinzufügen.

Ganz andere Ergebnisse als auf Ihrem lokalen PC

In diesem Fall möchten wir es wirklich wissen - bitte kontaktieren Sie uns. Es könnte an unterschiedlichen Versionen von KI-Modellen liegen. In diesem Fall können wir sie sofort aktualisieren.

Auch unser System ist aufgrund von Hardware, Treibern und anderen Webkomponenten etwas anders kalibriert, aber die allgemeine Bildqualität sollte vergleichbar sein.

Wenn Sie glauben, dass Sie einen Fehler gefunden haben, lassen Sie es uns bitte wissen.