Der ultimative ComfyUI-Leitfaden für Anfänger

¿Der ultimative ComfyUI-Leitfaden für Anfänger? Wenn Sie Ihre ersten Schritte mit ComfyUI unternehmen und von all den Nodes, Boxen und Kabeln überwältigt sind, keine Sorge: Hier finden Sie eine echte Anleitung, die bei Null anfängt und nichts Wichtiges auslässt. Ziel ist es, dass Sie verstehen, welche Funktion die einzelnen Teile haben, wie sie zusammenpassen und wie man häufige Fehler behebt. die frustrierend sind, wenn man versucht, nur durch Ausprobieren zu lernen.

Neben der Behandlung klassischer Text-zu-Bild-, Bild-zu-Bild-, Inpainting-, Outpainting-, SDXL-, Upscaling-, ControlNet-, Einbettungs- und LoRA-Workflows werden wir auch Installation, Konfiguration und weitere Aspekte integrieren. Benutzerdefinierte Knotenverwaltung mit dem AdministratorTipps und Tricks sowie ein praktischer Abschnitt mit konkreten Leistungsempfehlungen für CPU und GPU. Und ja, wir werden auch Folgendes behandeln... Wie man mit WAN 2.1-Modellen arbeitet und dabei Videos verarbeitet (Text zu Video, Bild zu Video und Video zu Video) innerhalb des ComfyUI-Ökosystems.

Was ist ComfyUI und wie vergleicht es sich mit anderen grafischen Benutzeroberflächen?

ComfyUI ist eine knotenbasierte visuelle Benutzeroberfläche, die auf Stable Diffusion Dadurch können Sie Arbeitsabläufe einrichten, indem Sie Funktionsblöcke miteinander verbinden. Jeder Knoten erfüllt eine spezifische Aufgabe (Modell laden, Text kodieren, Stichproben ziehen, dekodieren). und die Kanten verbinden die Ein- und Ausgänge, als ob man ein visuelles Rezept zusammensetzen würde.

Im Vergleich zu AUTOMATIC1111 zeichnet sich ComfyUI dadurch aus, dass Leicht, flexibel, transparent und sehr einfach zu teilen (Jede Workflow-Datei ist reproduzierbar). Der Nachteil besteht darin, dass die Benutzeroberfläche je nach Workflow-Autor variieren kann, und für Gelegenheitsnutzer, So sehr ins Detail zu gehen, mag übertrieben erscheinen..

Die Lernkurve flacht ab, wenn man das „Warum“ hinter den Knoten versteht. Stellen Sie sich ComfyUI als ein Dashboard vor, auf dem Sie den vollständigen Bildpfad sehen.: vom ursprünglichen Text und Rauschen in latenter Form bis zur endgültigen Dekodierung in Pixel.

Installation von Grund auf: schnell und problemlos

Am einfachsten ist es, das offizielle Paket für Ihr System herunterzuladen, es zu entpacken und auszuführen. Sie müssen Python nicht separat installieren, da es bereits integriert ist., wodurch die anfängliche Reibung erheblich reduziert wird.

Grundlegende Schritte: Laden Sie die komprimierte Datei herunter, entpacken Sie sie (zum Beispiel mit 7-Zip) und starten Sie den Launcher Ihrer Wahl. Falls Sie keine GPU besitzen oder Ihre Grafikkarte nicht kompatibel ist, verwenden Sie die CPU-Ausführungsdatei.Es dauert länger, aber es funktioniert.

Um loszulegen, platzieren Sie mindestens ein Modell im Ordner „Checkpoints“. Sie können sie aus Repositories wie Hugging Face oder Civitai beziehen. und platzieren Sie sie im ComfyUI-Modellpfad.

Falls Sie bereits eine Modellbibliothek in anderen Ordnern haben, bearbeiten Sie die Datei extra_model_paths.yaml, indem Sie „example“ aus dem Namen entfernen und Ihre Speicherorte hinzufügen. Starten Sie ComfyUI neu, damit die neuen Verzeichnisse erkannt werden..

Grundlegende Bedienelemente und Schnittstellenelemente

Auf der Leinwand wird das Zoomen mit dem Mausrad oder einer Pinch-Geste gesteuert, und man scrollt durch Ziehen mit der linken Maustaste. Um Knoten zu verbinden, ziehen Sie vom Ausgangsanschluss zum Eingangsanschluss.und die Freigabe, um die Kante zu schaffen.

ComfyUI verwaltet eine Ausführungswarteschlange: Konfigurieren Sie Ihren Workflow und drücken Sie die Schaltfläche „Warteschlange“. Den Status können Sie in der Warteschlangenansicht überprüfen, um zu sehen, welche Vorgänge gerade ausgeführt werden. oder was er/sie erwartet.

Nützliche Tastenkombinationen: Strg+C/Strg+V zum Kopieren/Einfügen von Knoten, Strg+Umschalt+V zum Einfügen unter Beibehaltung der Einträge, Strg+Eingabe zum Einreihen, Strg+M zum Stummschalten eines Knotens. Klicken Sie auf den Punkt in der oberen linken Ecke, um einen Knoten zu minimieren und die Arbeitsfläche zu leeren..

Vom Text zum Bild: der wesentliche Ablauf

Der minimale Ablauf umfasst das Laden des Checkpoints, das Codieren der positiven und negativen Prompts mit CLIP, das Erstellen eines leeren latenten Bildes, das Sampling mit KSampler und das Decodieren in Pixel mit VAE. Drücken Sie die Warteschlangentaste und Sie erhalten Ihr erstes Bild..

Wählen Sie das Modell in Load Checkpoint aus.

Der Load Checkpoint-Knoten gibt drei Komponenten zurück: MODEL (Rauschvorhersage), CLIP (Textcodierer) und VAE (Bildcodierer/Decodierer). MODEL geht an den KSampler, CLIP an die Textknoten und VAE an den Decoder..

Positive und negative Eingabeaufforderungen mit CLIP Text Encode

Geben Sie oben Ihre positive und unten Ihre negative Eingabeaufforderung ein; beide werden als Einbettungen kodiert. Sie können Wörter mit der Syntax (Wort:1.2) oder (Wort:0.8) gewichten. um bestimmte Begriffe zu verstärken oder abzuschwächen.

Latente Hohlräume und optimale Größen

Das leere latente Bild definiert die Leinwand im latenten Raum. Für SD 1.5 wird eine Auflösung von 512×512 oder 768×768 empfohlen; für SDXL 1024×1024.Breite und Höhe müssen Vielfache von 8 sein, um Fehler zu vermeiden und die Architektur zu respektieren.

VAE: von latenten Daten zu Pixeln

VAE komprimiert Bilder zu latenten Werten und rekonstruiert sie zu Pixeln. Bei der Text-zu-Bild-Konvertierung wird es typischerweise nur am Ende verwendet, um den latenten Wert zu dekodieren. Die Kompression beschleunigt den Prozess, kann aber geringe Verluste verursachen.Im Gegenzug bietet es eine präzise Steuerung im latenten Raum.

KSampler und wichtige Parameter

Der KSampler wendet die umgekehrte Diffusion an, um Rauschen gemäß der Einbettungsrichtlinie zu entfernen. Seed, Schritte, Sampler, Scheduler und Denoise Dies sind die Hauptregler. Weitere Schritte liefern in der Regel mehr Details, und die Einstellung „denoise=1“ überschreibt das ursprüngliche Rauschen vollständig.

Bild für Bild: Mit Anleitung wiederholen

Der i2i-Workflow beginnt mit einem Eingabebild und Ihren Eingabeaufforderungen; die Rauschunterdrückung steuert, wie stark es vom Original abweicht. Bei niedriger Rauschunterdrückung erhält man subtile Variationen; bei hoher Rauschunterdrückung tiefgreifende Veränderungen..

Typischer Ablauf: Checkpoint auswählen, Image als Eingabe laden, Prompts anpassen, Rauschunterdrückung in KSampler definieren und in die Warteschlange einreihen. Es eignet sich ideal zur Verbesserung von Kompositionen oder zur Migration von Stilen, ohne bei Null anfangen zu müssen..

SDXL auf ComfUI

ComfyUI bietet dank seines modularen Designs frühzeitige Unterstützung für SDXL. Verwenden Sie einfach einen SDXL-kompatiblen Ablauf, überprüfen Sie die Eingabeaufforderungen und führen Sie ihn aus. Zu beachten: Größere native Dateigrößen benötigen mehr VRAM und Verarbeitungszeit.Doch der qualitative Sprung im Detail macht das wieder wett.

Inpainting: Bearbeite nur das, was dich interessiert.

Wenn Sie bestimmte Bereiche eines Bildes bearbeiten möchten, ist Inpainting das richtige Werkzeug. Laden Sie das Bild, öffnen Sie den Maskeneditor, malen Sie den Bereich, den Sie wiederherstellen möchten, und speichern Sie ihn im entsprechenden Knoten. Definieren Sie Ihre Eingabeaufforderung, um die Bearbeitung zu steuern, und passen Sie die Rauschunterdrückung an (z. B. 0.6)..

Bei Verwendung eines Standardmodells funktioniert es mit VAE Encode und Set Noise Latent Mask. Bei dedizierten Inpainting-Modellen ersetzen Sie diese Knoten durch VAE Encode (Inpaint)., das für diese Aufgabe optimiert ist.

Übermalung: Vergrößerung der Leinwandränder

Um ein Bild über seine Grenzen hinaus zu erweitern, fügen Sie den Padding-Knoten für Outpainting hinzu und konfigurieren Sie, um wie viel jede Seite wachsen soll. Der Parameter für die Weichzeichnung glättet den Übergang zwischen Original und Erweiterung..

Passen Sie bei Outpainting-Workflows VAE Encode (für Inpainting) und den Parameter grow_mask_by an. Ein Wert über 10 bietet in der Regel natürlichere Integrationen. im erweiterten Bereich.

Hochskalierung in ComfyUI: Pixel vs. latente Daten

Es gibt zwei Methoden: Pixel-Upscaling (schnell, ohne Hinzufügen neuer Informationen) und Latent-Upscaling, auch Hi-Res Latent Fix genannt, bei dem Details beim Skalieren neu interpretiert werden. Die erste Methode ist schnell; die zweite bereichert die Texturen, kann aber abweichen..

Algorithmusbasiertes Upscaling (Pixel)

Mit dem Reskalierungsknoten können Sie zwischen bikubischer, bilinearer oder Nearest-Exact-Skalierung sowie dem Skalierungsfaktor wählen. Es eignet sich ideal für Vorschauen oder wenn es auf Geschwindigkeit ankommt. ohne zusätzliche Inferenzkosten.

Hochskalieren mit Modell (Pixel)

Verwenden Sie Load Upscale Model und den entsprechenden Upscale-Knoten, wählen Sie ein geeignetes Modell (z. B. realistisch oder Anime) und wählen Sie ×2 oder ×4. Spezialisierte Modelle stellen Konturen und Schärfe besser wieder her als klassische Algorithmen..

Aufwertung im latenten Bereich

Skalieren Sie die latente Variable und führen Sie ein Resampling mit KSampler durch, um Details hinzuzufügen, die mit der Aufgabenstellung übereinstimmen. Es ist langsamer, aber besonders nützlich, wenn man eine höhere Auflösung und visuelle Komplexität erzielen möchte..

ControlNet: Erweiterter Strukturleitfaden

ControlNet ermöglicht es Ihnen, Referenzkarten (Kanten, Pose, Tiefe, Segmentierung) einzufügen, um die Komposition zu steuern. In Kombination mit stabiler Diffusion ermöglicht es Ihnen eine präzise Kontrolle über die Struktur ohne die Kreativität des Modells zu beeinträchtigen.

In ComfyUI ist die Integration modular: Sie laden die gewünschte Karte, verbinden sie mit dem ControlNet-Block und verknüpfen sie mit dem Sampler. Probieren Sie verschiedene Controller aus, um herauszufinden, welcher am besten zu Ihrem Stil und Ihren Bedürfnissen passt..

ComfyUI-Administrator: Terminallose benutzerdefinierte Knoten

Der Manager ermöglicht die Installation und Aktualisierung benutzerdefinierter Knoten über die Benutzeroberfläche. Sie finden ihn im Warteschlangenmenü. Es ist der einfachste Weg, Ihr Node-Ökosystem auf dem neuesten Stand zu halten..

Fehlende Knoten installieren

Wenn Sie in einem Workflow auf fehlende Knoten hingewiesen werden, öffnen Sie den Manager, klicken Sie auf „Fehlende installieren“, starten Sie ComfyUI neu und aktualisieren Sie Ihren Browser. Damit lassen sich die meisten Abhängigkeiten mit wenigen Klicks auflösen..

Benutzerdefinierte Knoten aktualisieren

Im Manager können Sie nach Updates suchen, diese installieren und bei jedem verfügbaren Paket auf die Schaltfläche „Aktualisieren“ klicken. Starten Sie ComfyUI neu, um die Änderungen anzuwenden. und vermeiden Sie Widersprüche.

Knoten in den Datenfluss laden

Doppelklicken Sie auf eine leere Stelle, um den Knotenfinder zu öffnen, und geben Sie den Namen des gewünschten Knotens ein. So fügen Sie schnell neue Elemente in Ihre Diagramme ein..

Einbettungen (Textumkehrung)

Embeddings fügen trainierte Konzepte oder Stile mithilfe des Schlüsselworts embedding:name in Ihre Prompts ein. Platzieren Sie die Dateien im Ordner models/embeddings, damit ComfyUI sie erkennen kann..

Wenn Sie das Paket für benutzerdefinierte Skripte installieren, steht Ihnen die Autovervollständigung zur Verfügung: Geben Sie einfach "embedding:" ein, und Sie sehen die verfügbare Liste. Dies beschleunigt die Iteration bei der Verwaltung vieler Vorlagen erheblich..

Sie können sie auch gewichten, zum Beispiel (embedding:Name:1.2), um sie um 20 % zu verstärken. Passen Sie das Gewicht wie bei normalen Prompt-Bedingungen an. Stil und Inhalt in Einklang bringen.

LoRA: Passt den Stil an, ohne VAE zu verändern

LoRA modifiziert die MODEL- und CLIP-Komponenten des Checkpoints, ohne die VAE zu verändern. Sie werden verwendet, um bestimmte Stile, Zeichen oder Objekte einzufügen. mit leichten und einfach zu teilenden Dateien.

Grundlegender Ablauf: Wählen Sie Ihren Basis-Checkpoint, fügen Sie einen oder mehrere LoRAs hinzu und generieren Sie. Man kann LoRA stapeln, um Ästhetik und Effekte zu kombinieren.Ihre Intensitäten anpassen, sofern der Arbeitsablauf dies zulässt.

Abkürzungen, Tricks und integrierte Arbeitsabläufe

Zusätzlich zu den bereits erwähnten Abkürzungen gibt es zwei sehr praktische Tipps: Fixieren Sie den Seed beim Verschieben entfernter Knoten, um zu vermeiden, dass die gesamte Kette neu berechnet werden muss, und verwenden Sie Gruppen, um mehrere Knoten gleichzeitig zu verschieben. Mit Strg+Ziehen können Sie mehrere Elemente auswählen und mit Shift die Gruppe verschieben..

Ein weiteres wichtiges Merkmal: ComfyUI speichert den Workflow in den Metadaten der generierten PNG-Datei. Durch Ziehen der PNG-Datei auf die Arbeitsfläche wird das gesamte Diagramm mit einem Klick abgerufen.Dadurch wird es einfacher, Ergebnisse zu teilen und zu reproduzieren.

ComfyUI online: Erstellen ohne Installation

Falls Sie nichts installieren möchten, gibt es Cloud-Dienste mit vorkonfigurierter ComfyUI, Hunderten von Knoten und gängigen Modellen. Sie eignen sich ideal zum Testen von SDXL, ControlNet oder komplexen Arbeitsabläufen, ohne dass Sie Ihren PC berühren müssen.Viele enthalten auch Galerien mit vorgefertigten Arbeitsabläufen.

Von Grund auf zum Video: WAN 2.1 in ComfyUI

Einige benutzerdefinierte Knoten ermöglichen es Ihnen, aus Text ein Video zu erstellen, ein Bild in eine Sequenz umzuwandeln oder einen vorhandenen Clip zu bearbeiten. Mit WAN 2.1-Modellen können Sie Text-zu-Video-, Bild-zu-Video- und Video-zu-Video-Pipelines einrichten. direkt in ComfyUI.

Installieren Sie die erforderlichen Knoten (über Administrator oder manuell), laden Sie das entsprechende Modell herunter und folgen Sie dem Beispielablauf: Codieren Sie die Eingabeaufforderungs- und Bewegungsparameter, generieren Sie Frame-für-Frame-Latenzen und decodieren Sie dann in Frames oder einen Videocontainer. Bedenken Sie, dass der Zeit- und VRAM-Bedarf mit zunehmender Auflösung und Dauer steigt..

CPU vs. GPU: Welche Leistung ist zu erwarten?

Die Generierung kann zwar mit einer CPU erfolgen, ist aber hinsichtlich der Geschwindigkeit nicht optimal. In realen Tests benötigt eine leistungsstarke CPU mehrere Minuten pro Bild, während der Prozess mit einer geeigneten GPU auf Sekunden verkürzt wird. Falls Sie über eine kompatible GPU verfügen, nutzen Sie diese, um die Leistung drastisch zu steigern..

Auf der CPU sollten Größe, Schritte und Knotenkomplexität reduziert werden; auf der GPU sollten Batch-Verarbeitung und Auflösung entsprechend dem verfügbaren VRAM angepasst werden. Überwachen Sie den Verbrauch, um Engpässe und unerwartete Schließungen zu vermeiden..

Benutzerdefinierte Knoten: Manuelle Installation und bewährte Vorgehensweisen

Wenn Sie die klassische Methode bevorzugen, können Sie die Repositories im Ordner custom_nodes mit git klonen und anschließend neu starten. Diese Methode ermöglicht Ihnen eine präzise Kontrolle über Versionen und Branches.Nützlich, wenn Sie bestimmte Funktionen benötigen.

Halten Sie Ihre Knotenpunkte übersichtlich, mit regelmäßigen Updates und Kompatibilitätshinweisen. Vermeiden Sie es, zu viele experimentelle Versionen gleichzeitig zu mischen. um die Einführung von Fehlern zu vermeiden, die schwer nachzuverfolgen sind.

Typische Fehlerbehebung

Falls „fehlende Knoten installieren“ das Problem nicht behoben hat, überprüfen Sie die Konsole/das Protokoll auf die genaue Fehlerursache: Abhängigkeiten, Pfade oder Versionen. Prüfen Sie, ob Breite und Höhe Vielfache von 8 sind und ob sich die Vorlagen in den richtigen Ordnern befinden..

Wenn ein Workflow nicht auf die Modellauswahl reagiert, kann das erzwungene Laden eines gültigen Prüfpunkts den Graphen in der Regel wiederherstellen. Falls ein Knoten nach dem Update nicht mehr funktioniert, versuchen Sie, das betreffende Paket zu deaktivieren oder auf eine stabile Version zurückzukehren..

Feste Startwerte, angepasste Größen und sinnvolle Eingabeaufforderungen erleichtern die Fehlersuche. Wenn sich das Ergebnis nach zu viel Herumprobieren verschlechtert, kehren Sie zu einer Basiseinstellung zurück und führen Sie die Änderungen einzeln wieder ein..

Für weitere Hilfe sind Communities wie /r/StableDiffusion sehr aktiv und lösen oft seltene Fehler. Das Teilen von Protokolldateien, Diagrammaufzeichnungen und Knotenversionen beschleunigt den Support..

Das alles oben Genannte ergibt eine vollständige Karte: Sie wissen, was jeder Knoten ist, wie sie miteinander verbunden sind, wo Sie die Modelle platzieren müssen und was Sie anfassen müssen, um die Warteschlange reibungslos in Bewegung zu halten. Mit Text-zu-Bild-Workflows, i2i, SDXL, In-/Outpainting, Upscaling, ControlNet, Embeddings und LoRA sowie Video mit WAN 2.1 verfügen Sie über ein wirklich professionelles Produktions-Kit. Bereit, mit Ihnen zu wachsen. Weitere Informationen finden Sie unter offizielle Website von ComfyUI.