Was ist ComfyUI und was kann man damit tun?

Künstliche Intelligenz (KI) für Bildgenerierung setzt sich aus einem Prompt-Parser, einem latenten Raum-Modell und einer generativen Netzwerkschicht zusammen. Bei jeder Generierung werden die latenten Vektoren iterativ optimiert, um dem Ziel-Prompt möglichst nahe zu kommen. Diese Architektur ermöglicht eine detaillierte Analyse der verarbeiteten Informationsmengen und der konkreten Reaktionswege der KI-Architektur.

ComfyUI verfolgt einen anderen Ansatz: Der Generierungsprozess wird transparent gemacht, indem er visuell dargestellt wird.

Die Grundidee: Knoten statt Formulare

ComfyUI ersetzt das typische Webformular durch eine grafische Oberfläche aus Knoten. Jeder Schritt der Bildgenerierung wird zu einem sichtbaren, verbindbaren Knoten. Man verbindet sie wie in einem visuellen Programmierumfeld, sodass der Datenfluss sofort ersichtlich ist.

Statt:

[Prompt Input] → [Generate Button] → [Output Image]

erhält man:

[Load Model] → [CLIP Text Encode] → [KSampler] → [VAE Decode] → [Save Image]
      ↓
[Load Negative Prompt] ────────────────────────────────────┘

Jeder Knoten repräsentiert eine einzelne Operation. Man sieht genau, welches Modell geladen wird, welche Parameter der Sampler verwendet und welches VAE das latente Bild decodiert. Alles ist sichtbar und konfigurierbar.

Warum das wichtig ist

Vollständige Transparenz

Sollte etwas schiefgehen oder ein Ergebnis reproduziert werden müssen, ist der genaue Workflow sichtbar.

Intelligentes Caching

ComfyUI führt nur jene Teile des Graphen erneut aus, die durch eine Änderung beeinflusst wurden. Unveränderte Zweige können wiederverwendet werden, während eine Änderung des Prompts die nachfolgenden Schritte, die davon abhängen, ungültig macht.

Effiziente Speichernutzung

Durch sorgfältige Graph‑Ausführung und gezieltes Off‑Loading von Modellen lässt sich der VRAM‑Verbrauch reduzieren. Trotzdem hängt der benötigte Speicher stark vom gewählten Modell und vom Aufbau des Workflows ab.

Übertragbare Workflows

Jeder Workflow kann als JSON‑Datei gespeichert oder direkt in ein generiertes PNG eingebettet werden. Indem man ein solches Bild auf die ComfyUI‑Arbeitsfläche zieht, erhält der Empfänger den genauen Aufbau, einschließlich Seeds und aller Parameter, mit denen es erstellt wurde. So lässt sich ein komplexes Projekt mit einem einzigen Bild teilen und sofort reproduzieren.

Was man damit bauen kann

Einfaches Text‑zu‑Bild

Der Grundbaustein. Ein Checkpoint‑Modell wird geladen, der Prompt wird mit CLIP kodiert, an den Sampler gesendet, mit VAE dekodiert und dann gespeichert:

┌─────────────┐     ┌──────────────┐     ┌──────────┐     ┌──────────┐     ┌──────────┐
│ Checkpoint  │     │ Positiver    │     │          │     │   VAE    │     │ Speichern│
│ Loader      │────▶│ Prompt       │────▶│ KSampler │────▶│ Dekodieren│───▶│ Bild     │
└─────────────┘     └──────────────┘     └──────────┘     └──────────┘     └──────────┘
                         ▲
                         │
                   ┌──────────────┐
                   │ Negativer    │
                   │ Prompt       │
                   └──────────────┘

Refiner‑Workflows

Ein schnelles Basismodell erzeugt ein Bild, danach wird es mit einem detailorientierten Modell verfeinert. Community‑Knoten wie Unsampler erlauben ein reverses Diffusionsverfahren, das Bildrauschen zu entfernen und anschließend mit anderen Charakteristiken wieder hinzuzufügen.

Modell‑Merging

ComfyUI kann Modelle zur Laufzeit miteinander verbinden. Man kann die Komposition eines Modells mit dem Stil eines anderen kombinieren, indem man sie in einem Merge‑Node zusammenführt. Diese Flexibilität erlaubt es, hybride Ästhetiken zu erzeugen, die kein einzelnes Modell allein erreichen kann.

ControlNet‑Integration

Mit Edge‑Detection, Tiefenkarten, Posenskeletten oder Normalen‑Maps lässt sich die Bildgenerierung steuern. ControlNet‑Knoten übermitteln solche Konditionierungsdaten gleichzeitig über mehrere Kanäle, sodass die Struktur des Bildes (z. B. die Pose einer Person) exakt vorgegeben werden kann. Das Ergebnis folgt den gewünschten räumlichen Vorgaben, anstatt rein zufällig zu variieren.

Hochauflösendes Upscaling

Ein zweistufiger Prozess, bei dem zunächst ein hoch‑noise‑Modell verwendet wird, um das Bild zu vergrößern, und anschließend ein Detail‑Pass feine Texturen hinzufügt. Der erste Durchlauf entfernt Artefakte, der zweite sorgt dafür, dass keine Schärfe verloren geht – das Ergebnis ist schärfer als ein einzelner Upscaling‑Schritt.

Videogenerierung

Mit Modellen wie Stable Video Diffusion, LTX‑Video und Hunyuan Video kann ComfyUI Bildfolgen oder komplette Videos aus Text‑Prompts erzeugen. Der Knotengraph macht es einfach, Frame‑Interpolation, Upscaling und Farbkorrektur nacheinander zu verknüpfen, sodass für jedes Projekt das optimale Gleichgewicht zwischen Bewegungsflüssigkeit und Bildqualität gefunden werden kann.

LoRA und Textual Inversion

Eigene Stil‑Adapter und Embeddings lassen sich laden und an verschiedenen Stellen des Sampling‑Prozesses mit unterschiedlichen Stärken einsetzen. So können mehrere LoRAs kombiniert werden, um einen impressionistischen Pinselstrich mit einem fotorealistischen Farbton zu verschmelzen, ohne ein komplettes Modell neu zu trainieren.

Unterstützte Modelle (2026)

ComfyUI unterstützt eine umfangreiche Modellbibliothek [1]:

Bildmodelle: Stable Diffusion 1.x und 2.x, SDXL, SDXL Turbo, Stable Cascade, SD3, SD3.5, Flux (Dev und Schnell), Pixart Alpha und Sigma, AuraFlow, HunyuanDiT, Lumina Image 2.0, HiDream und Qwen Image.

Videomodelle: Stable Video Diffusion, Mochi, LTX‑Video und Hunyuan Video.

Audiomodelle: Stable Audio und ACE Step.

3D‑Modelle: Hunyuan3D 2.0.

Erste Schritte

Installationsmöglichkeiten

Desktop‑App (Windows und macOS): Die einfachste Einstiegsmöglichkeit. Download von der Comfy‑Org‑Releases‑Seite [2].

Portable Standalone (Windows): Archiv entpacken und sofort starten – keine Installation nötig.

Python/Pip (plattformübergreifend):

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
pip install -r requirements.txt
python main.py

Docker:

docker run -it \
  --gpus all \
  -v ~/ComfyUI:/home/comfyui/comfyui \
  -p 8188:8188 \
  comfyorg/comfyui:latest

Modelle ablegen

Checkpoint‑Dateien gehören nach ComfyUI/models/checkpoints/. ComfyUI lädt Modelle nicht automatisch herunter.

Der erste Workflow

Der Standard‑Workflow lädt ein Modell, kodiert Prompts und generiert ein Bild.

Wichtige Knoten

Knoten	Funktion
CheckpointLoader	Lädt vollständiges SD‑Modell mit CLIP und VAE
CLIPTextEncode	Wandelt den Prompt in einen Konditionierungstensor um
KSampler	Der zentrale Sampling‑Ablauf
VAEDecode	Wandelt Latent in Pixelbild um
VAEEncode	Wandelt Pixelbild in Latent um
LoraLoader	Wendet einen Stil‑Adapter an
ControlNetApply	Wendet ControlNet‑Konditionierung an
ImageUpscaleWithModel	Upskalierung mit ESRGAN/SwinIR
LoadImage	Lädt Eingabebild für img2img

Community‑Knoten

Das ComfyUI‑Ökosystem verfügt über eine enorme Bibliothek zusätzlicher Knoten:

• ComfyUI‑Manager: Ein‑Klick‑Installation von benutzerdefinierten Knoten und Modellen
• ComfyUI‑Impact: Erkennungsknoten für Gesichter, Tiere und Produkte
• ComfyUI‑Advanced‑ControlNet: Erweiterte ControlNet‑Unterstützung
• ComfyUI‑Flux: Knoten für Flux‑Modelle
• ComfyUI‑Noise: Der Unsampler‑Knoten und fortgeschrittene Sampling‑Steuerung

Das vollständige Verzeichnis steht im ComfyUI‑Registry [3] zur Verfügung.

Tipps für die Leistung

1. Nur benötigte Modelle laden – jedes überflüssige Modell belegt wertvollen VRAM und verlängert den Start.
2. Caching aggressiv nutzen – ein reiner Prompt‑Wechsel ist fast sofort wirksam; ein Modell‑Wechsel erfordert jedoch ein erneutes Laden, das durch Wiederverwendung gespeicherter Latents vermindert werden kann.
3. Quantisierte Modelle einsetzen – Formate wie Q4_0, Q5_K_S oder Q6_K reduzieren den VRAM‑Verbrauch, ohne die Bildqualität merklich zu beeinträchtigen.
4. Ausführungsreihenfolge beachten – per Rechtsklick kann man Zweige vorübergehend ausblenden oder trennen, um sich auf den zu debuggenden Teil des Graphen zu konzentrieren.

Wann ComfyUI sinnvoll ist

ComfyUI ist die richtige Wahl, wenn

• volle Kontrolle über jede Generierungs‑Parameter haben möchte,
• reproduzierbare Workflows teilen und versionieren will,
• Ressourcen auf limitierter Hardware effizient einsetzen will,
• Zugriff auf fortgeschrittene Techniken wie Modell‑Merging, Unsampling oder erweiterte ControlNet benötige.

Für einfachere Werkzeuge ist es besser, wenn

• schnell Ergebnisse ohne Konfiguration erwarte,
• mobile oder web‑basierte Interfaces bevorzugen,
• keinerlei Setup‑Zeit investieren möchte.

Das größere Bild

ComfyUI verkörpert eine Philosophie: die Maschine lesbar machen. Anstatt die Komplexität hinter einer „magischen“ Schaltfläche zu verstecken, legt die Oberfläche den gesamten Prozess offen, sodass man ihn verstehen, modifizieren und erweitern kann. Diese Haltung hat ein bemerkenswertes Ökosystem hervorgebracht – Workflows zirkulieren als Bilder auf Civitai und Reddit, Forschende reproduzieren wissenschaftliche Papers damit, und Künstler bauen maßgeschneiderte Pipelines für ihre Projekte.