Mein Roboter-Maskottchen lernt neue Jobs: ein ComfyUI-Workflow mit Flux.2 Klein

Mein Maskottchen ist ein kleiner Blechdosen-Roboter: grauer, eckiger Kopf mit breitem Grinsen, weiße Kappe, goldene Kette und das gelbe MagicWeb-Logo auf der Brust. Bisher gab es ihn genau in drei Posen. Für Blogbeiträge, Social Media und Fehlerseiten wollte ich ihn aber in beliebigen Situationen zeigen: beim Kochen, an der E-Gitarre, im Garten. Und zwar so, dass er jedes Mal aussieht wie er und nicht wie ein entfernter Verwandter.

Herausgekommen ist ein ComfyUI-Workflow, der genau das kann: Man tippt ein, was der Roboter tun soll, klickt auf Run und bekommt nach rund einer Minute vier fertig freigestellte Varianten. Alles läuft lokal auf dem eigenen Rechner, ohne Cloud-Dienst.

Die Ausgangslage: drei Vorlagen

Das Einzige, was ich hatte, waren diese drei Bilder. Ein eigenes Modell (LoRA) darauf zu trainieren wäre mit so wenig Material mühsam. Ich habe deshalb ein Bildmodell gesucht, das Referenzbilder direkt versteht und den Charakter daraus übernimmt.

Modellwahl: vom großen zum kleinen Modell

Der erste Versuch lief mit Qwen-Image-Edit 2511, einem 20-Milliarden-Parameter-Modell, das auf Bildbearbeitung mit Referenzen spezialisiert ist. Auf meiner Hardware (AMD Radeon RX 9070 XT mit 16 GB, ROCm unter Linux) hat das leider nicht funktioniert: Die speicherschonenden fp8-Varianten lieferten nur schwarze Bilder, und die volle Version ist mit 41 GB zu groß für den Grafikspeicher. Das Auslagern führte zu Rechenfehlern und Abstürzen.

Die Lösung war ein deutlich kleineres Modell: Flux.2 Klein 4B. Es kann ebenfalls mehrere Referenzbilder verarbeiten, braucht nur 4 Rechenschritte pro Bild und ist für einen flachen Comic-Stil wie meinen völlig ausreichend. Ein Bild dauert damit etwa 13 Sekunden.

So ist der Workflow aufgebaut

• Referenzen: Alle drei Vorlagen werden auf weißen Hintergrund gesetzt, in den latenten Raum des Modells übersetzt (VAEEncode) und über ReferenceLatent an die Bildbeschreibung gehängt. Das Modell „sieht“ den Roboter also dreimal aus verschiedenen Blickwinkeln.
• Prompt aus Bausteinen: Eine feste Einleitung, die frei eingegebene Tätigkeit und ein fester Stil-Text werden zusammengesetzt. Der Stil-Text beschreibt jedes Detail des Roboters: Kopfform, Zähne, Kappe mit Nähten und Schirm nach links, Kette, gerippte Arme und Zangenhände. Im Alltag ändert man nur das grüne Feld „Tätigkeit“.
• Vier Varianten pro Klick: Das Modell interpretiert eine Szene jedes Mal etwas anders. Statt einzeln neu zu würfeln, entstehen gleich vier Bilder im Batch, aus denen man das beste auswählt.
• Freistellen: Das Ergebnis wird automatisch als PNG mit transparentem Hintergrund gespeichert und lässt sich direkt in Webseiten oder Grafiken einsetzen.

Der knifflige Teil: sauber freistellen

Für das Freistellen nutze ich BiRefNet, ein KI-Modell zur Hintergrundentfernung, das ComfyUI inzwischen von Haus aus mitbringt. Bei meinem Roboter hatte es aber ein Problem: Weiße Flächen in der Figur hielt es für Hintergrund. Die Kappe, die Zähne oder ein Blatt Papier wurden durchsichtig.

Der erste Fix füllte alle Löcher in der Figur wieder auf. Damit wurden aber auch echte Lücken weiß, etwa der Raum unter einem Tisch oder zwischen den Beinen (Bild 2).

Die endgültige Lösung ist ein alter Trick aus dem Film, der Greenscreen, nur in Magenta: Der Roboter wird gleich auf knallig magentafarbenem Hintergrund generiert (Bild 1). Ein kleiner selbst geschriebener ComfyUI-Node liest die Hintergrundfarbe am Bildrand ab und macht genau diese Farbe durchsichtig, auch in jeder geschlossenen Lücke. Weiß bleibt weiß, weil es eben nicht magenta ist. Zum Schluss rechnet der Node noch den rosa Farbstich aus den Kanten heraus (Bild 3).

Warum Magenta und nicht Grün? In meinen Motiven kommen ständig grüne Dinge vor: Platinen, Pflanzen, Gießkannen. Reines Magenta dagegen ist im Roboter und in fast allen Alltagsgegenständen nicht zu finden.

Ergebnisse: zehn neue Jobs

Hier zehn Tätigkeiten, jeweils die beste von vier Varianten, direkt aus dem Workflow:

Kappe, Kette, Logo und die typischen gerippten Arme bleiben in allen Bildern erhalten. Kleidung aus der Beschreibung (Laborkittel, Feuerwehrjacke, Schürze) zieht er sich passend über.

Tipps aus der Praxis

• Englisch beschreiben und konkrete Gegenstände nennen: „stirring a big pot on a stove“ funktioniert besser als nur „cooking“.
• Keine pinken oder lila Gegenstände verlangen, die würden mit dem Hintergrund ausgestanzt.
• Seed merken: Gefällt eine Variante, lässt sie sich mit demselben Seed jederzeit exakt wiederholen.
• AMD/ROCm: Auf Radeon-Karten liefen bei mir fp8-Modelle nicht zuverlässig. Mit bf16-Modellen und den Startoptionen --disable-dynamic-vram --disable-pinned-memory war ComfyUI stabil.

Sei der erste!