Hoe om realistiese avatars te skep met Stable Diffusion en ComfyUI

¿Hoe om realistiese avatars te skep met Stable Diffusion + ComfyUI? Om 'n realistiese en konsekwente avatar met Stable Diffusion en ComfyUI te skep, is 'n toenemend haalbare doelwit, maar dit vereis 'n bietjie tegniek en goeie oordeel. Die sleutel is om identiteit (gesigstrekke, haarstyl, struktuur) te behou terwyl die agtergrond, beligting en uitdrukkings gevarieer word., wat dikwels 'n kombinasie van werkvloei, spesifieke nodusse en soms hulpmodelle soos LoRA of inbeddings vereis.

Baie gebruikers ondervind dieselfde probleem: met 'n verwysingsbeeld bereik hulle 'n goeie ooreenkoms in een skoot, maar in die volgende verander die haarstyl of oogkleur. Jy het al gehoor van inbedding (tekstuele inversie), LoRA en ControlNet, en dis normaal om te wonder watter benadering reg is vir jou.Daarbenewens bly opsies soos IP-Adapter en InstantID na vore kom om gesigkonsekwentheid te verbeter. In hierdie artikel spreek ons ​​die mees algemene vrae aan: of 'n enkele verwysing voldoende is, of dit beter is om 'n LoRA te konfigureer of inbeddings te gebruik, en watter nodusse/konfigurasies die beste in ComfyUI werk om stabiele avatars te verkry.

Wat bedoel ons met konsekwentheid in 'n avatar?

Wanneer ons oor konsekwentheid praat, bedoel ons dat die karakter oor verskeie beelde herkenbaar bly. Dit gaan oor die behoud van die noodsaaklike kenmerke (vorm van die gesig, oë, neus, lip, hare) en die "gevoel" van die onderwerp. selfs al speel ons met pose, mondopening, harde lig of komplekse agtergronde.

Hierdie samehang spruit uit die "verankering" van identiteit in die genereringsproses. Indien die model nie genoeg seine ontvang oor wie die subjek is nie, sal dit geneig wees om te improviseer en af ​​te wyk.; daarom maak dit sin om visuele verwysings, identiteitsmodules of klein persoonlike aanpassings (LoRA, inbeddings) te gebruik om ooreenkoms te versterk.

Daarbenewens is dit nodig om te skei watter elemente kan verander sonder om die identiteit te verbreek en watter nie. Agtergrond, klere, uitdrukking en beligtingskema is veilige veranderlikes; oogvorm, iriskleur, haarlyn en beenstruktuur, nie soseer nie. Die fyn afstem van daardie grens is 'n groot deel van die werk.

Is dit moontlik om dit met 'n enkele beeld in ComfyUI te bereik?

Die kort antwoord is: ja, met nuanses. 'n Enkele foto kan genoeg wees as jy gesigverwysingstegnieke soos IP-adapter (FaceID) of InstantID gebruik en die geraasvlak beheer. in img2img of die sterkte van kondisionering. Natuurlik moet die foto duidelik, goed belig en frontaal of semi-profiel wees, met duidelike kenmerke.

Met ComfyUI is 'n tipiese benadering om 'n gesigverwysingsknooppunt te kombineer met 'n goed gedefinieerde prompt en 'n stabiele sampler. Visuele kondisionering “stoot” die model om die kenmerke te respekteer, terwyl die aanwysing styl, agtergrond of beligting dikteer.As jy baie variasie in houding benodig, vertrou op ControlNet (OpenPose) om die houding te lei sonder om die gesig te verdraai.

'n Enkele beeld het egter sy beperkings: dit kan die spesifieke uitdrukking of beligting in daardie foto "oorleer". As jy op soek is na maksimum getrouheid en veelsydigheid, verbeter 6–20 verwysingsbeelde veralgemening., en, indien nodig, bied 'n liggewig LoRA wat op jou foto's opgelei is, uitstekende skoot-tot-skoot-konsekwentheid.

Inbeddings, LoRA, of Fyn-afstemming: Hoe om te kies

Daar is drie hoofroetes na identiteitsaanpassing: inbeddings (tekstuele inversie), LoRA en volledige fyn afstemming. Inbeddings leer CLIP 'n nuwe teken wat jou onderwerp verteenwoordig., met min MB en redelik vinnige opleiding, maar die krag daarvan is beperk in vergelyking met LoRA.

'n Goed opgeleide LoRA, aan die ander kant, spuit kapasiteit in lae van die model in om kenmerke meer akkuraat vas te lê. Met 10–30 gevarieerde portrette (hoeke, uitdrukkings, lig) en matige opleiding kan jy baie hoë konsekwentheid bereik. in SD 1.5 of SDXL, terwyl 'n klein lêergrootte (tiene MB) gehandhaaf word. Dit is die ideale keuse vir die meeste.

Volledige fyn afstemming van die kontrolepunt is gereserveer vir baie spesifieke produksies. Dit is duur, data-intensief en oorskryf die algehele styl van die model.In die praktyk, vir persoonlike avatars, is 'n liggewig LoRA of 'n goeie gesigverwysingspyplyn gewoonlik voldoende.

Aanbevole nodusse en blokke in ComfyUI

'n Tipiese grafiek vir konsekwentheid kombineer die basiskontrolepunt, teksenkodeerders, 'n stabiele monsternemer en identiteits-/beheermodules. Dit is die nuttigste blokke en hoe hulle saamspeel:

• Kontrolepunt + VAELaai SD 1.5 of SDXL (afhangende van jou estetiese en hulpbronvoorkeure). SDXL verskaf detail, maar benodig meer VRAM.
• CLIP Teks Enkodeer (positief/negatief)Duidelike aanwysings, wat die onderwerpteken (indien LoRA of inbedding gebruik word) en styl-/toneelinstruksies noem.
• KSamplerDPM++ 2M Karras stabiele monsternemer, 20–35 stappe, CFG 4–7 op SDXL (6–9 op SD1.5), vaste saad vir reproduceerbaarheid.
• IP-adapter / Kits-ID: kondisionering per gesig om eienskappe te onderhou; pas sterkte (0.6–0.9) aan volgens afwykings.
• BeheerNet (OpenPose/Diepte/Slim): Beheer pose, volume en kontoer terwyl identiteit geanker bly deur IP-Adapter/LoRA.
• LoRA-laaierSpuit jou onderwerp se LoRA in met gewigte van 0.6–1.0; as dit styl verdraai, verminder gewig of skaal CFG af.
• Img2Img / TeëlwerkVir sagte variasies, gebruik 'n ruisonderdrukking van 0.2–0.45; hoër waardes vernietig identiteit.

Op grond hiervan is die mees stabiele kombinasie gewoonlik: Onderwerp LoRA + FaceID IP-adapter + Pose ControlNetLoRA definieer die karakter, IP-adapter korrigeer fyn kenmerke, en ControlNet gee jou die vryheid om jou raamwerk en postuur te varieer.

Basiese stap-vir-stap vloei (ComfyUI)

Om te begin, kan jy 'n minimale, robuuste vloei bou. Dit sal jou dien of jy nou met suiwer teks begin of as jy geringe variasies van 'n beeld maak.:

1. Laai Kontrolepunt (SDXL of SD1.5) en Laai VAE.
2. CLIP Teks Enkodeer (positief)Beskryf die onderwerp met hul teken of, indien daar geen LoRA is nie, met kenmerke: «jong volwassene, kort bruin hare, groen oë, ovaal gesig» + gewenste styl («kinematiese portret, sagte sleutellig»).
3. CLIP Teks Enkodeer (negatief)sluit artefakte in om te vermy ("vaag, misvormd, ekstra vingers, inkonsekwente oë, verkeerde haarkleur").
4. IP-adapter / Onmiddellike IDVerbind die verwysingsbeeld en stel die aanvanklike sterkte op 0.75 (pas 0.6–0.9 aan). As jy slegs een foto gebruik, sny dit na die gesig en verseker behoorlike blootstelling.
5. ControlNet Pose (opsioneel): definieer pose as jy verskillende uitdrukkings/gebare wil hê sonder om identiteit te verloor.
6. KSamplerDPM++ 2M Karras, 28–32 stappe, CFG 5.5–7 (SDXL: neig na effens laer CFG). Vaste saad vir vergelykbare items.
7. VAE-dekodeer en, indien nodig, 'n opskaler (4x-UltraSharp, ESRGAN, of SDXL Refiner vir fyn detail).

As u reeds 'n Onderwerp se LoRA, voeg dit by voor die monsternemer met gewig 0.8 (begin laag en gaan op indien ooreenkoms ontbreek). Met soliede LoRA kan jy die sterkte van die IP-adapter verminder, sodat die LoRA die identiteit hanteer en die IP-adapter net “korrek” is.

Parameters wat die verskil maak

Wanneer konsekwentheid aangepas word, is klein parameterveranderinge deurslaggewend. Beheer van kondisioneringssterkte, geraasontleding en die saad gee jou ware stabiliteit:

• Geraasdemp in img2img: 0.2–0.45 behou kenmerke en laat variasie van beligting/agtergrond toe. Vanaf 0.55 smelt die identiteit weg.
• CFG-skaalAs die beeld "geforseerd" en verwring is, verlaag die CFG; as die model jou aanwysing ignoreer, verhoog dit met 'n halwe punt.
• Monsternemer/StappeDPM++ 2M Karras of SDE Karras met 24–32 stappe gee gewoonlik konsekwente resultate sonder artefakte.
• SaadStel die saad vir vergelykings. Vir ligte variasie, gebruik 'n "variasiesaad" met 'n sterkte van 0.1–0.3.
• Resolusie: 768–1024 aan die langer kant beklemtoon fyn gesigstrekke. By SDXL is 1024 die ideale plek vir detail.

As haar- of oogkleur verander, voeg "verkeerde haarkleur, kleurverskuiwing, inkonsekwente oogkleur" in die negatiewe by en herhaal. Dit help ook om kleur as deel van die positiewe aansporing in elke skoot bekend te stel. om te verhoed dat die model “vergeet” word.

Uitdrukkings, agtergronde en beligting sonder om identiteit te verloor

Vir veranderlike uitdrukkings (glimlag, verbasing, oop mond), vertrou op BeheerNet OpenPose of, nog beter, 'n voorverwerker van gesiglandmerke wanneer dit beskikbaar word. Die beheer van die geometrie van die vlak verminder vervormings en verhoed dat die model kenmerke uitvind..

In beligting, formuleer die skema duidelik: "sagboks van links", "randlig", "goue uur". Deur omgewingsverwysings (geestelike HDRI, ateljeebeskrywings) te gebruik, word skaduwees gelei sonder om identiteit te beïnvloed.As die velkleur verskuif, voeg "velkleurkonsekwentheid" by of stel die kleurtemperatuur in die aanwysing.

Vir komplekse agtergronde, gebruik ControlNet Depth of Canny teen lae sterkte (0.35–0.55) en beskryf die omgewing by die aanwysing. Die IP-adapter/LoRA behoort meer gewig te hê as die agtergrond ControlNet. sodat die gesig nie deur vreemde kontoere besoedel word nie.

Wanneer jy jou voorkoms (klere/bykomstighede) wil verander, voer dit teksgewys in en versag die gewig van die LoRA as dit altyd dieselfde uitrusting "sleep". LoRA's kan estetiese besonderhede oorskryf; gewigte balanseer sodat nuwe aanwysings gestuur word..

Om op te lei of nie op te lei nie: praktiese riglyne vir LoRA/inbeddings

Indien gesigverwysing nie genoeg is nie, oorweeg 'n LoRA van die onderwerp. Gebruik 10–30 foto's met 'n verskeidenheid hoeke, uitdrukkings, agtergrond en beligting (maar hou jou gesig skoon en skerp).Sny die kort kant tot 512–768 px, balanseer manlik/vroulik as jou basis generalisties is, en let op die tekennaam.

Begeleidende opleidingsparameters (SD1.5): rang 4–8, alfa gelyk aan rang, leertempo 1e-4 tot 5e-5, 2k–6k stappe met klein groepies. Vermy ooroefening; as jy 'n "kloon" van 'n enkele foto sien, verminder stappe of voeg meer verskeidenheid by.Gebruik hoër resolusies op SDXL en neem meer VRAM op.

Vir inbeddings (tekstuele inversie) kan 3–10 foto's werk, maar jy sal meer stappe vir stabiliteit benodig. Inbeddings het minder impak op die algehele estetika en weeg baie min., ideaal as jy 'n herbruikbare teken wil hê sonder om LoRA te bestuur.

Kwaliteit, skalering en retouchering

Sodra die basisbeeld gegenereer is, pas 'n 2–4x-skaaler (ESRGAN, 4x UltraSharp) of die SDXL-verfyner toe vir gesigdetail. Die raffineerder kan vel en oë korrigeer sonder om artefakte in te bring, veral as jy die saad en dieselfde aansporing hou.

Om spesifieke oë/mond reg te stel, kan jy ADetailer of gesigsherstelnodusse gebruik. Korrigeer plaaslike foute terwyl die res van die komposisie behoue ​​blyVermy harde filters wat die vel "plastiseer"; verfyn eerder die skerpte en mikrokontrasinstellings.

Probleemoplossing van algemene probleme

As die haarstyl tussen opnames verander, is die probleem gewoonlik oormatige geraas of dubbelsinnige aanwysings. Verlaag geraasdemping/CFG, versterk "kort bruin hare" of spesifiseer 'n spesifieke haarstyl in elke aanwysingAs jy LoRA gebruik, verhoog die gewig daarvan met 0.1.

As die oë in kleur verskil, voeg "groen oë, konsekwente oogkleur" by en skryf "inkonsekwente oogkleur, heterochromie" in die negatief. IP-Adapter/Onmiddellike ID help ook met irisdetail wanneer die verwysing baie duidelik is.

Indien die styl die identiteit “eet” (bv. ’n sterk styl-LoRA), verminder die gewig daarvan of verhoog die gewig van die onderwerp-LoRA. Dit is noodsaaklik om gewigte te balanseer om te verhoed dat ooreenkomste inboet.Nog 'n opsie is om CFG te verlaag sodat die model nie die styl so forseer nie.

Indien die variasies minimaal is, verhoog die geraasdemping effens (0.05–0.1) of gebruik variasie-saad. 'n Bietjie willekeurigheid skep verskeidenheid sonder om kenmerke te breek.

Gemeenskappe en Standaarde: Waar om te Leer en te Deel

Die Stable Diffusion-gemeenskap op Reddit is enorm en baie aktief. In /r/StableDiffusion kan jy kuns plaas, vrae vra, bespreek en bydra tot nuwe oop tegnieke.Dit is nie 'n amptelike forum nie, maar die doel daarvan is om die oopbron-ekosisteem te ondersteun en jou te help verbeter.

Die ComfyUI subreddit, ook gemeenskaps-/nie-amptelik, is 'n goeie plek om werkvloeie, vrae en wenke te deel. Hou asseblief plasings SFW, moenie betaalde strome bevorder nie, bly by die onderwerp, en bowenal, wees vriendelik.As jy ander mense se resultate ignoreer, sal dit lei tot 'n verbanning, en dit word aanbeveel om nie jou feed met te veel plasings agtereenvolgens te oorlaai nie.

Om drade te verken waar grafieke en parameters aangeheg is, is 'n goeie manier om jou leer te versnel. Deur maatstawwe met vaste sade, LoRA-gewigte en verwysingsbeelde te bekyk, sien jy watter instellings werklik werk. in die praktyk.

Van foto na video met klank: StableAvatar

As jy 'n stap verder wil gaan en 'n avatar wil hê wat "praat" met behulp van klank, kyk na StableAvatar. Dit is 'n raamwerk vir die generering van hoë-trou, temporeel konsekwente praathoofvideo's, moontlik van onbeperkte lengte., beginnende vanaf 'n klankbaan.

Volgens die outeurs benodig die basismodel met –GPU_memory_mode=»model_full_load» ongeveer 18 GB VRAM vir 'n 5-sekonde-snit teen 480x832 en 25 fps en voltooi dit in ongeveer 3 minute op 'n 4090 GPU. Dit gee 'n duidelike idee van die benodigde hulpbronne en die moontlike werkverrigting op moderne hardeware.Kode en model is beskikbaar by: https://github.com/Francis-Rings/StableAvatar

Die span beweer dat daar LoRA/fyninstelling spesifiek vir die stelsel sal wees. Dit maak die deur oop vir verdere aanpassing van die avatar en sy gesigstyl., wat identiteit veranker soos ons in statiese beelde doen, maar in samehangende videoreekse.

Direkte antwoorde op die drie sleutelvrae

1) Kan ek konsekwente avatars direk in ComfyUI skep met net 'n verwysingsbeeld? Ja, met behulp van IP-adapter (FaceID) of InstantID en 'n robuuste vloei met beheerde geraasdemping en 'n vaste saad. Die foto moet duidelik en frontaal weesMet 'n enkele verwysing is daar perke aan uiterste variasie, maar vir portrette en matige veranderinge werk dit baie goed.

2) Moet ek fyn afstelling of inbedding oorweeg? As jy op soek is na maksimum robuustheid oor baie tonele, is 'n liggewig LoRA-onderwerp die beste opsie. beter poging/resultaat-verhoudingInbeddings (tekstuele inversie) is ligter, maar vang minder nuanses vas. Volledige fyn afstemming is selde nodig, behalwe vir baie spesifieke produksies.

3) Wat sou die aanbevole noduskonfigurasie of tegnieke in ComfyUI wees? Kontrolepunt + VAE + CLIP Tekskodering (pos/neg) + KSampler (DPM++ 2M Karras, 24–32 stappe, CFG 5–7) + IP-Adapter/OnmiddellikeID + ControlNet (pos/diepte afhangende van die toneel). Laai LoRA van die onderwerp met gewig 0.6–1.0 en verlaag die krag van die IP-adapter 'n bietjie sodat albei mekaar aanvul.

4) Wat beteken Stabiele Diffusie en waarvoor is dit? Ons vertel jou nog meer in hierdie artikel.

Moenie vergeet dat die /r/StableDiffusion en ComfyUI gemeenskappe oop ruimtes is waar jy voorbeelde kan deel, terugvoer kan vra en nuwe truuks kan ontdek nie. Hou jou inhoud SFW, vermy die bevordering van betaalde strome, en wees versigtig met jou toon met diegene wat pas begin.; tussen almal van hulle styg die vlak baie vinnig.

Met 'n goeie beginpunt (IP-adapter/onmiddellike ID), 'n vaste saad, duidelike aanwysings en ruisonderdrukking, kan jy nou konsekwente portrette bereik deur instellings, gebare en beligting te verander. As jy ook 'n LoRA met 10–30 verskillende foto's oplei, neem die ooreenkoms aansienlik toe., en met oefening, sal die fyn afstelling van ControlNet en naverwerking jou soliede resultate gee, selfs teen hoë resolusie. Vir diegene wat dinge verder wil neem, wys StableAvatar dat dieselfde idee van konsekwente identiteit op oudiogedrewe video met die regte hulpbronne toegepas kan word.