Kako ustvariti realistične avatarje s Stable Diffusion in ComfyUI

¿Kako ustvariti realistične avatarje s Stable Diffusion + ComfyUI? Ustvarjanje realističnega in doslednega avatarja s Stable Diffusion in ComfyUI je vse bolj dosegljiv cilj, vendar zahteva nekaj tehnike in dobre presoje. Ključno je ohraniti identiteto (obrazne poteze, pričesko, strukturo) ob hkratnem spreminjanju ozadja, osvetlitve in izrazov., kar pogosto zahteva kombinacijo poteka dela, specifičnih vozlišč in včasih pomožnih modelov, kot sta LoRA ali vgradnje.

Mnogi uporabniki se soočajo z isto težavo: z referenčno sliko dosežejo dobro podobnost v enem posnetku, v naslednjem pa se pričeska ali barva oči spremeni. Slišali ste že za vgrajevanje (besedilno inverzijo), LoRA in ControlNet, zato se sprašujete, kateri pristop je pravi za vas.Poleg tega se še naprej pojavljajo možnosti, kot sta IP-Adapter in InstantID, za izboljšanje skladnosti obrazov. V tem članku obravnavamo najpogostejša vprašanja: ali zadostuje ena sama referenca, ali je bolje konfigurirati LoRA ali uporabiti vdelave in katera vozlišča/konfiguracije najbolje delujejo v ComfyUI za doseganje stabilnih avatarjev.

Kaj mislimo z doslednostjo v avatarju?

Ko govorimo o doslednosti, mislimo, da lik ostane prepoznaven na več slikah. Gre za ohranjanje bistvenih značilnosti (oblika obraza, oči, nos, ustnice, lasje) in »občutek« subjekta tudi če se igramo s pozo, odpiranjem ust, trdo svetlobo ali kompleksnim ozadjem.

Ta skladnost izhaja iz »zasidranja« identitete v generacijskem procesu. Če model ne prejme dovolj signalov o tem, kdo je subjekt, bo nagnjen k improvizaciji in odstopanju.; zato je smiselno uporabiti vizualne reference, module identitete ali majhne prilagoditve po meri (LoRA, vdelave) za okrepitev podobnosti.

Poleg tega je treba ločiti, kateri elementi se lahko spremenijo, ne da bi pri tem kršili identiteto, in kateri ne. Ozadje, oblačila, izraz in svetlobna shema so varne spremenljivke; oblika oči, barva šarenice, linija las in struktura kosti, ne toliko. Natančna nastavitev te meje je velik del dela.

Ali je to mogoče doseči z eno samo sliko v ComfyUI?

Kratek odgovor je: da, z niansami. Če uporabljate tehnike zaznavanja obrazov, kot sta IP-Adapter (FaceID) ali InstantID, in nadzorujete raven šuma, je lahko dovolj že ena sama fotografija. v img2img ali moč pogojevanja. Seveda mora biti fotografija jasna, dobro osvetljena in posneta iz frontalnega ali polprofilnega vidika, z jasnimi potezami obraza.

Pri ComfyUI je tipičen pristop kombinacija referenčnega vozlišča za obraz z dobro definiranim pozivom in stabilnim vzorčevalnikom. Vizualno pogojevanje »sili« model, da spoštuje značilnosti, medtem ko poziv narekuje slog, ozadje ali osvetlitev.Če potrebujete veliko različnih poz, se za vodenje poze zanesite na ControlNet (OpenPose), ki ne bo popačil obraza.

Vendar ima ena sama slika svoje omejitve: lahko se "preveč nauči" specifičnega izraza ali osvetlitve na tej fotografiji. Če iščete maksimalno natančnost in vsestranskost, 6–20 referenčnih slik izboljša posplošitev.in po potrebi lahka LoRA, usposobljena na vaših fotografijah, zagotavlja vrhunsko doslednost med posnetki.

Vdelave, LoRA ali fino nastavljanje: Kako izbrati

Obstajajo tri glavne poti do prilagajanja identitete: vdelave (besedilna inverzija), LoRA in popolna natančna nastavitev. Vdelave naučijo CLIP nov žeton, ki predstavlja vaš subjekt., z malo MB in razmeroma hitrim učenjem, vendar je njegova moč v primerjavi z LoRA omejena.

Dobro usposobljena LoRA pa vbrizga zmogljivost v plasti modela, da natančneje zajame značilnosti. Z 10–30 različnimi portreti (koti, izrazi, svetloba) in zmerno vadbo lahko dosežete zelo visoko doslednost. v formatu SD 1.5 ali SDXL, pri čemer se ohrani majhna velikost datoteke (več deset MB). To je za večino idealna izbira.

Popolna natančna nastavitev kontrolne točke je rezervirana za zelo specifične produkcije. Je drago, zahteva veliko podatkov in prepiše celoten slog modela.V praksi je za osebne avatarje običajno zadosten lahek LoRA ali dober cevovod za referenciranje obrazov.

Priporočena vozlišča in bloki v ComfyUI

Tipičen graf za skladnost združuje osnovno kontrolno točko, kodirnike besedila, stabilen vzorčevalnik in module za identiteto/nadzor. To so najbolj uporabni bloki in kako se igrajo skupaj:

• Kontrolna točka + VAENaložite SD 1.5 ali SDXL (odvisno od vaših estetskih in virskih preferenc). SDXL zagotavlja podrobnosti, vendar zahteva več VRAM-a.
• Kodiranje besedila CLIP (pozitivno/negativno)Jasni pozivi, ki omenjajo žeton subjekta (če uporabljate LoRA ali vdelavo) in navodila za slog/prizor.
• KSamplerDPM++ 2M Karras stabilen vzorčevalnik, 20–35 korakov, CFG 4–7 na SDXL (6–9 na SD1.5), fiksno seme za ponovljivost.
• IP-adapter / InstantID: negovalni učinek na obraz za ohranjanje lastnosti prilagodite moč (0.6–0.9) glede na odstopanja.
• ControlNet (Odprta poza/Globina/Prebrisano): Nadzoruje pozo, glasnost in konturo, medtem ko identiteta ostaja zasidrana z IP-adapterjem/LoRA.
• Nalagalnik LoRAV LoRA subjekta vbrizgajte uteži od 0.6 do 1.0; če popači slog, zmanjšajte težo ali zmanjšajte CFG.
• Img2Img / Polaganje ploščicZa mehke variacije uporabite odpravljanje šuma 0.2–0.45; višje vrednosti uničijo identiteto.

Na podlagi tega je najstabilnejša kombinacija običajno: LoRA za subjekt + FaceID IP-adapter + Pose ControlNetLoRA definira značaj, IP-Adapter popravlja fine poteze, ControlNet pa vam daje svobodo spreminjanja kadriranja in drže.

Osnovni potek po korakih (ComfyUI)

Za začetek lahko zgradite minimalen, robusten pretok. V pomoč vam bo ne glede na to, ali začnete s čistim besedilom ali če naredite manjše spremembe slike.:

1. Kontrolna točka obremenitve (SDXL ali SD1.5) in Naloži VAE.
2. Kodiranje besedila CLIP (pozitivno)Opišite subjekt z njegovim žetonom ali, če ni LoRA, z značilnostmi: »mlada odrasla oseba, kratki rjavi lasje, zelene oči, ovalen obraz« + želeni slog (»kinematografski portret, mehka svetloba«).
3. Kodiranje besedila CLIP (negativno): vključuje artefakte, ki se jim je treba izogniti ("zamegljeni, deformirani, dodatni prsti, nedosledne oči, napačna barva las").
4. IP-adapter / InstantIDPovežite referenčno sliko in nastavite začetno jakost na 0.75 (prilagodite 0.6–0.9). Če uporabljate samo eno fotografijo, jo obrežite glede na obraz in zagotovite pravilno osvetlitev.
5. ControlNet poze (neobvezno): definirajte pozo, če želite različne izraze/kretnje brez izgube identitete.
6. KSamplerDPM++ 2M Karras, 28–32 korakov, CFG 5.5–7 (SDXL: teži k nekoliko nižjemu CFG). Fiksno seme za primerljive vrednosti.
7. Dekodiranje VAE in po potrebi tudi upscaler (4x-UltraSharp, ESRGAN ali SDXL Refiner za natančne podrobnosti).

Če že imate LoRA subjekta, ga dodajte pred vzorčevalnik z utežjo 0.8 (začnite z nizko in jo povečujte, če ni podobnosti). Z zanesljivo LoRA lahko zmanjšate moč IP-adapterja, pri čemer LoRA upravlja identiteto, IP-adapter pa jo le »popravi«.

Parametri, ki naredijo razliko

Pri uglaševanju skladnosti so odločilne majhne spremembe parametrov. Nadzor moči kondicioniranja, odpravljanje šuma in semena vam zagotavlja resnično stabilnost:

• Odstranjevanje šuma v img2img: 0.2–0.45 ohranja značilnosti in omogoča spreminjanje osvetlitve/ozadje. Od 0.55 naprej se identiteta stopi.
• Lestvica CFGČe je slika »prisiljena« in popačena, znižajte CFG; če model prezre vaš poziv, ga zvišajte za pol točke.
• Vzorčevalnik/korakiDPM++ 2M Karras ali SDE Karras s 24–32 koraki običajno dajeta dosledne rezultate brez artefaktov.
• Seme: Nastavi seme za primerjave. Za blage variacije uporabite »seme variacije« z močjo 0.1–0.3.
• Resolucija768–1024 na daljši strani poudari fine obrazne poteze. Pri SDXL je 1024 idealna izbira za podrobnosti.

Če se barva las ali oči spremeni, v negativu dodajte "napačna barva las, sprememba barve, nedosledna barva oči" in ponovite. Prav tako pomaga, če v vsak posnetek vnesemo barvo kot del pozitivnega vzpodbudnega namiga. da se prepreči, da bi model bil "pozabljen".

Izrazi, ozadja in osvetlitev brez izgube identitete

Za spremenljive izraze (nasmeh, presenečenje, odprta usta) se zanašajte na ControlNet OpenPose ali, še bolje, predprocesor obraznih orientacijskih točk, ko bo na voljo. Nadzor geometrije ploskve zmanjša deformacije in preprečuje, da bi model izumil značilnosti..

Pri osvetlitvi jasno oblikujte shemo: "softbox z leve", "robna svetloba", "zlata ura". Uporaba okoljskih referenc (miselni HDRI, opisi v studiu) vodi sence, ne da bi to vplivalo na identitetoČe se ton kože spremeni, v pozivu dodajte »usklajenost tona kože« ali nastavite barvno temperaturo.

Za kompleksna ozadja uporabite ControlNet Depth ali Canny pri nizki jakosti (0.35–0.55) in ob pozivu opišite okolje. IP-adapter/LoRA bi moral imeti večjo težo kot ozadje ControlNet. da obraz ni onesnažen s tujimi konturami.

Ko želite spremeniti svoj videz (oblačila/dodatke), jih vnesite besedilno in omilite težo LoRA, če vedno »vleče« isto obleko. LoRA-ji lahko preglasijo estetske podrobnosti; uravnotežijo uteži, da se pošljejo novi pozivi..

Usposabljati ali ne: praktične smernice za LoRA/vgrajevanje

Če referenca na obraz ni dovolj, razmislite o LoRA subjekta. Uporabite 10–30 fotografij z različnimi koti, izrazi, ozadjem in osvetlitvijo (vendar naj bo vaš obraz čist in oster).Obrežite krajšo stran na 512–768 slikovnih pik, uravnotežite moško/žensko spolnost, če je vaša osnova splošna, in si zapišite ime žetona.

Vodilni parametri učenja (SD1.5): rang 4–8, alfa enaka rangu, stopnja učenja 1e-4 do 5e-5, 2k–6k korakov z majhno serijo. Izogibajte se pretiranemu treningu; če vidite "klon" ene same fotografije, zmanjšajte število korakov ali dodajte več raznolikosti.Na SDXL uporabite višje ločljivosti in porabite več VRAM-a.

Za vdelave (inverzijo besedila) lahko deluje 3–10 fotografij, vendar boste za stabilnost potrebovali več korakov. Vgradnje imajo manjši vpliv na splošno estetiko in tehtajo zelo malo., idealno, če želite žeton za večkratno uporabo brez upravljanja LoRA.

Kakovost, skaliranje in retuširanje

Ko je osnovna slika ustvarjena, uporabite 2–4-kratni skaler (ESRGAN, 4x UltraSharp) ali izpopolnjevalec SDXL za podrobnosti obraza. Rafinator lahko popravi kožo in oči brez vnosa artefaktov, še posebej, če obdržite seme in isti poziv.

Za popravljanje določenih oči/ust lahko uporabite ADetailer ali vozlišča za obnovo obraza. Popravite lokalne napake, hkrati pa ohranite preostanek kompozicijeIzogibajte se ostrim filtrom, ki kožo "plastificirajo"; namesto tega natančno nastavite ostrino in mikrokontrast.

Odpravljanje pogostih težav

Če se pričeska med posnetki spremeni, je težava običajno pretiran hrup ali dvoumni namigi. Zmanjšajte šum/CFG, poudarite "kratke rjave lase" ali v vsakem pozivu določite posebno pričeskoČe uporabljate LoRA, povečajte njegovo težo za 0.1.

Če se barva oči razlikuje, dodajte »zelene oči, enakomerna barva oči« in v nikalnem zapišite »neenakomerna barva oči, heterokromija«. IP-Adapter/InstantID pomagata tudi pri podrobnostih šarenice ko je referenca zelo jasna.

Če slog »požre« identiteto (npr. močan slog LoRA), zmanjšajte njegovo težo ali povečajte težo predmetnega LoRA. Uravnoteženje uteži je bistveno, da se izognemo žrtvovanju podobnosti.Druga možnost je znižanje CFG, da model ne bi toliko vsiljeval sloga.

Če so variacije minimalne, nekoliko povečajte odpravljanje šuma (0.05–0.1) ali uporabite seme variacije. Malo naključnosti ustvarja raznolikost, ne da bi pri tem motilo funkcije.

Skupnosti in standardi: Kje se učiti in deliti

Skupnost Stable Diffusion na Redditu je ogromna in zelo aktivna. V /r/StableDiffusion lahko objavljate umetnine, postavljate vprašanja, razpravljate in prispevate k novim odprtim tehnikam.Ni uradni forum, vendar je njegov namen podpirati odprtokodni ekosistem in vam pomagati pri izboljšavah.

Podreddit ComfyUI, ki je tudi skupnostni/neuradni, je odličen kraj za deljenje delovnih procesov, vprašanj in nasvetov. Prosim, da objave ostanejo SFW, ne promovirate plačljivih prenosov, ostanite pri temi in predvsem bodite prijazni.Neupoštevanje rezultatov drugih bo povzročilo prepoved, priporočljivo pa je, da svojega vira ne preobremenjujete s preveč objavami zapored.

Raziskovanje niti, kjer so priloženi grafi in parametri, je odličen način za pospešitev učenja. Ogled primerjalnih vrednosti s fiksnimi semeni, utežmi LoRA in referenčnimi slikami vam pokaže, katere nastavitve dejansko delujejo. v praksi.

Od fotografije do videa z zvokom: StableAvatar

Če želite iti še korak dlje in imeti avatarja, ki »govori« z zvokom, si oglejte StableAvatar. Gre za ogrodje za ustvarjanje visokokakovostnih, časovno doslednih videoposnetkov govorečih glav, potencialno neomejene dolžine., začenši z zvočnim posnetkom.

Po navedbah avtorjev osnovni model z –GPU_memory_mode=»model_full_load» za 5-sekundni posnetek pri 480x832 in 25 sličicah na sekundo potrebuje približno 18 GB VRAM-a in konča v približno 3 minutah na grafičnem procesorju 4090. To daje jasno predstavo o potrebnih virih in možni zmogljivosti na sodobni strojni opremi.Koda in model sta na voljo na: https://github.com/Francis-Rings/StableAvatar

Ekipa trdi, da bo za sistem potrebna specifična LoRA/natančnejša nastavitev. To odpira vrata za nadaljnje prilagajanje avatarja in njegovega sloga obraza., pri čemer sidramo identiteto, kot to počnemo v statičnih slikah, vendar v koherentnih video zaporedjih.

Neposredni odgovori na tri ključna vprašanja

1) Ali lahko ustvarim dosledne avatarje neposredno v ComfyUI samo z referenčno sliko? Da, z uporabo IP-Adapterja (FaceID) ali InstantID-ja in robustnega pretoka z nadzorovanim odstranjevanjem šuma in fiksnim semenom. Fotografija mora biti jasna in od spredaj; z eno samo referenco obstajajo omejitve ekstremnih variacij, vendar za portrete in zmerne spremembe deluje zelo dobro.

2) Ali naj razmislim o natančnejšem nastavljanju ali uporabi vdelave? Če iščete maksimalno robustnost v številnih prizorih, je lahek LoRA subjekt najboljša možnost. boljše razmerje med trudom in rezultatomVdelave (besedilna inverzija) so lažje, vendar zajamejo manj odtenkov. Popolna natančna nastavitev je redko potrebna, razen pri zelo specifičnih produkcijah.

3) Kakšna bi bila priporočena konfiguracija vozlišč ali tehnike v ComfyUI? Checkpoint + VAE + CLIP Text Encode (poz./neg.) + KSampler (DPM++ 2M Karras, 24–32 korakov, CFG 5–7) + IP-Adapter/InstantID + ControlNet (poz./glob. odvisno od prizora). Obremeni LoRA subjekta s težo 0.6–1.0 in nekoliko zmanjšajte moč IP-adapterja, da se bosta oba dopolnjevala.

4) Kaj pomeni stabilna difuzija in čemu služi? Še več vam povemo v tem članku.

Ne pozabite, da sta skupnosti /r/StableDiffusion in ComfyUI odprti prostori, kjer lahko delite primere, prosite za povratne informacije in odkrivate nove trike. Naj bo vaša vsebina SFW (prosto fizična), izogibajte se promociji plačljivih prenosov in bodite previdni pri tonu do tistih, ki šele začenjajo.; med vsemi se raven zelo hitro dvigne.

Z dobrim izhodiščem (IP adapter/takojšnji ID), fiksnim semenom, jasnimi pozivi in ​​nadzorom šuma lahko zdaj dosežete dosledne portrete s spreminjanjem nastavitev, gest in osvetlitve. Če LoRA trenirate tudi z 10–30 različnimi fotografijami, se podobnost znatno poveča., in z vajo vam bo fino uglaševanje ControlNeta in naknadne obdelave dalo solidne rezultate tudi pri visoki ločljivosti. Za tiste, ki želijo iti še dlje, StableAvatar kaže, da se lahko ista ideja dosledne identitete s pravimi viri uporabi tudi pri videoposnetkih, ki jih poganja zvok.