E faʻafefea ona fatuina avatar faʻamaonia ma Stable Diffusion ma ComfyUI

¿E faʻafefea ona fatuina avatar faʻamaonia ma Stable Diffusion + ComfyUI? O le fatuina o se avatar moni ma tumau ma Stable Diffusion ma ComfyUI o se sini e faʻateleina ona ausia, ae e manaʻomia ai sina metotia ma faʻamasinoga lelei. O le ki o le fa'asaoina o le fa'asinomaga (foliga foliga, lauulu, fausaga) a'o fesuia'i talaaga, moli ma fa'aaliga., lea e masani ona manaʻomia se tuʻufaʻatasiga o galuega, nodes patino, ma o nisi taimi faʻataʻitaʻiga fesoasoani e pei o LoRA poʻo faʻapipiʻi.

O le tele o tagata faʻaoga e feagai ma le faʻafitauli tutusa: faʻatasi ai ma se ata faʻasino, latou te ausia se tutusa lelei i le tasi fana, ae i le isi, o le lauulu poʻo le lanu o mata e suia. Ua e fa'alogo e uiga i le fa'apipi'iina (fa'aliliuga o tusitusiga), LoRA, ma le ControlNet, ma e masani lava ona e mafaufau po'o fea le auala e sa'o mo oe.; E le gata i lea, o filifiliga e pei o le IP-Adapter ma le InstantID o loʻo faʻaauau pea ona tulaʻi mai e faʻaleleia atili foliga. I totonu o lenei tusiga, matou te talanoaina fesili sili ona taatele: pe lava se faʻamatalaga se tasi, pe sili atu le faʻatulagaina o se LoRA poʻo le faʻaogaina o mea faʻapipiʻi, ma po o fea nodes/configurations e sili ona aoga i ComfyUI e maua ai avatar mautu.

O le a le uiga o le tumau i se avatar?

Pe a tatou talanoa e uiga i le tumau, o lona uiga o le amio e tumau pea ona iloa i le tele o ata. E uiga i le faatumauina o foliga taua (foliga o foliga, mata, isu, laugutu, lauulu) ma le "lagona" o le mataupu. e tusa lava pe tatou te taʻalo faʻatasi, tatala le gutu, malamalama faigata poʻo faʻalavelave lavelave.

O lenei felagolagoma'i e sau mai le "taula" fa'asinomaga i le fa'agasologa o augatupulaga. Afai e le maua e le faʻataʻitaʻiga ni faailoilo lelei e uiga i le tagata o loʻo i ai, o le a foliga mai e faʻaleleia ma faʻafefe.; o le mafuaaga lena e talafeagai ai le faʻaogaina o faʻamatalaga vaaia, faʻamatalaga faʻamatalaga, poʻo ni tweaks masani laiti (LoRA, faʻapipiʻi) e faʻamalosia ai le tutusa.

E le gata i lea, e tatau ona vavae ese po o fea elemene e mafai ona suia e aunoa ma le motusia o le faasinomaga ma e le mafai. Tala'aga, lavalava, fa'aaliga ma fa'amalama o ni suiga saogalemu; foliga mata, lanu iris, laina lauulu, ma le fausaga o ponaivi, e le tele. O le fa'aleleia lelei o lena tuaoi o se vaega tele o le galuega.

E mafai ona ausia lenei mea i se ata e tasi i ComfyUI?

O le tali puupuu o le: ioe, ma nuances. E mafai ona lava se ata e tasi pe afai e te fa'aogaina faiga fa'asino i foliga e pei ole IP-Adapter (FaceID) po'o le InstantID ma pulea le maualuga ole pisa. i img2img poʻo le malosi o le faʻatulagaina. Ioe, o le ata e tatau ona manino, malamalama lelei, ma luma poʻo semi-profile, ma foliga manino.

Faatasi ai ma ComfyUI, o se faiga masani o le tuʻufaʻatasia lea o se node faʻamatalaga mata ma se faʻamatalaga manino ma se faʻataʻitaʻiga mautu. O le va'aiga va'aia e "tuleia" le fa'ata'ita'iga e fa'aaloalo i foliga, a'o le fa'ata'ita'iga e fa'atonuina le faiga, talaaga po'o moliAfai e te manaʻomia le tele o suiga o le pose, faʻalagolago ile ControlNet (OpenPose) e taʻitaʻia le pose e aunoa ma le faʻaseseina o foliga.

Ae ui i lea, o se ata e tasi e iai ona tapulaʻa: e mafai ona "aʻoaʻoina" le faʻamatalaga patino poʻo le moli i lena ata. Afai o lo'o e su'eina le fa'amaoni maualuga ma le fa'aogaina, 6–20 ata fa'asino e fa'aleleia atili ai le fa'asalalauga lautele., ma, pe a mana'omia, o se LoRA mama ua a'oa'oina i luga o au ata e maua ai le maualuga o le fana-i-fana.

Fa'apipi'i, LoRA, po'o Fa'atonu Fa'alelei: Fa'afefea ona Filifili

E tolu auala autu i le faʻasinomaga faʻasinomaga: faʻapipiʻi (faʻaliliuga tusitusiga), LoRA, ma faʻalogo lelei atoatoa. O fa'apipi'i e a'oa'o ai CLIP se fa'ailoga fou e fa'atusalia ai lau mataupu., fa'atasi ai ma nai MB ma a'oa'oga vave vave, ae fa'atapula'aina lona malosi pe a fa'atusatusa i le LoRA.

O se LoRA ua a'oa'oina lelei, i le isi itu, e tu'iina le malosi i fa'apalapala o le fa'ata'ita'iga e pu'e sa'o atili ai foliga. Faatasi ai ma le 10-30 ata eseese (matau, faʻaaliga, malamalama) ma aʻoaʻoga faʻapitoa e mafai ona e ausia le maualuga maualuga. i le SD 1.5 poʻo le SDXL, aʻo tausia se laʻititi faila faila (sefulu o MB). Ole nofoaga manaia lea mo le tele.

O le fa'amuta atoatoa o le nofoaga e siaki ai e fa'aagaga mo galuega fa'apitoa. E taugata, fa'amaufa'ailoga fa'amaumauga, ma fa'asolo ai le sitaili atoa o le fa'ata'ita'iga.I le faʻatinoga, mo avatars patino, o se LoRA mama poʻo se paipa faʻafeiloaʻi mata e masani lava ona lava.

Fautuaina nodes ma poloka i ComfyUI

O se kalafi masani mo le fa'atasi e tu'ufa'atasia ai le siaki faavae, fa'ailoga tusitusiga, se fa'ata'ita'i mautu, ma fa'asinomaga/pulea modules. O poloka ia e sili ona aoga ma pe faapefea ona latou taaalo faatasi:

• Nofoaga siaki + VAE: Uta SD 1.5 poʻo SDXL (faʻalagolago i lau faʻalelei ma mea e te manaʻo i ai). SDXL e tuʻuina atu faʻamatalaga, ae manaʻomia le tele o VRAM.
• CLIP Text Encode (lelei/leaga): Fa'ailoa manino, ta'ua le fa'ailoga autu (pe a fa'aogaina le LoRA po'o fa'apipi'i) ma fa'atonuga/vaaiga.
• KSampler: DPM++ 2M Karras stable sampler, 20–35 step, CFG 4–7 on SDXL (6–9 on SD1.5), fatu mautu mo le toe gaosia.
• IP-Adapter / InstantID: fa'atonu e ala i foliga ia faatumauina uiga; fetuutuuna'i le malosi (0.6–0.9) e tusa ai ma se eseesega.
• ControlNet (OpenPose/Depth/Canny): Pulea le pose, voluma ma le fa'ata'ita'i a'o fa'amautu le fa'asinomaga ile IP-Adapter/LoRA.
• LoRA Loader: Tu'i le LoRA a lau mataupu ile mamafa ole 0.6–1.0; afai e fa'asese le faiga, fa'aitiitia le mamafa po'o le fa'aititia o le CFG.
• Img2Img / Tiling: Mo suiga vaivai, fa'aaoga le denoise 0.2–0.45; maualuga tau fa'aleagaina fa'asinomaga.

I luga o lenei faavae, o le tuufaatasiga sili ona mautu e masani lava: Mataupu LoRA + FaceID IP-Adapter + Pose ControlNetLoRA fa'amatala uiga, IP-Adapter fa'asa'o foliga lelei, ma ControlNet e tu'uina atu ia te oe le sa'olotoga e fesuia'i ai lau fa'alava ma lou tu.

Fa'asologa fa'asolosolo fa'asolosolo (ComfyUI)

Ina ia amata, e mafai ona e fausia se tafega laʻititi, malosi. O le a fesoasoani ia te oe pe e te amata mai i tusitusiga mama pe afai e te faia ni suiga laiti mai se ata.:

1. Utaina Nofoaga siaki (SDXL poʻo SD1.5) ma uta VAE.
2. CLIP Text Encode (lelei): Fa'amatala le mataupu ma latou fa'ailoga pe, pe a leai se LoRA, fa'atasi ai ma foliga: "talavou matua, pupuu lauulu enaena, lanu meamata mata, foliga oval" + sitaili mana'omia («ata ata tifaga, malamalama ki malu»).
3. CLIP Text Encode (le lelei): e aofia ai mea taua e aloese mai ai ("fa'anenefu, fa'aletonu, tamatamai lima fa'aopoopo, mata le fetaui, sese lanu o lauulu").
4. Fetuunaiga IP / InstantID: Faʻafesoʻotaʻi le ata faʻasino ma seti le malosi muamua i le 0.75 (fetuunai 0.6–0.9). Afai o lo'o e fa'aaogaina na'o le tasi le ata, tipi i luga o foliga ma fa'amautinoa le fa'aalia lelei.
5. ControlNet Pose (filifiliga): fa'amatala le tulaga pe afai e te mana'o i ni fa'aaliga eseese/gaioi e aunoa ma le leiloa o lou fa'asinomaga.
6. KSampler: DPM++ 2M Karras, 28–32 sitepu, CFG 5.5–7 (SDXL: e aga'i atu i lalo teisi CFG). fatu fa'amau mo fa'atusa.
7. VAE Decode ma, afai e tatau ai, a tagata maualuga (4x-UltraSharp, ESRGAN, poʻo le SDXL Refiner mo faʻamatalaga auiliili).

Afai ua i ai sau LoRA a le mataupu, faʻaopoopo i luma o le faʻataʻitaʻiga ma le mamafa 0.8 (amata maualalo ma alu i luga pe a leai se tutusa). Faatasi ai ma LoRA malosi e mafai ona e faʻaitiitia le malosi o le IP-Adapter, fa'atagaina le LoRA e fa'ailoa le fa'asinomaga ma le IP-Adapter na'o le "sa'o".

Parata e faia ai le eseesega

A fa'alogo lelei, o suiga laiti parakalafa e taua tele. O le fa'atonutonuina o le malosi, denoise ma le fatu e te maua ai le mautu moni:

• Denoise i le img2img: 0.2–0.45 o lo'o fa'atumauina foliga ma fa'ataga mo le fesuisuia'i o moli/tua. Mai le 0.55, ua liusuavai ese le faasinomaga.
• Fuafuaga CFGAfai o le ata e "faʻamalosi" ma faʻasese, faʻaititia le CFG; afai e le amana'ia e le fa'ata'ita'iga lau fa'anaunauga, si'i i luga i le afa togi.
• Fa'ata'ita'i/Laasaga: DPM++ 2M Karras poʻo SDE Karras faʻatasi ma 24-32 laasaga e masani ona maua ai faʻaiʻuga faifai pea e aunoa ma ni mea faʻapitoa.
• Seed: Seti le fatu mo faatusatusaga. Mo suiga malie, faʻaaoga se "fatu fesuiaiga" ma le malosi o le 0.1-0.3.
• Iugafono: 768–1024 i le itu umi e fa'aleleia ai foliga matagofie. I SDXL, 1024 o le nofoaga manaia mo auiliiliga.

Afai e suia le lauulu poʻo le lanu o mata, faʻaopopo le "sese le lanu o le lauulu, lanu lanu, lanu mata le tutusa" i le leaga ma toe fai. E fesoasoani fo'i i le fa'ailoaina o le lanu o se vaega o le fa'anaunauga lelei i pu ta'itasi. e puipuia ai le faʻataʻitaʻiga mai le "faagaloina".

Fa'aaliga, talaaga ma moli e aunoa ma le leiloa o le fa'asinomaga

Mo fa'aaliga fesuisuia'i (ataata, ofo, matala gutu), fa'alagolago i ControlNet OpenPose po'o, e sili atu, o se fa'agasolo muamua o fa'ailoga mata pe a avanoa. O le pulea o le geometry o foliga e faʻaitiitia ai le faʻaleagaina ma taofia ai le faʻataʻitaʻiga mai le faʻatulagaina o foliga..

I le moli, faʻamalamalama manino le polokalame: "pusa vaivai mai le agavale", "moli moli", "itula auro". O le fa'aogaina o fa'amatalaga o le si'osi'omaga ( HDRI mafaufau, fa'amatalaga fa'apitoa) e ta'ita'ia ai ata e aunoa ma le afaina ai o le fa'asinomagaAfai e sui le pa'u o le pa'u, fa'aopoopo i ai le "tulaga tutusa o le pa'u" pe seti le vevela lanu i le vave.

Mo fa'alavelave lavelave, fa'aaoga le ControlNet Depth po'o Canny ile malosi maualalo (0.35–0.55) ma fa'amatala le si'osi'omaga ile vave. Ole IP-Adapter/LoRA e tatau ona sili atu le mamafa nai lo le ControlNet pito i tua ina ia aua ne'i pisia foliga i kosi mai fafo.

A e mana'o e sui lau va'aiga (ofu/mea fa'aoga), tu'u i totonu i tusitusiga ma fa'amalulu le mamafa o le LoRA pe a "toso" i taimi uma le ofu tutusa. LoRAs e mafai ona fa'asili fa'amatalaga fa'alelei; faapaleni le mamafa ina ia auina atu ni fa'amatalaga fou..

Le a'oa'oina pe leai fo'i le a'oa'oina: ta'iala fa'atino mo LoRA/embeddings

Afai e le lava le fa'asino i foliga, mafaufau i se LoRA o le mataupu. Fa'aaoga ata e 10–30 e eseese itu, fa'aaliga, talaaga, ma moli (ae ia mama ma ma'ai ou foliga).. Oti le itu pu'upu'u ile 512–768 px, faapaleni le tane/fa'afafine pe afai o lau fa'avae o le fa'alautele, ma matau le igoa fa'ailoga.

Ta'iala mo a'oa'oga (SD1.5): tulaga 4–8, alafa'i tutusa ma le fa'ailoga, fua faatatau a'oa'oga 1e-4 i le 5e-5, 2k–6k la'asaga ma tama'i vaega. Aloese mai le soona toleniina; afai e te vaʻai i se "clone" o se ata e tasi, faʻaititia laʻasaga pe faʻaopoopo atili ituaiga.. I luga o le SDXL, fa'aoga fa'ai'uga maualuluga ma fa'aoga atili VRAM.

Mo fa'apipi'i (fa'aliliuga o tusitusiga), 3–10 ata e mafai ona aoga, ae e te mana'omia nisi la'asaga mo le mautu. O fa'apipi'i e itiiti le a'afiaga i le tulaga fa'alelei atoa ma e la'ititi lava le mamafa., lelei pe afai e te manaʻo i se faʻailoga toe faʻaaogaina e aunoa ma le puleaina o LoRA.

Tulaga lelei, fuaina ma toe fa'afo'i

O le taimi lava e fa'atupu ai le ata fa'avae, fa'aoga se sikola 2-4x (ESRGAN, 4x UltraSharp) po'o le fa'ameamea SDXL mo fa'amatalaga mata. E mafai e le fa'ameamea ona fa'asa'o le pa'u ma mata e aunoa ma le fa'aofiina o mea taulima, aemaise lava pe afai e te tausia le fatu ma le vave lava e tasi.

Ina ia fa'asa'o mata/gutu fa'apitoa, e mafai ona e fa'aogaina le ADetailer po'o le fa'afouga fa'afouga foliga. Fa'asa'o mea sese fa'apitonu'u a'o fa'asaoina le vaega o totoe o le fatugaAloese mai ni filiga malosi e "plasticize" le paʻu; nai lo lena, fa'alelei lelei le ma'ai ma le microcontrast fa'atulagaina.

Fa'afitauli fa'afitauli masani

Afai e suia le lauulu i le va o le ave, o le faʻafitauli e masani lava o le pisa tele poʻo le faʻalavelave faʻafuaseʻi. Lower denoise/CFG, fa'amalosia le "lauulu pupuu enaena" pe fa'amaoti se laulu fa'apitoa i fa'amalosi ta'itasi. Afai e te fa'aogaina le LoRA, fa'aopoopo lona mamafa ile 0.1.

Afai e ese le lanu o mata, faʻaopopo "mata lanu meamata, lanu mata tutusa" ma tusi le "lanu mata e le tutusa, heterochromia" i le leaga. E fesoasoani foi le IP-Adapter/InstantID i fa'amatalaga iris pe a matua manino le mau.

Afai o le sitaili "'ai" le faasinomaga (faataitaiga, se sitaili malosi LoRA), faaitiitia lona mamafa pe faateleina le mamafa o le mataupu LoRA. O le faapaleniina o le mamafa e taua tele e aloese ai mai le ositaulagaina o mea tutusa.O le isi filifiliga o le fa'aititia o le CFG ina ia le fa'amalosia tele e le fa'ata'ita'iga le sitaili.

Afai e la'ititi le eseesega, fa'asili teisi le denoise (0.05-0.1) pe fa'aaoga fatu fua. O sina tuleiga fa'afuase'i e fa'atupuina ai le 'ese'ese e aunoa ma le motusia o foliga.

Nuu ma Tulaga Fa'atonu: O Fea e A'oa'o ma Fa'asoa

Ole Stable Diffusion community ile Reddit e tele ma malosi tele. I /r/StableDiffusion e mafai ona e lafoina ata, fai fesili, talanoaina, ma saofagā i auala fou matala.; E le o se fono aloa'ia, ae o lona agaga o le lagolagoina lea o le fa'alapotopotoga fa'anatura matala ma fesoasoani ia te oe e fa'aleleia.

O le ComfyUI subreddit, faʻapea foʻi ma nuʻu / le aloaia, o se nofoaga lelei e fefaʻasoaaʻi ai galuega, fesili, ma fautuaga. Fa'amolemole tu'u pou SFW, aua le fa'alauiloa alavai totogi, tumau i le autu, ae sili atu i mea uma, ia agalelei.O le le amana'iaina o fa'ai'uga a isi tagata o le a i'u ai i le fa'asa, ma e fautuaina e aua ne'i fa'avevesi lau fafaga i le tele o pou i le laina.

O le su'esu'eina o filo o lo'o fa'apipi'i ai kalafi ma fa'amaufa'ailoga o se auala lelei tele e fa'atelevave ai lau a'oa'oga. O le va'ai i fa'ailoga ma fatu fa'amau, mamafa o le LoRA, ma ata fa'asino e fa'aali atu ia te oe po'o fea fa'atonuga e aoga. i le faatinoga.

Mai ata i le vitio ma leo: StableAvatar

Afai e te manaʻo e alu i se laʻasaga i luma ma maua se avatar e "tautala" faʻaoga leo, siaki StableAvatar. Ose fa'avae mo le fa'atupuina o vitio fa'amaoni maualuga, fa'aauau le tumau, e mafai ona le fa'atapula'aina le umi., amata mai i se pese fa'alogo.

E tusa ai ma ona tusitala, mo se kilipa 5-lua i le 480x832 ma le 25 fps, o le faʻataʻitaʻiga faʻavae ma -GPU_memory_mode=»model_full_load» e manaʻomia pe a ma le 18 GB o le VRAM ma maeʻa pe a ma le 3 minute ile 4090 GPU. O lenei mea e maua ai se manatu manino o punaoa e manaʻomia ma le faʻatinoina o mea faʻaonaponei.. Fa'ailoga ma fa'ata'ita'iga o lo'o maua ile: https://github.com/Francis-Rings/StableAvatar

O lo'o aga'i i luma le 'au o le a iai le LoRA/fa'atonu fa'apitoa ile faiga. Ole mea lea e tatala ai le faitoto'a e fa'amanino atili ai le avatar ma ona foliga., fa'amauina fa'asinomaga e pei ona tatou faia i ata fa'ata'atia, ae i fa'asologa o ata vitio fa'atasi.

Tali tuusa'o i fesili autu e tolu

1) E mafai ona ou faia sa'o avatars i ComfyUI ma na'o se ata fa'asino? Ioe, fa'aaoga le IP-Adapter (FaceID) po'o le InstantID ma se tafega malosi ma le denoise pulea ma se fatu tumau. O le ata e tatau ona manino ma pito i luma; fa'atasi ai ma se fa'amatalaga e tasi e iai tapula'a i le tele o suiga, ae mo ata ma suiga fa'alelei e aoga tele.

2) E tatau ona ou mafaufau e fa'alelei po'o le fa'aogaina o le fa'apipi'i? Afai o loʻo e suʻeina le malosi sili i le tele o vaaiga, o se mataupu LoRA mama o le filifiliga sili lea. sili atu taumafaiga/fuafua i'ugaE fa'apipi'i (fa'aliliuga fa'amatalaga) e mama, ae itiiti ni fa'ailoga e pu'eina. E seāseā mana'omia le fa'amuta atoatoa se'i vaganā ai fa'atinoga fa'apitoa.

3) O le a le faʻatulagaina o le node fautuaina poʻo auala ile ComfyUI? Checkpoint + VAE + CLIP Text Encode (pos/neg) + KSampler (DPM++ 2M Karras, 24–32 step, CFG 5–7) + IP-Adapter/InstantID + ControlNet (pose/depth e faalagolago ile vaaiga). Uta le LoRA ole mataupu ile mamafa 0.6–1.0 ma faʻaititia le mana o le IP-Adapter laʻititi ina ia faʻaoga uma le tasi i le isi.

4) O le a le uiga o le Stable Diffusion ma o le a le uiga? Matou te taʻu atu atili ia te oe i lenei tusiga.

Aua nei galo o le /r/StableDiffusion ma ComfyUI alalafaga o avanoa avanoa e mafai ai ona e faʻasoa faʻataʻitaʻiga, fesili mo faʻamatalaga, ma maua ni togafiti fou. Taofi lau mataupu SFW, aloese mai le faʻalauiloaina o vaitafe totogi, ma faʻaeteete i lou leo ​​ma i latou faatoa amata.; i le va o i latou uma, o le maualuga e maualuga tele.

Faatasi ai ma se amataga lelei (IP Adapter/Instant ID), o se fatu mautu, faʻamatalaga manino, ma le faʻatonutonuina o le denoise, e mafai nei ona e ausia ata faifai pea e ala i le suia o tulaga, taga, ma moli. Afai e te a'oa'oina fo'i se LoRA i ata eseese e 10–30, e matua fa'atupula'ia le tutusa., ma fa'atasi ai ma le fa'ata'ita'iga, fa'amuta lelei le ControlNet ma le fa'agasologa o le fa'agasologa o le a tu'uina atu ia te oe fa'ai'uga mautu e o'o lava ile iuga maualuga. Mo i latou o loʻo manaʻo e faʻalautele mea, StableAvatar o loʻo faʻaalia o le manatu lava e tasi o le faʻasinomaga tutusa e mafai ona faʻaogaina i vitio faʻalogo leo ma punaoa saʻo.