Otu esi emepụta avatars dị adị na Stable Diffusion na ComfyUI

¿Kedu ka esi mepụta avatars dị adị na Stable Diffusion + ComfyUI? Ịmepụta avatar ziri ezi na nke na-agbanwe agbanwe na Stable Diffusion na ComfyUI bụ ihe mgbaru ọsọ a na-enweta na-arịwanye elu, mana ọ chọrọ ntakịrị usoro na ezi uche. Isi ihe bụ ichekwa njirimara (ọdịdị ihu, edozi isi, nhazi) ebe dị iche iche nzụlite, ọkụ na okwu., nke na-achọkarị nchikota nke usoro ọrụ, kpọmkwem ọnụ, na mgbe ụfọdụ ụdị inyeaka dị ka LoRA ma ọ bụ ntinye.

Ọtụtụ ndị ọrụ na-eche otu nsogbu ahụ ihu: na-eji ihe oyiyi ntụaka, ha na-enweta ezigbo myirịta na otu ogbugba, ma na-esote, edozi isi ma ọ bụ agba anya na-agbanwe. Ị nụla banyere ntinye (ntụgharị ederede), LoRA, na ControlNet, na ọ bụ ihe dị mma ị na-eche ụzọ dị mma maka gị.; Na mgbakwunye, nhọrọ dị ka IP-Adapter na InstantID na-aga n'ihu na-apụta iji melite ngbanwe ihu. N'isiokwu a, anyị na-aza ajụjụ ndị a na-ahụkarị: ma otu ntụaka zuru oke, ma ọ ka mma ịhazi LoRA ma ọ bụ jiri ntinye, na nke ọnụ / nhazi na-arụ ọrụ kacha mma na ComfyUI iji nweta avatars kwụsiri ike.

Kedu ihe anyị na-ekwu site na ịdịgidesi ike na avatar?

Mgbe anyị na-ekwu maka ịdị n'otu, anyị na-ekwu na a ka na-amata agwa ahụ n'ofe ọtụtụ onyonyo. Ọ bụ maka idowe ihe ndị dị mkpa (ụdị ihu, anya, imi, egbugbere ọnụ, ntutu) na "mmetụta" nke isiokwu ahụ. ọbụna ma ọ bụrụ na anyị na-egwuri egwu na pose, ọnụ oghere, ike ọkụ ma ọ bụ mgbagwoju ndabere ndabere.

Njikọ a sitere na njirimara "ịkwụsị" na usoro ọgbọ. Ọ bụrụ na ihe nlereanya ahụ enwetaghị akara ngosi zuru oke gbasara onye isiokwu ahụ bụ, ọ ga-emeziwanye ma gbanwee.; ọ bụ ya mere o ji bụrụ ihe ezi uche dị na ya iji nrụtụ aka anya, modul njirimara, ma ọ bụ obere tweaks omenala (LoRA, agbakwunyere) iji mee ka myirịta dị ike.

Tụkwasị na nke ahụ, ọ dị mkpa ikewapụ ihe ndị nwere ike ịgbanwe na-enweghị imebi njirimara na nke enweghị ike. Ndabere, uwe, ngosipụta na atụmatụ ọkụ bụ mgbanwe dị mma; ọdịdị anya, agba iris, ntutu isi, na nhazi ọkpụkpụ, ọ bụghị nke ukwuu. Imezi ókèala ahụ nke ọma bụ akụkụ buru ibu nke ọrụ ahụ.

Ọ ga-ekwe omume iji otu onyonyo nweta nke a na ComfyUI?

Azịza nkenke bụ: ee, nwere nuances. Otu foto nwere ike ezuru ma ọ bụrụ na ị na-eji usoro ntụgharị ihu dị ka IP-Adapter (FaceID) ma ọ bụ InstantID ma jikwaa ọkwa mkpọtụ. na img2img ma ọ bụ ike nke conditioning. N'ezie, foto ahụ ga-abụrịrị nke doro anya, nke ọma, na n'ihu ma ọ bụ ọkara profaịlụ, nwere njirimara doro anya.

Site na ComfyUI, usoro a na-ahụkarị bụ ijikọ ọnụ ntụ ntụ ihu yana ngwa ngwa akọwapụtara nke ọma yana ihe nlele kwụsiri ike. Ndozi ihe onyonyo “na-akwali” ihe nlereanya ahụ ịkwanyere njirimara ndị ahụ, ebe ngwa ngwa na-ekpebi ụdị, ndabere ma ọ bụ ọkụ.Ọ bụrụ na ịchọrọ ọtụtụ mgbanwe, dabere na ControlNet (OpenPose) ka ị na-eduzi pose na-enweghị agbagọ ihu.

Agbanyeghị, otu onyonyo nwere oke ya: ọ nwere ike “mụta karịa” okwu ma ọ bụ ọkụ dị na foto ahụ. Ọ bụrụ na ị na-achọ ezigbo ntụkwasị obi na ịdị iche iche, onyonyo ntụaka 6–20 na-emezi mkpokọta mkpokọta., na, ọ bụrụ na ọ dị mkpa, LoRA dị arọ zụrụ na foto gị na-enye nkwụsi ike na-agba ọsọ na-agba ọsọ.

Ntinye, LoRA, ma ọ bụ Ntugharị Ọma: Otu esi ahọrọ

Enwere ụzọ atọ bụ isi maka nhazi njirimara: ntinye (ntụgharị ederede), LoRA, na nlegharị anya zuru oke. Ntinye na-akuziri CLIP akara ọhụrụ na-anọchite anya isiokwu gị., na MB ole na ole na ọzụzụ ngwa ngwa kwesịrị ekwesị, mana ike ya nwere oke ma e jiri ya tụnyere LoRA.

LoRA a zụrụ nke ọma, n'aka nke ọzọ, na-agbanye ikike n'ime ọkwa nke ihe nlereanya ahụ iji weghara njirimara nke ọma. Site na eserese 10-30 dị iche iche (akụkụ, okwu, ọkụ) na ọzụzụ na-agafeghị oke, ị nwere ike nweta nkwụsi ike dị elu. na SD 1.5 ma ọ bụ SDXL, ka ị na-edobe obere nha faịlụ (iri iri MB). Nke a bụ ebe dị ụtọ maka ọtụtụ.

Edebere nlegharị anya n'ụzọ zuru oke maka mmepụta kpọmkwem. Ọ dị oke ọnụ, na-agbasi mbọ ike data, ma degharịa ụdị n'ozuzu nke ihe nlereanya ahụ.Na omume, maka avatars nkeonwe, LoRA dị fechaa ma ọ bụ ezigbo pipeline na-atụgharị ihu na-ezukarị.

Ọnụ na ngọngọ akwadoro na ComfyUI

Eserese a na-ahụkarị maka ịdị n'otu na-ejikọta ebe nlele ntọala, ihe ntinye ederede, ihe nlele kwụsiri ike, yana njirimara/modul njikwa. Ndị a bụ ngọngọ kachasị bara uru yana otu ha si egwuri egwu:

• Ebe nlele + VAEBudata SD 1.5 ma ọ bụ SDXL (dabere na mmasị gị na akụrụngwa). SDXL na-enye nkọwa, mana chọrọ VRAM karịa.
• Koodu ederede CLIP (nke dị mma/adịghị mma): Kpochapụ mkpali, na-ekwupụta akara isiokwu isiokwu (ma ọ bụrụ na ị na-eji LoRA ma ọ bụ ntinye) na ntuziaka ụdị / ihe ngosi.
• KSampler: DPM ++ 2M Karras stable sampler, 20-35 nzọụkwụ, CFG 4-7 na SDXL (6-9 na SD1.5), mkpụrụ edobere maka imepụtaghachi.
• Ihe nkwụnye IP / ngwa ngwa ID: ntụ oyi site na ihu ịkwado àgwà; gbanwee ike (0.6-0.9) dị ka ndịiche si dị.
• ControlNet (OpenPose/Omimi/ Canny): Njikwa pose, olu na contour mgbe njirimara ka na-akwado IP-Adapter/LoRA.
• LoRA Loader: Tinye LoRA nke isiokwu gị na nha 0.6–1.0; ọ bụrụ na ọ na-agbagọ ịke, belata ibu ma ọ bụ wedata CFG.
• Img2img / Tiling: Maka ọdịiche dị nro, jiri denoise 0.2-0.45; ụkpụrụ dị elu na-emebi njirimara.

Na ndabere nke a, nchikota kacha kwụsie ike na-abụkarị: Isiokwu LoRA + FaceID IP-adapter + Pose ControlNetLoRA na-akọwapụta agwa, IP-Adapter na-edozi atụmatụ dị mma, yana ControlNet na-enye gị nnwere onwe ịgbanwe nhazi na ọnọdụ gị.

Mgbapụta nzọụkwụ site na isi (ComfyUI)

Iji bido, ị nwere ike wuo ntakịrị, nke siri ike. Ọ ga-enyere gị aka ma ị na-amalite site na ederede dị ọcha ma ọ bụ ọ bụrụ na ị na-eme ntakịrị mgbanwe site na onyonyo.:

1. Ibu ebe nlele (SDXL ma ọ bụ SD1.5) na Ibu VAE.
2. Koodu ederede CLIP (nke dị mma): Kọwaa isiokwu na akara ngosi ha ma ọ bụ, ma ọ bụrụ na ọ dịghị LoRA, nwere njirimara: «na-eto eto, mkpụmkpụ agba aja aja, anya ndụ ndụ, ihu oval» + chọrọ ịke («Cinematic Eserese, soft igodo ìhè»).
3. Koodu ederede CLIP (adịghị mma): na-agụnye arịa ndị a ga-ezere ("na-agbaji agbarụ, nrụrụ, mkpịsị aka mgbakwunye, anya na-ekwekọghị ekwekọ, agba ntutu na-ezighi ezi").
4. Ihe nkwụnye IP / Ngwa ngwa ID: Jikọọ onyonyo ntụaka wee tọọ ike mbụ ka ọ bụrụ 0.75 (dozie 0.6–0.9). Ọ bụrụ na ị na-eji naanị otu foto, kụọ ya n'ihu wee hụ na ikpughe nke ọma.
5. ControlNet Pose (nhọrọ): kọwapụta pose ma ọ bụrụ na ịchọrọ okwu/mmegharị dị iche iche na-enweghị atụfu njirimara.
6. KSampler: DPM++ 2M Karras, nzọụkwụ 28–32, CFG 5.5–7 (SDXL: na-eche ihu CFG dị ntakịrị ala). Mkpụrụ edobere maka ihe atụnyere.
7. VAE Decode na, ọ bụrụ na ọ dị mkpa, a upscaler (4x-UltraSharp, ESRGAN, ma ọ bụ SDXL Refiner maka nkọwa zuru oke).

Ọ bụrụ na i nweela Isi okwu LoRA, tinye ya n'ihu sampler na arọ 0.8 (malite ala na elu ma ọ bụrụ na myirịta adịghị). Site na LoRA siri ike ị nwere ike belata ike nke IP-Adapter, ikwe ka LoRA jikwaa njirimara na IP-Adapter dị nnọọ "ziri ezi".

Parameters na-eme ka ihe dị iche

Mgbe a na-emegharị nkwụsi ike, obere mgbanwe ngbanwe dị mkpa. Ịchịkwa ike nhazi, denoise na mkpụrụ ahụ na-enye gị ezigbo nkwụsi ike:

• Denoise na img2img: 0.2-0.45 na-ejigide atụmatụ ma na-enye ohere maka mgbanwe ọkụ / ndabere. Site na 0.55, njirimara na-agbaze.
• Ọnụ ego CFGỌ bụrụ na a na-amanye ihe oyiyi ahụ na agbagọ, wedata CFG; Ọ bụrụ na ihe nlereanya ahụ leghaara ngwa ngwa gị anya, bulie ya na ọkara isi ihe.
• Sampler/Nzọụkwụ: DPM++ 2M Karras ma ọ bụ SDE Karras nwere usoro 24-32 na-enyekarị nsonaazụ na-agbanwe agbanwe na-enweghị ihe arịa.
• Mkpụrụ: Na-edobe mkpụrụ maka ntụnyere. Maka mgbanwe dị nro, jiri "mkpụrụ mgbanwe" nwere ike nke 0.1-0.3.
• Mkpebi: 768-1024 n'akụkụ ogologo na-eme ka ọdịdị ihu dị mma. Na SDXL, 1024 bụ ebe dị ụtọ maka nkọwa.

Ọ bụrụ na ntutu isi ma ọ bụ anya na-agbanwe agbanwe, gbakwunye "agba ntutu na-ezighi ezi, mgbanwe agba, agba anya na-ekwekọghị ekwekọ" na nke na-adịghị mma ma kwugharịa. Ọ na-enye aka iwebata agba dịka akụkụ nke ngwa ngwa dị mma na agba ọ bụla. iji gbochie ihe nlereanya ahụ "echefuru".

Okwu, nzụlite na ọkụ na-enweghị atụfu njirimara

Maka okwu ndị na-agbanwe agbanwe (ọchị, ihe ijuanya, ọnụ mepere emepe), dabere na ControlNet MepeePose ma ọ bụ, nke ka mma, onye na-ahazi akara ihu mgbe ọ dị. Ịchịkwa geometry nke ihu na-ebelata nrụrụ ma gbochie ihe nlereanya ahụ ịmepụta atụmatụ..

Na ọkụ, dozie atụmatụ ahụ n'ụzọ doro anya: "softbox si n'aka ekpe", "rim ìhè", "oge awa ọla edo". Iji ntụaka gburugburu ebe obibi (HDRI uche, nkọwa studio) na-eduzi onyinyo na-enweghị emetụta njirimaraỌ bụrụ na ụda akpụkpọ ahụ na-agbanwe, tinye "ịgbanwe ụda akpụkpọ ahụ" ma ọ bụ tọọ okpomọkụ agba na ngwa ngwa.

Maka nzụlite dị mgbagwoju anya, jiri Omimi ControlNet ma ọ bụ Canny na ike dị ala (0.35-0.55) ma kọwaa gburugburu na ngwa ngwa. IP-Adapter/LoRA kwesịrị inwe ibu karịa ControlNet ndabere ka ọ ghara imerụ ihu site na contours mba ọzọ.

Mgbe ịchọrọ ịgbanwe ọdịdị gị (akwa / ngwa ngwa), tinye ha ederede ma mee ka ịdị arọ nke LoRA dị nro ma ọ bụrụ na ọ "na-adọkpụrụ" otu uwe mgbe niile. LoRA nwere ike mebie nkọwa aesthetic; nha nha nha ka ezipu mkpali ọhụrụ..

Ịzụ ma ọ bụ ịghara ịzụ: ntuziaka bara uru maka LoRA / agbakwunyere

Ọ bụrụ na ntụaka ihu ezughị, tụlee LoRA nke isiokwu ahụ. Jiri foto 10–30 nwere akụkụ dị iche iche, okwu, ndabere, na ọkụ (mana debe ihu gị ọcha na nkọ).. Kpochapụ akụkụ dị mkpirikpi ka ọ bụrụ 512-768 px, dozie nwoke/nwanyị ma ọ bụrụ na ntọala gị bụ onye nkịtị, wee rịba ama aha akara.

Usoro nkuzi nkuzi (SD1.5): ọkwa 4–8, alfa nhata na ọkwa, ọnụego mmụta 1e-4 ruo 5e-5, usoro 2k–6k nwere obere ogbe. Zenarị ọzụzụ karịa; ọ bụrụ na ị hụ "clone" nke otu foto, belata nzọụkwụ ma ọ bụ tinyekwuo ụdị.. Na SDXL, jiri mkpebi dị elu wee buru VRAM karịa.

Maka ntinye (ntụgharị ederede), foto 3-10 nwere ike ịrụ ọrụ, mana ị ga-achọkwu usoro maka nkwụsi ike. Ntinye na-enwe obere mmetụta na ihe ịchọ mma n'ozuzu ya ma tụọ ntakịrị., dị mma ma ọ bụrụ na ịchọrọ akara ngosi reusable na-enweghị ijikwa LoRA.

Ogo, scaling na retouching

Ozugbo emere onyonyo ntọala, tinye 2–4x scaler (ESRGAN, 4x UltraSharp) ma ọ bụ ihe nchacha SDXL maka nkọwa ihu. Onye na-anụcha ihe nwere ike imezi akpụkpọ ahụ na anya na-enweghị iwebata arịa, karịsịa ma ọ bụrụ na ị na-edebe mkpụrụ na otu ngwa ngwa.

Iji dozie anya/ọnụ akọwapụtara, ị nwere ike iji ADetailer ma ọ bụ ọnụ mweghachi ihu. Dezie mperi mpaghara ka ị na-echekwa ihe ndị ọzọ mejupụtaraZere ihe nzacha siri ike nke na-eme "plastic" akpụkpọ ahụ; kama, dozie ịdị nkọ na ntọala microcontrast.

Ịchọpụta nsogbu nkịtị

Ọ bụrụ na edozi isi na-agbanwe n'etiti oge, nsogbu na-abụkarị oke mkpọtụ ma ọ bụ mkpali na-enweghị isi. Denoise/CFG dị ala, mesie “ntutu aja aja dị mkpụmkpụ” ma ọ bụ kọwapụta otu edozi isi na ngwa ngwa ọ bụla. Ọ bụrụ na ị na-eji LoRA, bulie ibu ya site na 0.1.

Ọ bụrụ na anya na-adịgasị iche na agba, tinye "anya akwụkwọ ndụ akwụkwọ ndụ, na-agbanwe agbanwe na agba anya" wee dee "agba anya na-ekwekọghị ekwekọ, heterochromia" na nke na-adịghị mma. IP-Adapter/InstantID na-enyekwa aka na nkọwa iris mgbe ntụaka doro anya.

Ọ bụrụ na ụdị ahụ "na-eri" njirimara (dịka ọmụmaatụ, ụdị siri ike LoRA), belata ibu ya ma ọ bụ mee ka ọ dịkwuo arọ nke isiokwu LoRA. Ịhazi nha dị mkpa iji zere ịchụ myirịta.Nhọrọ ọzọ bụ iweda CFG ka ihe nlereanya ahụ ghara ịmanye ụdị ahụ nke ukwuu.

Ọ bụrụ na ndịiche dị ntakịrị, mụbaa denoise ntakịrị (0.05-0.1) ma ọ bụ jiri mkpụrụ dị iche. Ntugharị ntakịrị nke enweghị usoro na-emepụta ụdị dị iche iche na-emebighị atụmatụ.

Obodo na ụkpụrụ: Ebe a ga-amụta na kesaa

Obodo Stable Diffusion na Reddit buru ibu ma na-arụsi ọrụ ike. Na / r/StableDiffusion ị nwere ike biputere nka, jụọ ajụjụ, kparịta ụka ma tinye aka na usoro mepere emepe ọhụrụ.; Ọ bụghị ọgbakọ gọọmentị, mana mmụọ ya bụ ịkwado usoro gburugburu ebe obibi mepere emepe ma nyere gị aka imeziwanye.

ComfyUI subreddit, bụkwa obodo/na-akwadoghị, bụ nnukwu ebe ikesa usoro ọrụ, ajụjụ na ndụmọdụ. Biko debe posts SFW, akwalitela iyi egwu akwụ ụgwọ, nọrọ na isiokwu, na nke kachasị, nwee obiọma.Ileghara nsonaazụ ndị ọzọ anya ga-ebute mmachibido iwu, a na-atụ aro ka ị ghara iji ọtụtụ posts n'ahịrị mebie ndepụta gị.

Ịchọgharị eri ebe agbakwunyere eserese na paramita bụ nnukwu ụzọ iji mee ka mmụta gị dịkwuo elu. Ilele akara nrịbama nwere mkpụrụ edobere, nha LoRA, na onyonyo ntụaka na-egosi gị ntọala ndị na-arụ ọrụ n'ezie. na omume.

Site na foto gaa na vidiyo nwere ọdịyo: StableAvatar

Ọ bụrụ na ịchọrọ ịga n'ihu n'ihu ma nwee avatar nke "na-ekwu" na-eji ọdịyo, lelee StableAvatar. Ọ bụ usoro maka imepụta vidiyo isi okwu na-agbanwe agbanwe, nke nwere ike ịdị ogologo., malite na egwu ọdịyo.

Dị ka ndị dere ya si kwuo, maka obere vidiyo 5-sekọnd na 480x832 na 25fps, ihe nlereanya nke nwere -GPU_memory_mode = "model_full_load" chọrọ ihe dịka 18 GB nke VRAM ma mechie n'ime ihe dịka nkeji 3 na 4090 GPU. Nke a na-enye echiche doro anya nke akụrụngwa achọrọ yana arụmọrụ enwere ike na ngwaike ọgbara ọhụrụ.. Koodu na ụdị dị na: https://github.com/Francis-Rings/StableAvatar

Ndị otu ahụ na-enwe ọganihu na a ga-enwe LoRA / finetuning kpọmkwem na usoro ahụ. Nke a na-emepe ụzọ iji hazie avatar na ụdị ihu ya., na-eme ka njirimara dị ka anyị na-eme na onyonyo kwụ ọtọ, mana n'usoro vidiyo na-ejikọta ọnụ.

Azịza kpọmkwem nye ajụjụ atọ ndị ahụ bụ́ isi

1) Enwere m ike ịmepụta avatars na-agbanwe agbanwe ozugbo na ComfyUI site na iji naanị onyonyo ntụaka? Ee, na-eji IP-Adapter (FaceID) ma ọ bụ InstantID yana ọ na-erute siri ike nke nwere denoise na-achịkwa yana mkpụrụ edobere. Foto ahụ ga-edo anya na ihu; na otu akwụkwọ ntụaka enwere oke na oke mgbanwe, mana maka eserese na mgbanwe na-agafeghị oke ọ na-arụ ọrụ nke ọma.

2) Ekwesịrị m ịtụle ịmegharị mma ma ọ bụ iji ntinye? Ọ bụrụ na ị na-achọ ike siri ike n'ọtụtụ ebe, isiokwu LoRA dị fechaa bụ nhọrọ kacha mma. mma mbọ / nsonaazụ ruruNtinye (ntụgharị ederede) dị mfe, mana na-ejide nuances ole na ole. Ndozi mma zuru oke adịghị adịkarị mkpa ma e wezụga maka mmepụta kpọmkwem.

3) Kedu ihe ga-abụ nhazi ọnụ ọnụ ma ọ bụ usoro akwadoro na ComfyUI? Ebe nlele + VAE + CLIP ederede ederede (pos/neg) + KSampler (DPM++ 2M Karras, nzọụkwụ 24–32, CFG 5–7) + IP-Adapter/InstantID + ControlNet (pose/omimi dabere na ọnọdụ ahụ). Ibu Ibu LoRA nke isiokwu ya na ịdị arọ 0.6–1.0 ma belata ike nke IP-Adapter ntakịrị ka ha abụọ na-akwado ibe ha.

4) Kedu ihe Stable Diffusion pụtara na gịnị bụ maka ya? Anyị na-agwa gị ọbụna karịa n'isiokwu a.

Echefula na / r/StableDiffusion na ComfyUI obodo bụ oghere mepere emepe ebe ị nwere ike kesaa ihe atụ, rịọ maka nzaghachi, wee chọpụta aghụghọ ọhụrụ. Debe ọdịnaya gị SFW, zere ịkwalite iyi egwu akwụ ụgwọ, ma kpachara anya na ụda gị na ndị na-amalite.; n'etiti ha niile, ọkwa na-ebili ngwa ngwa.

Site na mmalite mmalite dị mma (IP Adapter/Instant ID), mkpụrụ edobere, mkpali doro anya na njikwa denoise, ị nwere ike nweta ihe osise na-agbanwe agbanwe ugbu a site na ịgbanwe ntọala, mmegharị ahụ, na ọkụ. Ọ bụrụ na ị na-azụ LoRA nwere foto dị iche iche 10-30, myirịta na-abawanye nke ukwuu., na na omume, mma-ntuning ControlNet na post-processing ga-enye gị pụta siri ike ọbụna na elu mkpebi. Maka ndị chọrọ iwere ihe n'ihu, StableAvatar na-egosi na enwere ike itinye otu echiche nke njirimara na-agbanwe agbanwe na vidiyo na-ebugharị na akụrụngwa kwesịrị ekwesị.