Conas avatáir réadúla a chruthú le Stable Diffusion agus ComfyUI

¿Conas avatáir réadúla a chruthú le Stable Diffusion + ComfyUI? Is sprioc atá ag éirí níos indéanta é avatar réalaíoch agus comhsheasmhach a chruthú le Stable Diffusion agus ComfyUI, ach éilíonn sé beagán teicníce agus dea-bhreithiúnais. Is é an rud is tábhachtaí ná féiniúlacht (gnéithe aghaidhe, stíl gruaige, struchtúr) a chaomhnú agus an cúlra, an soilsiú agus nathanna nathanna á n-athrú ag an am céanna., a éilíonn go minic meascán de shreabhadh oibre, nóid shonracha, agus uaireanta samhlacha cúnta amhail LoRA nó leabaithe.

Bíonn an fhadhb chéanna ag go leor úsáideoirí: le híomhá tagartha, baintear cosúlacht mhaith amach in aon urchar amháin, ach san chéad urchar eile, athraíonn an stíl gruaige nó dath na súl. Tá tú tar éis cloisteáil faoi leabú (inbhéartú téacsúil), LoRA, agus ControlNet, agus is gnách go mbeadh tú ag smaoineamh cén cur chuige atá ceart duitse.Ina theannta sin, leanann roghanna cosúil le IP-Adapter agus InstantID ag teacht chun cinn chun comhsheasmhacht aghaidhe a fheabhsú. San alt seo, pléimid na ceisteanna is coitianta: an leor tagairt aonair, an fearr LoRA a chumrú nó leabaithe a úsáid, agus cé na nóid/cumraíochtaí is fearr a oibríonn i ComfyUI chun avatars cobhsaí a bhaint amach.

Cad is brí linn le comhsheasmhacht in avatar?

Nuair a labhraímid faoi chomhsheasmhacht, is é atá i gceist againn go bhfanann an carachtar inaitheanta ar fud iliomad íomhánna. Baineann sé le gnéithe riachtanacha (cruth an aghaidhe, na súl, na sróine, na liopaí, na gruaige) agus “mothúchán” an ábhair a choinneáil. fiú má dhéanaimid imirt le staidiúir, oscailt béil, solas crua nó cúlraí casta.

Tagann an comhleanúnachas seo ó chéannacht a “ancaireáil” sa phróiseas giniúna. Mura bhfaigheann an tsamhail comharthaí leordhóthanacha faoi cé hé an t-ábhar, beidh claonadh aici gan smaoineamh agus imeacht ón taobh eile.; sin an fáth go bhfuil ciall le tagairtí amhairc, modúil aitheantais, nó coigeartuithe beaga saincheaptha (LoRA, leabaithe) a úsáid chun cosúlacht a threisiú.

Ina theannta sin, is gá idirdhealú a dhéanamh idir na heilimintí ar féidir leo athrú gan an chéannacht a bhriseadh agus na heilimintí nach féidir. Is athróga sábháilte iad an cúlra, an t-éadach, an léiriú agus an scéim soilsithe.cruth na súl, dath na súl, líne na gruaige, agus struchtúr na gcnámh, níl an oiread sin ann. Is cuid mhór den obair an teorainn sin a choigeartú go mín.

An féidir é seo a bhaint amach le híomhá amháin i ComfyUI?

Is é an freagra gairid: tá, le nuances. Is leor grianghraf amháin má úsáideann tú teicnící tagartha aghaidhe ar nós IP-Adapter (FaceID) nó InstantID agus má rialaíonn tú an leibhéal torainn. in img2img nó neart an oiriúnaithe. Ar ndóigh, ní mór don ghrianghraf a bheith soiléir, dea-shoilsithe, agus tosaigh nó leathphróifíle, le gnéithe soiléire.

Le ComfyUI, is cur chuige tipiciúil é nód tagartha aghaidhe a chomhcheangal le leid dea-shainithe agus samplóir cobhsaí. Cuireann an t-oiriúnú amhairc brú ar an tsamhail na gnéithe a urramú, agus deir an leid stíl, cúlra nó soilsiú.Más gá duit go leor éagsúlachta i staidiúir, bí ag brath ar ControlNet (OpenPose) chun an staidiúir a threorú gan an aghaidh a shaobhadh.

Mar sin féin, tá teorainneacha ag baint le híomhá aonair: is féidir léi an léiriú nó an soilsiú ar leith sa ghrianghraf sin a “rófhoghlaim”. Más mian leat an dílseacht agus an ilúsáideacht uasta, feabhsaíonn 6–20 íomhá tagartha an ginearálú., agus, más gá, soláthraíonn LoRA éadrom atá oilte ar do ghrianghraif comhsheasmhacht níos fearr ó lámhaigh go lámhaigh.

Leabaithe, LoRA, nó Coigeartú Mion: Conas a Roghnú

Tá trí phríomhbhealach ann chun aitheantas a shaincheapadh: leabaithe (inbhéartú téacsúil), LoRA, agus mionchoigeartú iomlán. Múineann leabaithe comhartha nua do CLIP a léiríonn d’ábhar., le cúpla MB agus oiliúint réasúnta gasta, ach tá a chumhacht teoranta i gcomparáid le LoRA.

Ar an láimh eile, cuireann LoRA dea-oilte acmhainn i sraitheanna den mhúnla chun gnéithe a ghabháil níos cruinne. Le 10–30 portráid éagsúil (uillinneacha, léirithe, solas) agus oiliúint mheasartha is féidir leat comhsheasmhacht an-ard a bhaint amach. i SD 1.5 nó SDXL, agus méid beag comhaid á choinneáil (na deicheanna MB). Seo an áit is fearr don chuid is mó.

Tá coigeartú iomlán mín ar an seicphointe curtha in áirithe do léiriúcháin an-sonracha. Tá sé costasach, dian ar shonraí, agus cuireann sé cosc ​​ar stíl fhoriomlán an mhúnla.Go praiticiúil, i gcás avatars pearsanta, is leor LoRA éadrom nó píblíne mhaith tagartha aghaidhe de ghnáth.

Nóid agus bloic molta i ComfyUI

Comhcheanglaíonn graf tipiciúil le haghaidh comhsheasmhachta an seicphointe bonn, ionchódóirí téacs, samplóir cobhsaí, agus modúil aitheantais/rialaithe. Seo iad na bloic is úsáidí agus conas a imríonn siad le chéile:

• Seicphointe + VAELuchtaigh SD 1.5 nó SDXL (ag brath ar do chuid sainroghanna aeistéitiúla agus acmhainní). Soláthraíonn SDXL mionsonraí, ach teastaíonn níos mó VRAM uaidh.
• Ionchódú Téacs CLIP (dearfach/diúltach)Leideanna soiléire, ag lua an chomhartha ábhair (más LoRA nó leabú atá in úsáid) agus treoracha stíl/radhairc.
• KSamplerSamplóir cobhsaí DPM++ 2M Karras, 20–35 céim, CFG 4–7 ar SDXL (6–9 ar SD1.5), síol seasta le haghaidh in-atáirgtheachta.
• Oiriúntóir IP / InstantID: oiriúnú de réir aghaidhe chun tréithe a chothabháil; neart (0.6–0.9) a choigeartú de réir diallais.
• ControlNet (OpenPose/Depth/Canny): Rialaíonn sé staidiúir, toirt agus imlíne agus fanann an t-aitheantas ancaire ag IP-Adapter/LoRA.
• Luchtaitheoir LoRAInstealladh LoRA d’ábhair le meáchain 0.6–1.0; má shaobhann sé an stíl, laghdaigh an meáchan nó laghdaigh scála CFG.
• Img2Img / TíliúI gcás athruithe boga, bain úsáid as dí-thorannú 0.2–0.45; scriosann luachanna níos airde céannacht.

Ar an mbonn seo, is gnách gurb é an teaglaim is cobhsaí ná: Ábhar LoRA + Oiriúntóir IP FaceID + Pose ControlNetSainmhíníonn LoRA an carachtar, ceartaíonn IP-Adapter gnéithe míne, agus tugann ControlNet an tsaoirse duit do fhrámaíocht agus do sheasamh a athrú.

Sreabhadh bunúsach céim ar chéim (ComfyUI)

Chun tús a chur leis, is féidir leat sreabhadh íosta, láidir a thógáil. Beidh sé oiriúnach duit cibé an dtosaíonn tú le téacs íon nó má dhéanann tú athruithe beaga ar íomhá.:

1. Seicphointe Luchtaithe (SDXL nó SD1.5) agus Luchtaigh VAE.
2. Ionchódú Téacs CLIP (dearfach)Déan cur síos ar an ábhar lena chomhartha nó, mura bhfuil LoRA ann, lena ghnéithe: «duine óg fásta, gruaig ghearr dhonn, súile glasa, aghaidh ubhchruthach» + an stíl atá ag teastáil («portráid chineamatach, solas bog-eochrach»).
3. Ionchódú Téacs CLIP (diúltach): áirítear leis seo déantáin le seachaint ("doiléir, dífhoirmithe, méara breise, súile neamhréire, dath gruaige mícheart").
4. Cuibheoir IP / ID MeandarachaCeangail an íomhá tagartha agus socraigh an neart tosaigh go 0.75 (coigeartaigh 0.6–0.9). Mura bhfuil ach grianghraf amháin in úsáid agat, bearr é go dtí an aghaidh agus cinntigh go bhfuil an nochtadh ceart ann.
5. Staidéar ControlNet (roghnach): sainmhínigh staidiúir más mian leat léirithe/gothaí difriúla gan céannacht a chailleadh.
6. KSamplerDPM++ 2M Karras, 28–32 céim, CFG 5.5–7 (SDXL: claonadh i dtreo CFG beagán níos ísle). Síol socraithe do chomparáidí.
7. Díchódú VAE agus, más gá, upscaler (4x-UltraSharp, ESRGAN, nó SDXL Refiner le haghaidh mionsonraí).

Má tá a LoRA an ábhair, cuir leis é roimh an samplóir le meáchan 0.8 (tosaigh go híseal agus téigh suas mura bhfuil cosúlacht ann). Le LoRA soladach is féidir leat neart an Oiriúnaitheora IP a laghdú, ag ligean don LoRA an t-aitheantas a láimhseáil agus don Oiriúntóir IP a “cheartú”.

Paraiméadair a dhéanann an difríocht

Agus comhsheasmhacht á coigeartú, bíonn athruithe beaga ar pharaiméadair cinntitheach. Trí neart an oiriúnaithe, an torann a laghdú agus an síol a rialú, tugtar fíorchobhsaíocht duit.:

• Dí-thorann in img2imgCoinníonn 0.2–0.45 gnéithe agus ceadaíonn sé soilsiú/cúlra éagsúil. Ó 0.55, imíonn an fhéiniúlacht.
• Scála CFGMá tá an íomhá “éigeantach” agus saobtha, ísligh an CFG; mura dtugann an tsamhail aird ar do leid, ardaigh é leathphointe.
• Samplóir/CéimeannaDe ghnáth, tugann DPM++ 2M Karras nó SDE Karras le 24–32 céim torthaí comhsheasmhacha gan aon déantáin.
• SeedSocraíonn sé seo an síol le haghaidh comparáidí. Le haghaidh éagsúlacht éadrom, bain úsáid as “síol éagsúlachta” le neart 0.1–0.3.
• Rún: Cuireann 768–1024 ar an taobh níos faide feabhas ar ghnéithe míne aghaidhe. Ag SDXL, is é 1024 an pointe is fearr le haghaidh mionsonraí.

Má athraíonn dath na gruaige nó na súl, cuir "dath gruaige mícheart, athrú datha, dath súl neamhréireach" sa diúltach agus déan arís. Cuidíonn sé freisin dath a thabhairt isteach mar chuid den spreagadh dearfach i ngach urchar. chun cosc ​​a chur ar an tsamhail a bheith “dearmadta”.

Léirithe, cúlraí agus soilsiú gan féiniúlacht a chailleadh

I gcás léirithe athraitheacha (aoibh gháire, iontas, béal oscailte), bí ag brath ar ControlNet OpenPose nó, níos fearr fós, réamhphróiseálaí de shéadchomharthaí aghaidhe nuair a bheidh sé ar fáil. Laghdaíonn rialú gheoiméadracht an aghaidhe dífhoirmíochtaí agus cuireann sé cosc ​​ar an tsamhail gnéithe a chumadh..

I soilsiú, déan an scéim a cheapadh go soiléir: "bosca bog ón taobh clé", "solas imeall", "uair órga". Treoraíonn úsáid tagairtí comhshaoil ​​(HDRI meabhrach, tuairiscí stiúideo) scáthanna gan cur isteach ar chéannachtMá athraíonn ton an chraicinn, cuir “comhsheasmhacht ton an chraicinn” leis nó socraigh an teocht datha sa leid.

I gcás cúlraí casta, bain úsáid as ControlNet Depth nó Canny ag neart íseal (0.35–0.55) agus déan cur síos ar an timpeallacht ag an leid. Ba chóir go mbeadh níos mó meáchain ag an Oiriúntóir IP/LoRA ná mar atá ag an ControlNet cúlra. ionas nach ndéantar an aghaidh a thruailliú ag comhrianta eachtracha.

Nuair is mian leat d’éadaí/gabhálais a athrú, cuir isteach iad go téacsúil agus maolaigh meáchan an LoRA má bhíonn sé i gcónaí ag “tarraingt” an cháir chéanna. Is féidir le LoRAanna sonraí aeistéitiúla a shárú; meáchain a chothromú ionas go seoltar leideanna nua..

Oiliúint a dhéanamh nó gan oiliúint a dhéanamh: treoirlínte praiticiúla le haghaidh LoRA/leabaithe

Mura leor tagairt aghaidhe, smaoinigh ar LoRA den ábhar. Bain úsáid as 10–30 grianghraf le réimse uillinneacha, nathanna, cúlra agus soilsiú (ach coinnigh d’aghaidh glan agus géar).Bearr an taobh gearr go 512–768 px, cothromaigh fireann/baineann más bunús ginearálta atá agat, agus tabhair faoi deara ainm an chomhartha.

Paraiméadair oiliúna treorach (SD1.5): rang 4–8, alfa cothrom le rang, ráta foghlama 1e-4 go 5e-5, céimeanna 2k–6k le baisc bheag. Seachain ró-oiliúint; má fheiceann tú “clón” de ghrianghraf amháin, laghdaigh na céimeanna nó cuir níos mó éagsúlachta leis.Ar SDXL, bain úsáid as taifeach níos airde agus glac níos mó VRAM.

I gcás leabaithe (inbhéartú téacsúil), d’fhéadfadh 3–10 grianghraf oibriú, ach beidh níos mó céimeanna ag teastáil uait ar mhaithe le cobhsaíocht. Bíonn níos lú tionchair ag leabaithe ar an aeistéitic iomlán agus ní bhíonn siad ró-bheag., oiriúnach más mian leat comhartha in-athúsáidte gan LoRA a bhainistiú.

Cáilíocht, scálú agus retouching

Nuair a bheidh an íomhá bhunúsach ginte, cuir scálaí 2–4x (ESRGAN, 4x UltraSharp) nó an scagaire SDXL i bhfeidhm le haghaidh mionsonraí aghaidhe. Is féidir leis an scagaire craiceann agus súile a cheartú gan aon déantáin a thabhairt isteach, go háirithe má choinníonn tú an síol agus an leid chéanna.

Chun súile/béal ar leith a dheisiú, is féidir leat ADetailer nó nóid athchóirithe aghaidhe a úsáid. Ceartaigh earráidí áitiúla agus an chuid eile den chomhdhéanamh á chaomhnú ag an am céannaSeachain scagairí géara a "phlaistíonn" an craiceann; ina ionad sin, déan socruithe géire agus micrechodarsnachta a mhionchoigeartú.

Fabhtcheartú fadhbanna coitianta

Má athraíonn an stíl gruaige idir thógálacha, is gnách go mbíonn an fhadhb ina torann iomarcach nó ina leideanna débhríocha. Ísligh an torann/CFG, neartaigh "gruaig ghearr dhonn" nó sonraigh stíl gruaige ar leith i ngach leid.Má úsáideann tú LoRA, méadaigh a mheáchan faoi 0.1.

Más rud é go bhfuil dath difriúil ar na súile, cuir "súile glasa, dath súl comhsheasmhach" leis agus scríobh "dath súl neamhréireach, heitreacróimia" sa litir dhiúltach. Cuidíonn IP-Adapter/InstantID le mionsonraí na súl freisin nuair a bhíonn an tagairt an-soiléir.

Má “itheann” an stíl an chéannacht (e.g., LoRA stíl láidir), laghdaigh a mheáchan nó méadaigh meáchan LoRA an ábhair. Tá sé riachtanach meáchain a chothromú chun cosúlacht a sheachaint.Rogha eile is ea CFG a ísliú ionas nach gcuireann an tsamhail an stíl i bhfeidhm chomh mór sin.

Más íosta na hathruithe, méadaigh an laghdú torainn beagán (0.05–0.1) nó bain úsáid as síol athraitheachta. Cruthaíonn beagán brú randamachta éagsúlacht gan gnéithe a bhriseadh.

Pobail agus Caighdeáin: Cá háit le Foghlaim agus le Roinnt

Tá pobal Stable Diffusion ar Reddit ollmhór agus an-ghníomhach. I /r/StableDiffusion is féidir leat saothar ealaíne a phostáil, ceisteanna a chur, plé a dhéanamh, agus cur le teicnící oscailte nua.Ní fóram oifigiúil é, ach is é a spiorad tacú leis an éiceachóras foinse oscailte agus cabhrú leat feabhsú.

Is áit iontach é subreddit ComfyUI, atá pobail/neamhoifigiúil freisin, chun sreafaí oibre, ceisteanna agus leideanna a roinnt. Coinnigh poist SFW le do thoil, ná cuir sruthanna íoctha chun cinn, fan ar an ábhar, agus thar aon rud eile, bí cineálta.Má dhéantar neamhaird ar thorthaí daoine eile, cuirfear cosc ​​ort, agus moltar gan do bheatha a líonadh le barraíocht postálacha as a chéile.

Is bealach iontach é snáitheanna a iniúchadh ina bhfuil graif agus paraiméadair ceangailte chun do fhoghlaim a bhrostú. Trí thagarmharcanna le síolta seasta, meáchain LoRA, agus íomhánna tagartha a fheiceáil, feictear duit cé na socruithe a oibríonn i ndáiríre. go praiticiúil.

Ó ghrianghraf go físeán le fuaim: StableAvatar

Más mian leat dul céim eile chun cinn agus avatar a bheith agat a “labhrann” ag baint úsáide as fuaim, féach ar StableAvatar. Is creat é chun físeáin cheann labhartha ard-dhílseachta, comhsheasmhacha ó thaobh ama de a ghiniúint, a d'fhéadfadh a bheith gan teorainn ama., ag tosú ó rian fuaime.

De réir a údair, le haghaidh gearrthóg 5 soicind ag 480x832 agus 25 fps, teastaíonn thart ar 18 GB de VRAM don mhúnla bonn le –GPU_memory_mode=»model_full_load» agus críochnaíonn sé i gceann thart ar 3 nóiméad ar GPU 4090. Tugann sé seo léargas soiléir ar na hacmhainní a theastaíonn agus an fheidhmíocht fhéideartha ar chrua-earraí nua-aimseartha.Tá an cód agus an tsamhail ar fáil ag: https://github.com/Francis-Rings/StableAvatar

Deir an fhoireann go mbeidh LoRA/mínchoigeartú ann a bhaineann go sonrach leis an gcóras. Osclaíonn sé seo an doras chun an avatar agus a stíl aghaidhe a shaincheapadh tuilleadh., ag ancaireadh céannachta mar a dhéanaimid in íomhánna statach, ach i seichimh físe comhtháite.

Freagraí díreacha ar na trí phríomhcheist

1) An féidir liom avatáir chomhsheasmhacha a chruthú go díreach i ComfyUI le híomhá tagartha amháin? Is féidir, ag baint úsáide as IP-Adapter (FaceID) nó InstantID agus sreabhadh láidir le dí-thorann rialaithe agus síol seasta. Caithfidh an grianghraf a bheith soiléir agus tosaighLe tagairt aonair tá teorainneacha le héagsúlacht mhór, ach i gcás portráidí agus athruithe measartha oibríonn sé go han-mhaith.

2) Ar cheart dom smaoineamh ar mhionchoigeartú nó ar leabú a úsáid? Más mian leat an neart is mó a bhaint amach i go leor radharcanna, is é ábhar LoRA éadrom an rogha is fearr. cóimheas iarrachta/toraidh níos fearrBíonn leabaithe (inbhéartú téacsúil) níos éadroime, ach gabhann siad níos lú nuances. Is annamh a bhíonn gá le mionchoigeartú iomlán ach amháin i gcás léiriúchán an-sonrach.

3) Cad é an chumraíocht nó na teicnící nóid a mholfaí i ComfyUI? Checkpoint + VAE + CLIP Text Encode (pos/neg) + KSampler (DPM++ 2M Karras, 24–32 céim, CFG 5–7) + IP-Adapter/InstantID + ControlNet (staid/doimhneacht ag brath ar an radharc). Luchtaigh LoRA an ábhair le meáchan 0.6–1.0 agus cumhacht an Oiriúnaitheora IP a ísliú beagán ionas go gcomhlánóidh an dá cheann a chéile.

4) Cad is brí le Scaipeadh Cobhsaí agus cad chuige é? Inseoimid níos mó fós duit san alt seo.

Ná déan dearmad gur spásanna oscailte iad pobail /r/StableDiffusion agus ComfyUI inar féidir leat samplaí a roinnt, aiseolas a iarraidh, agus cleasanna nua a fháil amach. Coinnigh do chuid ábhair saor ó smál, seachain sruthanna íoctha a chur chun cinn, agus bí cúramach le do thon leo siúd atá díreach ag tosú amach.; idir iad uile, ardaíonn an leibhéal go han-tapa.

Le pointe tosaigh maith (Cuibheoir IP/Aitheantas Meandarach), síol socraithe, leideanna soiléire, agus rialú dí-torainn, is féidir leat portráidí comhsheasmhacha a bhaint amach anois trí shocruithe, gothaí agus soilsiú a athrú. Má dhéanann tú LoRA a thraenáil le 10–30 grianghraf difriúil freisin, méadaíonn an chosúlacht go suntasach., agus le cleachtadh, tabharfaidh mionchoigeartú ControlNet agus iarphróiseáil torthaí maithe duit fiú ag ardtaifeach. Dóibh siúd ar mian leo rudaí a thabhairt níos faide, léiríonn StableAvatar gur féidir an smaoineamh céanna maidir le céannacht chomhsheasmhach a chur i bhfeidhm ar fhíseán atá tiomáinte ag fuaim leis na hacmhainní cearta.