Pilnīga ComfyUI rokasgrāmata iesācējiem

¿Galīgais ComfyUI ceļvedis iesācējiem? Ja sperat pirmos soļus ar ComfyUI un jūtaties apmulsis par visiem mezgliem, kastēm un kabeļiem, neuztraucieties: šeit atradīsiet īstu ceļvedi, kas sāk no nulles un neizlaiž neko svarīgu. Mērķis ir saprast, ko dara katrs elements, kā tie sader kopā un kā novērst bieži pieļautās kļūdas. kas ir nomācoši, ja mēģināt mācīties tikai eksperimentējot.

Papildus klasiskajām teksta pārveidošanas attēlā, attēla pārveidošanas attēlā, pārzīmēšanas, pārzīmēšanas, SDXL, mērogošanas, ControlNet, iegulšanas un LoRA darbplūsmām mēs integrēsim arī instalēšanu, konfigurēšanu, pielāgotu mezglu pārvaldība ar administratora palīdzībuĪsceļi un praktiska sadaļa ar reāliem veiktspējas ieteikumiem centrālajam procesoram un grafiskajam procesoram. Un jā, mēs apskatīsim arī... Kā strādāt ar video, izmantojot WAN 2.1 tipa modeļus (teksts uz video, attēls uz video un video uz video) ComfyUI ekosistēmā.

Kas ir ComfyUI un kā tas salīdzināms ar citām grafiskajām lietotāja saskarnēm (GUI)?

ComfyUI ir uz mezgliem balstīta vizuālā saskarne, kas veidota uz Stabila difūzija kas ļauj iestatīt darbplūsmas, savienojot funkcionālos blokus. Katrs mezgls veic noteiktu uzdevumu (ielādēt modeli, kodēt tekstu, paraugu, dekodēt) un malas savieno tā ieejas un izejas, it kā jūs saliktu vizuālu recepti.

Salīdzinot ar AUTOMATIC1111, ComfyUI izceļas ar to, ka Viegls, elastīgs, caurspīdīgs un ļoti viegli koplietojams (Katru darbplūsmas failu var reproducēt). Negatīvā puse ir tā, ka saskarne var atšķirties atkarībā no darbplūsmas autora, un ikdienas lietotājiem, Iedziļināšanās tik detaļās varētu šķist pārspīlēta..

Mācīšanās līkne izlīdzinās, kad saprotat mezglu "kāpēc". Iedomājieties ComfyUI kā informācijas paneli, kurā redzat pilnu attēla ceļu.no sākotnējā teksta un trokšņa latentā formā līdz galīgajai dekodēšanai pikseļos.

Uzstādīšana no nulles: ātra un bez problēmām

Vistiešākais veids ir lejupielādēt oficiālo sistēmas pakotni, to izpakot un palaist. Python nav jāinstalē atsevišķi, jo tas ir iegults., kas ievērojami samazina sākotnējo berzi.

Pamata darbības: Lejupielādējiet saspiesto failu, atzipējiet to (piemēram, izmantojot 7-Zip) un palaidiet sev piemērotu palaidēju. Ja jums nav GPU vai jūsu grafikas karte nav saderīga, izmantojiet CPU izpildāmo failu.Tas prasīs ilgāku laiku, bet tas darbojas.

Lai visu sāktu, ievietojiet vismaz vienu modeli kontrolpunktu mapē. Tos var iegūt no tādām krātuvēm kā Hugging Face vai Civitai. un ievietojiet tos ComfyUI modeļa ceļā.

Ja jums jau ir modeļu bibliotēka citās mapēs, rediģējiet papildu ceļu failu (extra_model_paths.yaml), no nosaukuma noņemot “example” un pievienojot savas atrašanās vietas. Restartējiet ComfyUI, lai tas atpazītu jaunās direktorijas..

Pamata vadības ierīces un saskarnes elementi

Uz audekla tālummaiņu kontrolē ar peles ritenīti vai šķipsnas žestu, un ritināšanu veic, velkot ar kreiso pogu. Lai savienotu mezglus, velciet no izejas savienotāja uz ieejas savienotāju.un atlaidiet, lai izveidotu malu.

ComfyUI pārvalda izpildes rindu: konfigurējiet savu darbplūsmu un nospiediet rindas pogu. Rindas skatā varat pārbaudīt statusu, lai redzētu, kas darbojas. vai ko viņš/viņa sagaida.

Noderīgi īsinājumtaustiņi: Ctrl+C/Ctrl+V, lai kopētu/ielīmētu mezglus, Ctrl+Shift+V, lai ielīmētu, saglabājot ierakstus, Ctrl+Enter, lai ievietotu rindā, Ctrl+M, lai izslēgtu mezgla skaņu. Noklikšķiniet uz punkta augšējā kreisajā stūrī, lai minimizētu mezglu un notīrītu audeklu..

No teksta uz attēlu: būtiskā plūsma

Minimālā plūsma ietver kontrolpunkta ielādi, pozitīvās un negatīvās uzvednes kodēšanu ar CLIP, tukša latenta attēla izveidi, paraugu ņemšanu ar KSampler un dekodēšanu pikseļos ar VAE. Nospiediet rindas pogu, un jūs saņemsiet savu pirmo attēlu..

Atlasiet modeli sadaļā Load Checkpoint

Ielādes kontrolpunkta mezgls atgriež trīs komponentus: MODEL (trokšņa prognozētājs), CLIP (teksta kodētājs) un VAE (attēla kodētājs/dekodētājs). MODEL nonāk KSampler, CLIP — teksta mezglos un VAE — dekoderā..

Pozitīvas un negatīvas norādes ar CLIP teksta kodēšanu

Ievadiet pozitīvo uzvedni augšpusē un negatīvo uzvedni zemāk; abi ir kodēti kā iegultie elementi. Vārdiem var piešķirt svaru ar sintaksi (word:1.2) vai (word:0.8). lai pastiprinātu vai mīkstinātu konkrētus terminus.

Latentās tukšumi un optimālie izmēri

Tukšs latentiskais attēls definē audeklu latentajā telpā. SD 1.5 formātam ieteicams 512 × 512 vai 768 × 768; SDXL formātam — 1024 × 1024.Lai izvairītos no kļūdām un ievērotu arhitektūru, platumam un augstumam jābūt 8 daudzkārtņiem.

VAE: no latentā līdz pikseļiem

VAE saspiež attēlus līdz latentajām vērtībām un rekonstruē tos pikseļos. Teksta pārveidošanā par attēlu to parasti izmanto tikai beigās, lai atšifrētu latento vērtību. Saspiešana paātrina procesu, bet var radīt nelielus zudumusApmaiņā pret to tā piedāvā smalku kontroli latentā telpā.

KSampler un galvenie parametri

KSampler izmanto apgriezto difūziju, lai noņemtu troksni saskaņā ar iegulšanas rokasgrāmatu. Sēkla, soļi, paraugu ņemšanas rīks, plānotājs un trokšņu slāpēšana Šie ir galvenie ciparnīcas parametri. Vairāk soļu parasti sniedz vairāk detaļu, un denoise=1 pilnībā pārraksta sākotnējo troksni.

Attēls pēc attēla: atkārtot ar vadlīniju

i2i plūsma sākas ar ievades attēlu un jūsu uzvednēm; trokšņu slāpēšana kontrolē, cik lielā mērā tas atšķiras no oriģināla. Ar zemu trokšņu līmeni iegūst smalkas variācijas; ar augstu — dziļas transformācijas..

Tipiska secība: atlasiet kontrolpunktu, ielādējiet attēlu kā ievades datus, pielāgojiet uzvednes, definējiet trokšņu mazināšanu KSampler un ievietojiet rindā. Tas ir ideāli piemērots kompozīciju uzlabošanai vai stilu migrēšanai, nesākot no nulles..

SDXL vietnē ComfyUI

Pateicoties modulārajam dizainam, ComfyUI piedāvā agrīnu SDXL atbalstu. Vienkārši izmantojiet ar SDXL saderīgu plūsmu, pārbaudiet uzvednes un palaidiet to. Atcerieties: lielākiem vietējiem izmēriem ir nepieciešams vairāk VRAM un apstrādes laika.Bet kvalitatīvais lēciens detaļās to kompensē.

Pārkrāsošana: rediģējiet tikai to, kas jūs interesē

Ja vēlaties modificēt noteiktas attēla zonas, izmantojiet rīku “inpainting”. Ielādējiet attēlu, atveriet maskas redaktoru, uzzīmējiet to, ko vēlaties reģenerēt, un saglabājiet to atbilstošajā mezglā. Definējiet rediģēšanas vadlīnijas un trokšņu slāpēšanas pielāgošanas uzdevumu (piemēram, 0.6)..

Ja izmantojat standarta modeli, tas darbojas ar VAE kodēšanu un trokšņa latentās maskas iestatīšanu. Īpašiem pārkrāsošanas modeļiem aizstājiet šos mezglus ar VAE Encode (Inpaint), kas ir optimizēts šim uzdevumam.

Pārkrāsošana: audekla malu palielināšana

Lai attēlu paplašinātu ārpus tā robežām, pievienojiet papildināšanas mezglu pārzīmēšanai un konfigurējiet, cik lielā mērā palielinās katra mala. Plūmošanas parametrs izlīdzina pāreju starp sākotnējo un paplašinājumu.

Pārzīmēšanas plūsmās pielāgojiet VAE kodējumu (pārzīmēšanai) un parametru grow_mask_by. Vērtība, kas lielāka par 10, parasti piedāvā dabiskākas integrācijas. paplašinātajā teritorijā.

Augstākās klases ComfyUI: pikseļi salīdzinājumā ar latentiem

Ir divi veidi: pikseļu palielināšana (ātra, nepievienojot jaunu informāciju) un latentā palielināšana, ko sauc arī par augstas izšķirtspējas latentās korekcijas funkciju, kas mērogošanas laikā no jauna interpretē detaļas. Pirmais ir ātrs; otrais bagātina tekstūras, bet var novirzīties.

Algoritmu balstīta mērogošana (pikseļi)

Ar mērogošanas metodi mezglam pēc mērogošanas varat izvēlēties bikubisku, bilineāru vai tuvāko precīzo mērogu un mēroga koeficientu. Tas ir ideāli piemērots priekšskatījumiem vai tad, kad nepieciešams ātrums. nepievienojot secinājumu izmaksas.

Uzlabot ar modeli (pikselis)

Izmantojiet funkciju “Ielādēt uzlabotas mērogošanas modeli” un atbilstošo uzlabotās mērogošanas mezglu, izvēlieties piemērotu modeli (piemēram, reālistisku vai anime) un atlasiet ×2 vai ×4. Specializētie modeļi atgūst kontūras un asumu labāk nekā klasiskie algoritmi.

Augstākās klases latentā krāsā

Mērogojiet latento kodu un atkārtoti izlasiet to ar KSampler, lai pievienotu detaļas, kas atbilst uzvednei. Tas ir lēnāks, bet īpaši noderīgi, ja vēlaties iegūt izšķirtspēju un vizuālo sarežģītību..

ControlNet: Paplašināta strukturālā rokasgrāmata

ControlNet ļauj ievadīt atsauces kartes (malas, pozu, dziļumu, segmentāciju), lai vadītu kompozīciju. Apvienojumā ar stabilu difūziju tas nodrošina precīzu struktūras kontroli. neupurējot modeļa radošumu.

ComfyUI integrācija ir modulāra: jūs ielādējat vēlamo karti, pievienojat to ControlNet blokam un pēc tam piesaistāt to paraugu ņemšanas ierīcei. Izmēģiniet dažādus kontrolierus, lai redzētu, kurš no tiem atbilst jūsu stilam un mērķim..

ComfyUI administrators: pielāgoti mezgli bez termināļa

Pārvaldnieks ļauj instalēt un atjaunināt pielāgotus mezglus no saskarnes. To atradīsiet rindas izvēlnē. Tas ir vienkāršākais veids, kā atjaunināt mezglu ekosistēmu..

Trūkstošo mezglu instalēšana

Ja darbplūsma brīdina par trūkstošiem mezgliem, atveriet pārvaldnieku, noklikšķiniet uz Instalēt trūkstošos mezglus, restartējiet ComfyUI un atjauniniet pārlūkprogrammu. Tas atrisina lielāko daļu atkarību ar pāris klikšķiem..

Atjaunināt pielāgotos mezglus

Pārvaldniekā pārbaudiet atjauninājumus, instalējiet tos un noklikšķiniet uz atjaunināšanas pogas katrā pieejamajā pakotnē. Restartējiet ComfyUI, lai izmaiņas tiktu lietotas. un izvairīties no neatbilstībām.

Ielādēt mezglus plūsmā

Veiciet dubultklikšķi uz tukšas zonas, lai atvērtu mezglu meklētāju, un ierakstiet vajadzīgā mezgla nosaukumu. Lūk, kā ātri ievietot jaunas daļas savās diagrammās.

Iegulšana (teksta inversija)

Iegulšana ievada apmācītas koncepcijas vai stilus jūsu uzvednēs, izmantojot atslēgvārdu embedding:name. Ievietojiet failus mapē models/embeddings, lai ComfyUI varētu tos atpazīt..

Ja instalēsiet pielāgoto skriptu pakotni, būs pieejama automātiskā pabeigšana: sāciet rakstīt "embedding:", un jūs redzēsiet pieejamo sarakstu. Tas ievērojami paātrina iterāciju, pārvaldot daudzas veidnes..

Varat arī piešķirt tiem svaru, piemēram, (embedding:Name:1.2), lai pastiprinātu tos par 20 %. Pielāgojiet svaru tāpat kā ar parastajiem ātrajiem noteikumiem lai līdzsvarotu stilu un saturu.

LoRA: pielāgo stilu, nepieskaroties VAE

LoRA modificē kontrolpunkta MODEL un CLIP komponentus, nemainot VAE. Tos izmanto, lai ievadītu noteiktus stilus, rakstzīmes vai objektus. ar viegliem un ērti koplietojamiem failiem.

Pamata plūsma: atlasiet pamata kontrolpunktu, pievienojiet vienu vai vairākus LoRA un ģenerējiet. Jūs varat sakraut LoRA, lai apvienotu estētiku un efektus.pielāgojot to intensitāti, ja darbplūsma to atļauj.

Īsceļi, triki un iegultās darbplūsmas

Papildus minētajiem īsceļiem ir divi ļoti praktiski padomi: labot sākumpunktu, pielāgojot attālos mezglus, lai izvairītos no visas ķēdes pārskaitīšanas, un izmantot grupas, lai vienlaikus pārvietotu vairākus mezglus. Ar taustiņu Ctrl+vilkšana var atlasīt vairākus elementus, un ar taustiņu Shift var pārvietot grupu..

Vēl viena svarīga funkcija: ComfyUI saglabā darbplūsmu ģenerētā PNG metadatos. Velkot PNG attēlu uz audekla, visa diagramma tiek izgūta ar vienu klikšķi.Tas atvieglo rezultātu kopīgošanu un reproducēšanu.

ComfyUI tiešsaistē: izveidojiet bez instalēšanas

Ja nevēlaties neko instalēt, ir pieejami mākoņpakalpojumi ar iepriekš konfigurētu ComfyUI, simtiem mezglu un populāri modeļi. Tie ir ideāli piemēroti SDXL, ControlNet vai sarežģītu darbplūsmu testēšanai, nepieskaroties datoram., un daudzos ir iekļautas gatavu darbplūsmu galerijas.

No nulles līdz video: WAN 2.1 vietnē ComfyUI

Daži pielāgoti mezgli ļauj izveidot video no teksta, pārveidot attēlu secībā vai rediģēt esošu klipu. Ar WAN 2.1 tipa modeļiem var iestatīt teksta-video, attēla-video un video-video pārveidošanas kanālus. tieši ComfyUI.

Instalējiet nepieciešamos mezglus (izmantojot administratora kontu vai manuāli), lejupielādējiet atbilstošo modeli un izpildiet piemēra plūsmu: kodējiet uzvednes un kustības parametrus, ģenerējiet kadru pa kadriem latentumu un pēc tam dekodējiet kadros vai video konteinerā. Atcerieties, ka laika un videoatmiņas izmaksas palielinās līdz ar izšķirtspēju un ilgumu..

CPU pret GPU: kādu veiktspēju sagaidīt

To var ģenerēt, izmantojot centrālo procesoru (CPU), taču tas nav ideāls ātruma ziņā. Reālās pasaules testos jaudīgs centrālais procesors var aizņemt vairākas minūtes viena attēla izveidei, savukārt ar piemērotu grafisko procesoru (GPU) process saīsinās līdz sekundēm. Ja jums ir saderīga grafikas karte, izmantojiet to, lai ievērojami paātrinātu veiktspēju..

CPU režīmā samaziniet izmēru, soļus un mezglu sarežģītību; GPU režīmā pielāgojiet partijas apstrādi un izšķirtspēju atbilstoši videoatmiņai. Uzraugiet patēriņu, lai izvairītos no sastrēgumiem un negaidītiem slēgumiem.

Pielāgoti mezgli: manuāla instalēšana un labākā prakse

Ja dodat priekšroku klasiskajai metodei, varat klonēt repozitorijus mapē custom_nodes, izmantojot git, un pēc tam pārstartēt datoru. Šī metode sniedz jums precīzu kontroli pār versijām un atzariem.noderīgi, ja nepieciešamas noteiktas funkcijas.

Saglabājiet savus mezglus sakārtotus, regulāri atjauninot tos un sniedzot saderības piezīmes. Izvairieties no pārāk daudzu eksperimentālu versiju vienlaicīgas lietošanas. lai izvairītos no grūti izsekojamu kļūdu pieļaušanas.

Tipiska problēmu novēršana

Ja “trūkstošo mezglu instalēšana” nepalīdzēja, pārbaudiet konsolē/žurnālā precīzu kļūdu: atkarības, ceļi vai versijas. Pārbaudiet, vai platums un augstums ir 8 dalāmie un vai veidnes atrodas pareizajās mapēs..

Ja darbplūsma nereaģē uz modeļa atlasi, derīga kontrolpunkta piespiedu ielāde parasti atjauno grafiku. Ja pēc atjaunināšanas mezgls nedarbojas, mēģiniet atspējot šo pakotni vai atgriezties pie stabilas versijas..

Fiksētas sākotnējās vērtības, pielāgoti izmēri un saprātīgas uzvednes atvieglo atkļūdošanu. Ja rezultāts pasliktinās pēc pārāk ilgas pielāgošanas, atgriezieties pie pamata iestatījuma un atkārtoti ieviesiet izmaiņas pa vienai..

Lai saņemtu papildu palīdzību, kopienas, piemēram, /r/StableDiffusion, ir ļoti aktīvas un bieži vien novērš retas kļūdas. Žurnāla, grafiku attēlu un mezglu versiju koplietošana paātrina atbalsta sniegšanu..

Viss iepriekš minētais sniedz pilnīgu karti: jūs zināt, kas ir katrs mezgls, kā tie savienojas, kur novietot modeļus un kam pieskarties, lai rinda virzītos vienmērīgi. Ar teksta pārveidošanas attēlā darbplūsmām, i2i, SDXL, ievadīšanu/izveidošanu, mērogošanu, ControlNet, iegulšanu un LoRA, kā arī video ar WAN 2.1, jums ir ļoti nopietns producēšanas komplekts. Gatavs augt kopā ar jums. Lai iegūtu plašāku informāciju, lūdzu, skatiet ComfyUI oficiālā tīmekļa vietne.