Išsamus „ComfyUI“ vadovas pradedantiesiems

¿Geriausias „ComfyUI“ vadovas pradedantiesiems? Jei žengiate pirmuosius žingsnius su „ComfyUI“ ir jus vargina visi mazgai, dėžutės ir kabeliai, nesijaudinkite: čia rasite tikrą vadovą, kuris pradeda nuo nulio ir nepraleidžia nieko svarbaus. Tikslas – suprasti, ką daro kiekvienas elementas, kaip jie dera tarpusavyje ir kaip ištaisyti dažniausiai pasitaikančias klaidas. kurie erzina, kai bandai mokytis vien eksperimentuodamas.

Be klasikinių teksto konvertavimo į vaizdą, vaizdo konvertavimo į vaizdą, įterpimo, iškirpimo, SDXL, konvertavimo į aukštesnę raišką, „ControlNet“, įterpimų ir „LoRA“ darbo eigų, taip pat integruosime diegimą, konfigūravimą, pasirinktinis mazgų valdymas su administratoriumiSpartieji klavišai ir praktinis skyrius su realiomis CPU ir GPU našumo rekomendacijomis. Taip, taip pat aptarsime... Kaip dirbti su vaizdo įrašais naudojant WAN 2.1 tipo modelius (tekstas į vaizdo įrašą, vaizdas į vaizdo įrašą ir vaizdo įrašas į vaizdo įrašą) „ComfyUI“ ekosistemoje.

Kas yra „ComfyUI“ ir kaip ji atrodo, palyginti su kitomis grafinėmis sąsajomis?

„ComfyUI“ yra mazgų pagrindu sukurta vizualinė sąsaja Stabili difuzija kuri leidžia nustatyti darbo eigas sujungiant funkcinius blokus. Kiekvienas mazgas atlieka konkrečią užduotį (įkelia modelį, užkoduoja tekstą, ima pavyzdį, dekoduoja) o kraštai jungia jo įėjimus ir išėjimus, tarsi sukurtumėte vizualinį receptą.

Palyginti su AUTOMATIC1111, „ComfyUI“ išsiskiria tuo, kad yra Lengvas, lankstus, skaidrus ir labai lengvai dalijamasi (Kiekvieną darbo eigos failą galima atkurti). Trūkumas yra tas, kad sąsaja gali skirtis priklausomai nuo darbo eigos autoriaus, o eiliniams vartotojams... Gilinimasis į tokias detales gali atrodyti perdėtas..

Mokymosi kreivė išsilygina, kai supranti mazgų „kodėl“. Įsivaizduokite „ComfyUI“ kaip prietaisų skydelį, kuriame matote visą vaizdo keliąnuo pradinio teksto ir triukšmo latentine forma iki galutinio dekodavimo į pikselius.

Įdiegimas nuo nulio: greitas ir be rūpesčių

Tiesiausias būdas yra atsisiųsti oficialų jūsų sistemai skirtą paketą, jį išpakuoti ir paleisti. Jums nereikia atskirai diegti „Python“, nes jis yra integruotas., o tai labai sumažina pradinę trintį.

Pagrindiniai veiksmai: Atsisiųskite suspaustą failą, išpakuokite jį (pavyzdžiui, naudodami 7-Zip) ir paleiskite jums tinkamą paleidimo priemonę. Jei neturite GPU arba jūsų vaizdo plokštė nesuderinama, naudokite CPU vykdomąjį failą.Tai užtruks ilgiau, bet veiks.

Norėdami viską pradėti, įdėkite bent vieną modelį į kontrolinių taškų aplanką. Juos galite gauti iš tokių saugyklų kaip „Hugging Face“ arba „Civitai“. ir įdėkite juos į „ComfyUI“ modelio kelią.

Jei modelių biblioteka jau yra kituose aplankuose, redaguokite papildomų kelių failą (extra_model_paths.yaml), pašalindami iš pavadinimo „example“ ir pridėdami savo vietas. Paleiskite „ComfyUI“ iš naujo, kad jis aptiktų naujus katalogus.

Pagrindiniai valdikliai ir sąsajos elementai

Drobėje priartinimas valdomas pelės ratuku arba žnybtelėjimo gestu, o slinkimas atliekamas vilkant kairįjį mygtuką. Norėdami prijungti mazgus, vilkite iš išvesties jungties į įvesties jungtį.ir atleiskite, kad sukurtumėte kraštą.

„ComfyUI“ tvarko vykdymo eilę: sukonfigūruokite savo darbo eigą ir paspauskite eilės mygtuką. Galite patikrinti būseną eilės rodinyje, kad pamatytumėte, kas veikia. arba ko jis/ji tikisi.

Naudingi spartieji klavišai: Ctrl+C/Ctrl+V – mazgams kopijuoti/įklijuoti, Ctrl+Shift+V – įklijuoti išsaugant įrašus, Ctrl+Enter – įtraukti į eilę, Ctrl+M – nutildyti mazgą. Spustelėkite tašką viršutiniame kairiajame kampe, kad sumažintumėte mazgą ir išvalytumėte drobę.

Nuo teksto iki vaizdo: esminis srautas

Minimalus srautas apima kontrolinio taško įkėlimą, teigiamo ir neigiamo raginimo kodavimą naudojant CLIP, tuščio latentinio vaizdo sukūrimą, pavyzdžių ėmimą naudojant KSampler ir dekodavimą į pikselius naudojant VAE. Paspauskite eilės mygtuką ir gausite savo pirmąjį vaizdą.

Pasirinkite modelį „Load Checkpoint“

„Load Checkpoint“ mazgas grąžina tris komponentus: MODEL (triukšmo prognozavimo priemonė), CLIP (teksto kodavimo priemonė) ir VAE (vaizdo kodavimo priemonė / dekodavimo priemonė). MODEL eina į KSampler, CLIP – į teksto mazgus, o VAE – į dekoderį..

Teigiami ir neigiami raginimai naudojant CLIP teksto kodavimą

Įveskite teigiamą atsakymą viršuje ir neigiamą atsakymą apačioje; abu yra užkoduoti kaip įterpimai. Žodžius galite sverti naudodami sintaksę (word:1.2) arba (word:0.8). sustiprinti arba sušvelninti konkrečius terminus.

Latentinės tuštumos ir optimalūs dydžiai

Tuščias latentinis vaizdas apibrėžia drobę latentinėje erdvėje. SD 1.5 formatui rekomenduojama 512 × 512 arba 768 × 768 raiška; SDXL formatui – 1024 × 1024.Plotis ir aukštis turi būti 8 kartotiniai, kad būtų išvengta klaidų ir būtų atsižvelgta į architektūrą.

VAE: nuo latentinio iki pikselių

VAE suspaudžia vaizdus iki latentinių verčių ir rekonstruoja juos į pikselius. Teksto konvertavimo į vaizdą metu jis paprastai naudojamas tik pabaigoje latentinei vertei dekoduoti. Suspaudimas pagreitina procesą, tačiau gali sukelti nedidelius nuostoliusSavo ruožtu tai suteikia puikią kontrolę latentinėje erdvėje.

KSampler ir pagrindiniai parametrai

„KSampler“ taiko atvirkštinę difuziją, kad pašalintų triukšmą pagal įterpimo vadovą. Sėkla, žingsniai, pavyzdžių rinkiklis, planuoklė ir triukšmo mažinimas Tai yra pagrindiniai ratukai. Daugiau žingsnių paprastai suteikia daugiau detalių, o denoise=1 visiškai perrašo pradinį triukšmą.

Vaizdas po vaizdo: pakartoti su vadovu

„i2i“ srautas prasideda nuo įvesties vaizdo ir jūsų raginimų; triukšmo mažinimas kontroliuoja, kiek jis nukrypsta nuo originalo. Esant mažam triukšmo slopinimui, gaunami subtilūs variantai, o esant dideliam – gilūs pokyčiai..

Tipinė seka: pasirinkite kontrolinį tašką, įkelkite vaizdą kaip įvestį, pakoreguokite raginimus, apibrėžkite triukšmo šalinimą „KSampler“ programoje ir įtraukite duomenis į eilę. Tai idealiai tinka kompozicijų tobulinimui arba stilių perkėlimui nepradėjus nuo nulio..

SDXL ComfyUI platformoje

Dėl modulinės konstrukcijos „ComfyUI“ siūlo ankstyvą SDXL palaikymą. Tiesiog naudokite su SDXL suderinamą srautą, peržiūrėkite raginimus ir paleiskite jį. Atminkite: didesniems vietiniams dydžiams reikia daugiau VRAM ir apdorojimo laiko.Tačiau kokybinis šuolis detalėse tai atperka.

Intapyba: redaguokite tik tai, kas jus domina

Kai norite modifikuoti konkrečias vaizdo sritis, naudokite įrankį „inpainting“. Įkelkite vaizdą, atidarykite kaukės redaktorių, nupieškite tai, ką norite regeneruoti, ir išsaugokite atitinkamame mazge. Apibrėžkite savo raginimą, kuris vadovaus redagavimui ir koreguos triukšmo slopinimą (pavyzdžiui, 0.6).

Jei naudojate standartinį modelį, jis veikia su VAE kodavimu ir triukšmo latentinės kaukės nustatymu. Specialiems inpaint modeliams šiuos mazgus pakeiskite VAE Encode (Inpaint), kuris yra optimizuotas tai užduočiai.

Pertapyba: drobės kraštų padidinimas

Norėdami išplėsti vaizdą už jo ribų, pridėkite užpildymo mazgą, skirtą išplėtimui, ir sukonfigūruokite, kiek kiekviena pusė didėja. Plunksnų parametras išlygina perėjimą tarp originalaus ir išplėstinio vaizdo.

„Outpainting“ srautuose pakoreguokite „VAE Encode“ (skirtą „Inpainting“) ir parametrą „grow_mask_by“. Didesnė nei 10 reikšmė paprastai siūlo natūralesnes integracijas. išplėstoje teritorijoje.

Prabangesnis ComfyUI: pikselių ir latentinių

Yra du būdai: pikselių didinimas (greitas, nepridedant naujos informacijos) ir latentinis didinimas, dar vadinamas didelės raiškos latentinio našumo taisymu, kuris keičiant mastelį iš naujo interpretuoja detales. Pirmasis yra greitas; antrasis praturtina tekstūras, bet gali nukrypti nuo normos..

Algoritmu pagrįstas didinimas (pikseliai)

Naudodami mastelio keitimo mazgą pagal metodą, galite pasirinkti bikubinį, bilinarinį arba artimiausią tikslumą ir mastelio koeficientą. Tai idealiai tinka peržiūroms arba kai reikia greičio. nepridedant išvados kainos.

Padidinti našumą su modeliu (pikseliu)

Naudokite „Load Upscale Model“ ir atitinkamą mastelio keitimo mazgą, pasirinkite tinkamą modelį (pvz., realistinį arba anime) ir pasirinkite ×2 arba ×4. Specializuoti modeliai geriau atkuria kontūrus ir ryškumą nei klasikiniai algoritmai.

Prabangus latentinis

Pakeiskite latentinio teksto mastelį ir iš naujo atrinkite naudodami „KSampler“, kad pridėtumėte detalių, atitinkančių raginimą. Tai lėtesnis, bet ypač naudingas, kai norite padidinti skiriamąją gebą ir vizualinį sudėtingumą..

„ControlNet“: išplėstinis struktūrinis vadovas

„ControlNet“ leidžia įterpti referencinius žemėlapius (kraštus, pozą, gylį, segmentaciją), kad būtų galima vadovautis kompozicija. Kartu su stabilia difuzija tai suteikia jums puikią struktūros kontrolę. neaukojant modelio kūrybiškumo.

„ComfyUI“ integracija yra modulinė: įkeliate norimą žemėlapį, prijungiate jį prie „ControlNet“ bloko ir susiejate su pavyzdžių rinkikliu. Išbandykite skirtingus valdiklius, kad pamatytumėte, kuris atitinka jūsų stilių ir tikslą..

„ComfyUI“ administratorius: pasirinktiniai mazgai be terminalų

Tvarkyklė leidžia diegti ir atnaujinti pasirinktinius mazgus iš sąsajos. Ją rasite eilių meniu. Tai paprasčiausias būdas atnaujinti savo mazgų ekosistemą.

Įdiekite trūkstamus mazgus

Jei darbo eiga įspėja apie trūkstamus mazgus, atidarykite tvarkytuvę, spustelėkite „Įdiegti trūkstamus“, paleiskite „ComfyUI“ iš naujo ir atnaujinkite naršyklę. Tai išsprendžia daugumą priklausomybių vos keliais paspaudimais..

Atnaujinti pasirinktinius mazgus

Tvarkyklėje patikrinkite, ar yra atnaujinimų, įdiekite juos ir spustelėkite kiekvieno galimo paketo atnaujinimo mygtuką. Kad pakeitimai įsigaliotų, paleiskite „ComfyUI“ iš naujo. ir išvengti neatitikimų.

Įkelti mazgus į srautą

Dukart spustelėkite tuščią sritį, kad atidarytumėte mazgų ieškiklį, ir įveskite reikiamo mazgo pavadinimą. Štai kaip greitai įterpti naujus elementus į savo diagramas.

Įterpimai (teksto inversija)

Įterpimai į jūsų raginimus įterpia apmokytas koncepcijas arba stilius naudodami raktinį žodį embedding:name. Įdėkite failus į models/embeddings aplanką, kad „ComfyUI“ galėtų juos aptikti..

Jei įdiegsite pasirinktinių scenarijų paketą, turėsite automatinio užbaigimo funkciją: pradėkite rašyti „embedding:“ ir pamatysite galimų scenarijų sąrašą. Tai labai pagreitina iteraciją valdant daug šablonų..

Taip pat galite juos pasverti, pavyzdžiui (embedding:Name:1.2), kad sustiprintumėte 20 %. Koreguokite svorį taip, kaip tai darytumėte su įprastais greitaisiais terminais subalansuoti stilių ir turinį.

LoRA: pritaiko stilių neliesdamas VAE

LoRA modifikuoja kontrolinio taško MODEL ir CLIP komponentus nekeisdama VAE. Jie naudojami norint įterpti konkrečius stilius, simbolius ar objektus. su lengvais ir lengvai bendrinamais failais.

Pagrindinis srautas: pasirinkite pagrindinį kontrolinį tašką, pridėkite vieną ar daugiau LoRA ir sugeneruokite. Galite sukrauti „LoRA“, kad sujungtumėte estetiką ir efektus.koreguojant jų intensyvumą, jei tai leidžia darbo eiga.

Spartieji klavišai, gudrybės ir įterptosios darbo eigos

Be paminėtų nuorodų, yra du labai praktiški patarimai: koreguojant tolimus mazgus, pataisykite pradinę reikšmę, kad nereikėtų perskaičiuoti visos grandinės, ir naudokite grupes, kad vienu metu perkeltumėte kelis mazgus. Paspaudus Ctrl ir vilkant, galite pasirinkti kelis elementus, o paspaudus Shift perkelti grupę..

Dar viena svarbi funkcija: „ComfyUI“ išsaugo darbo eigą sugeneruoto PNG metaduomenyse. Nuvilkus PNG ant drobės, visa diagrama atkuriama vienu spustelėjimu.Tai palengvina rezultatų bendrinimą ir atkūrimą.

„ComfyUI“ internete: kurkite neįdiegdami

Jei nenorite nieko diegti, yra debesijos paslaugų su iš anksto sukonfigūruota „ComfyUI“, šimtai mazgų ir populiarūs modeliai. Jie idealiai tinka SDXL, „ControlNet“ ar sudėtingų darbo eigų testavimui neliečiant kompiuterio., o daugelyje jų yra paruoštų darbo eigų galerijos.

Nuo nulio iki vaizdo įrašo: „Wan 2.1“ „ComfyUI“ sąsajoje

Kai kurie pasirinktiniai mazgai leidžia kurti vaizdo įrašą iš teksto, transformuoti vaizdą į seką arba redaguoti esamą klipą. Naudodami „WAN 2.1“ tipo modelius, galite nustatyti teksto į vaizdo įrašą, vaizdo į vaizdo įrašą ir vaizdo į vaizdo įrašą konvertavimo kanalus. tiesiai „ComfyUI“.

Įdiekite reikiamus mazgus (per administratorių arba rankiniu būdu), atsisiųskite atitinkamą modelį ir vykdykite pavyzdžio srautą: užkoduokite raginimo ir judesio parametrus, sugeneruokite kadrų po kadro vėlavimus ir tada dekoduokite į kadrus arba vaizdo įrašo konteinerį. Atminkite, kad laiko ir vaizdo atminties sąnaudos didėja didėjant skiriamajai gebai ir trukmei..

CPU ir GPU: kokio našumo tikėtis

Jį galima sugeneruoti naudojant procesorių, tačiau tai nėra idealus greičio rodiklis. Realiuose bandymuose galingas procesorius gali užtrukti kelias minutes vienam vaizdui sukurti, o naudojant tinkamą grafikos procesorių šis procesas sutrumpėja iki sekundžių. Jei turite suderinamą GPU, naudokite jį, kad žymiai padidintumėte našumą..

CPU atveju sumažinkite dydį, žingsnius ir mazgų sudėtingumą; GPU atveju pakoreguokite paketinį apdorojimą ir skiriamąją gebą pagal savo vaizdo atmintinę. Stebėkite suvartojimą, kad išvengtumėte kliūčių ir netikėtų uždarymų.

Pasirinktiniai mazgai: rankinis diegimas ir geriausia praktika

Jei pageidaujate klasikinio metodo, galite klonuoti saugyklas aplanke „custom_nodes“ naudodami „git“ ir tada paleisti sistemą iš naujo. Šis metodas suteikia jums tikslią versijų ir šakų kontrolę.naudinga, kai reikia konkrečių funkcijų.

Tvarkingai tvarkykite savo mazgus, reguliariai juos atnaujindami ir pateikdami suderinamumo pastabas. Venkite per daug eksperimentinių versijų vienu metu. kad būtų išvengta sunkiai pastebimų klaidų.

Tipinis trikčių šalinimas

Jei „įdiegti trūkstamus mazgus“ nepadėjo, patikrinkite konsolę / žurnalą, ar nėra tikslios klaidos: priklausomybės, keliai ar versijos. Patikrinkite, ar plotis ir aukštis yra 8 kartotiniai ir ar šablonai yra tinkamuose aplankuose..

Kai darbo eiga nereaguoja į modelio pasirinkimą, priverstinis galiojančio kontrolinio taško įkėlimas paprastai atkuria grafiką. Jei po atnaujinimo mazgas sugenda, pabandykite išjungti tą paketą arba grįžti prie stabilios versijos..

Fiksuotos sėklos, pakoreguoti dydžiai ir pagrįsti raginimai palengvina derinimą. Jei rezultatas pablogėja po per daug bandymų, grįžkite prie pagrindinio išankstinio nustatymo ir po vieną iš naujo įdiekite pakeitimus..

Dėl papildomos pagalbos galite kreiptis į tokias bendruomenes kaip /r/StableDiffusion, kurios yra labai aktyvios ir dažnai išsprendžia retas klaidas. Žurnalo, grafikų įrašų ir mazgų versijų bendrinimas pagreitina palaikymą.

Visa tai suteikia jums išsamų žemėlapį: žinote, kas yra kiekvienas mazgas, kaip jie jungiasi, kur dėti modelius ir ką liesti, kad eilė judėtų sklandžiai. Turėdami teksto konvertavimo į vaizdą darbo eigas, „i2i“, SDXL, įterpimą/ištraukimą, konvertavimą į didesnę raišką, „ControlNet“, įterpimus ir „LoRA“, taip pat vaizdo įrašus su WAN 2.1, turite labai rimtą gamybos įrangą. Pasiruošę augti kartu su jumis. Daugiau informacijos rasite Oficiali „ComfyUI“ svetainė.