如何使用 Stable Diffusion 和 ComfyUI 創建逼真的頭像

最後更新: 2025年21月10日

  • IP-Adapter/InstantID 和 LoRA 是透過姿勢、光線和背景的變化來建立身份的最強大的組合。
  • 控制去噪、CFG 和種子對於保持鏡頭之間的臉部一致性至關重要。
  • 單張照片是可行的,但具有 10-30 張圖像的 LoRA 大大提高了一致性。
  • /r/StableDiffusion 和 ComfyUI 社群在 SFW 規則和友善對待下提供串流和支援。

如何使用 Stable Diffusion + ComfyUI 創建逼真的頭像

¿如何使用 Stable Diffusion + ComfyUI 創建逼真的頭像? 使用 Stable Diffusion 和 ComfyUI 創建逼真且一致的頭像是一個越來越容易實現的目標,但它需要一些技巧和良好的判斷力。 關鍵在於改變背景、光線和表情的同時保留身分(臉部特徵、髮型、結構)。,這通常需要工作流程、特定節點以及有時輔助模型(例如 LoRA 或嵌入)的組合。

許多用戶面臨同樣的問題:使用參考影像,他們在一次拍攝中實現了良好的相似性,但在下一次拍攝中,髮型或眼睛顏色發生了變化。 您聽說過嵌入(文字反轉)、LoRA 和 ControlNet,想知道哪種方法適合您是很正常的。此外,IP 適配器和 InstantID 等選項不斷湧現,旨在提升人臉一致性。本文將解答一些最常見的問題:單一參考是否足夠,配置 LoRA 還是使用嵌入更好,以及在 ComfyUI 中哪些節點/配置最適合實現穩定的頭像。

我們所說的頭像的一致性是什麼意思?

當我們談論一致性時,我們的意思是角色在多個圖像中仍然可識別。 它是關於保持基本特徵(臉型、眼睛、鼻子、嘴唇、頭髮)和主體的“感覺” 即使我們擺出各種姿勢、張嘴、強光或複雜的背景。

這種連貫性來自於生成過程中身分的「錨定」。 如果模型沒有收到關於主體是誰的足夠訊號,它就會傾向於即興發揮和偏離。;這就是為什麼使用視覺參考、身分模組或小的自訂調整(LoRA、嵌入)來加強相似性是有意義的。

此外,有必要區分哪些元素可以在不破壞身分的情況下改變,哪些元素不能改變。 背景、服裝、表情和燈光方案都是安全變量;眼睛形狀、虹膜顏色、髮際線和骨骼結構則沒那麼重要。微調這些界限是這項工作的重要組成部分。

是否可以使用 ComfyUI 中的單一影像來實現這一點?

簡短的回答是:是的,但有細微差別。 如果您使用臉部參考技術(例如 IP-Adapter(FaceID)或 InstantID)並控制噪音水平,則一張照片就足夠了。 在 img2img 或調節強度中。當然,照片必須清晰、光線充足、正面或半側面,五官清晰。

對於 ComfyUI,典型的方法是將臉部參考節點與明確定義的提示和穩定的取樣器結合。 視覺條件「推動」模型尊重特徵,而提示則決定風格、背景或燈光如果需要大量的姿勢變化,請依靠 ControlNet(OpenPose)來引導姿勢,而不會扭曲臉部。

然而,單張影像有其限制:它可以「過度學習」照片中的特定表情或光線。 如果您追求最高的保真度和多功能性,6-20 張參考影像可以提高泛化能力。,並且,如果有必要,在您的照片上訓練的輕量級 LoRA 可提供卓越的逐幀一致性。

嵌入、LoRA 或微調:如何選擇

身分定制主要有三種途徑:嵌入(文字反轉)、LoRA 和完全微調。 嵌入會教會 CLIP 一個代表你的主題的新標記。,具有少量 MB 和相當快的訓練速度,但與 LoRA 相比其功能有限。

另一方面,訓練有素的 LoRA 會將容量注入模型的各個層,以更準確地捕捉特徵。 透過 10-30 張不同的肖像(角度、表情、光線)和適度的訓練,您可以實現非常高的一致性。 在 SD 1.5 或 SDXL 中,同時保持較小的檔案大小(數十 MB)。這對大多數人來說都是最佳選擇。

獨家內容 - 點擊這裡  Fortnite語音聊天功能無法使用:原因及解決方法

檢查點的完整微調僅用於非常特殊的製作。 它成本高昂、資料密集,並且會涵蓋模型的整體風格。實際上,對於個人頭像,輕量級的 LoRA 或良好的臉部參考管道通常就足夠了。

ComfyUI 中的推薦節點和區塊

一致性的典型圖表結合了基本檢查點、文字編碼器、穩定採樣器和身分/控制模組。 這些是最有用的積木以及它們如何一起玩:

  • 檢查點 + VAE:載入 SD 1.5 或 SDXL(取決於您的美感和資源偏好)。 SDXL 提供細節,但需要更多顯示。
  • CLIP 文字編碼(正/負):清晰的提示,提及主題標記(如果使用 LoRA 或嵌入)和樣式/場景說明。
  • KSampler:DPM++ 2M Karras 穩定採樣器,20–35 步,SDXL 上的 CFG 4–7(SD1.5 上為 6–9),固定種子以確保可重複性。
  • IP 適配器/InstantID: 臉部調理 維持特徵;根據偏差調整強度(0.6–0.9)。
  • ControlNet (OpenPose/Depth/Canny):控制姿勢、體積和輪廓,同時身份仍然由 IP-Adapter/LoRA 固定。
  • LoRA載入器:為主題的 LoRA 注入 0.6–1.0 的權重;如果它扭曲了風格,則減少權重或縮小 CFG。
  • Img2Img/平鋪:對於軟變化,使用去雜訊0.2–0.45;更高的值會破壞身分。

在此基礎上,最穩定的組合通常是: 主題 LoRA + FaceID IP 轉接器 + Pose ControlNetLoRA 定義字符,IP 適配器校正精細特徵,ControlNet 讓您可以自由改變取景和姿勢。

基本逐步流程(ComfyUI)

首先,您可以建立一個最小的、強大的流程。 無論您從純文字開始還是對圖像進行細微的改動,它都會為您提供服務。:

  1. 載入檢查點 (SDXL 或 SD1.5)和 載入VAE.
  2. CLIP 文字編碼(正):用他們的代幣描述主題,或者如果沒有 LoRA,則用以下特徵描述:「年輕人,棕色短髮,綠色眼睛,橢圓形臉」+ 所需風格(「電影肖像,柔和的主光」)。
  3. CLIP 文字編碼(負片):包括要避免的偽影(「模糊、變形、多餘的手指、不一致的眼睛、錯誤的髮色」)。
  4. IP適配器/ 即時ID:連接參考影像,並將初始強度設定為 0.75(調整範圍為 0.6-0.9)。如果您只使用一張照片,請將其裁切至臉部,並確保曝光適當。
  5. ControlNet 姿態 (可選):如果您想要不同的表情/手勢而不失去身份,請定義姿勢。
  6. KSampler:DPM++ 2M Karras,28-32 步,CFG 5.5-7(SDXL:CFG 略低)。種子固定,用於比較。
  7. VAE解碼 並且,如果有必要的話, 升級者 (4x-UltraSharp、ESRGAN 或 SDXL Refiner 用於精細細節)。

如果您已經有一個 受試者的 LoRA,將其添加到採樣器之前,權重為 0.8(從低開始,如果缺乏相似性則增加)。 使用可靠的 LoRA,您可以降低 IP 轉接器的強度,讓 LoRA 處理身份,而 IP 適配器只是“正確”。

造成差異的參數

在調整一致性時,微小的參數變化具有決定性作用。 控制調節強度、去噪和種子可以給你真正的穩定性:

  • img2img 中的去噪:0.2–0.45 保留了特徵,並允許變化的光照/背景。從 0.55 開始,特徵逐漸消失。
  • CFG規模如果影像「強制」且扭曲,則降低 CFG;如果模型忽略了您的提示,則將其提高半個點。
  • 採樣器/步驟:DPM++ 2M Karras 或 SDE Karras 具有 24-32 步,通常會產生一致的結果,且不會出現偽影。
  • 種子:設定比較的種子。對於輕微的變化,請使用強度為 0.1 至 0.3 的「變化種子」。
  • 解決:較長的一側,768–1024 像素可以增強臉部特徵的精細度。在 SDXL 上,1024 像素是細節表現的最佳點。

如果頭髮或眼睛的顏色發生變化,請在底片中加上「錯誤的髮色、顏色變化、不一致的眼睛顏色」並重複。 它還有助於在每個鏡頭中引入顏色作為積極提示的一部分。 以防止模型被「遺忘」。

表情、背景和燈光,不失個性

對於多變的表情(微笑、驚訝、張開嘴巴),依靠 ControlNet OpenPose,或者更好的是,當它可用時,臉部特徵點的預處理器。 控制臉部的幾何形狀可以減少變形並防止模型產生特徵。.

獨家內容 - 點擊這裡  如果Windows語音聽寫功能無法正常運作或打字效果很差,該怎麼辦?

在照明方面,明確制定方案:「左側柔光箱」、「輪廓光」、「黃金時段」。 使用環境參考(心理 HDRI、工作室描述)引導陰影而不影響身份如果膚色發生變化,請在提示中加入「膚色一致性」或設定色溫。

對於複雜的背景,使用低強度(0.35-0.55)的 ControlNet Depth 或 Canny,並在提示時描述環境。 IP 適配器/LoRA 應該比背景 ControlNet 具有更大的權重 以免臉部受到外來輪廓的污染。

當您想要改變自己的外觀(服裝/配件)時,請以文字形式輸入它們,並減輕 LoRA 的負擔(如果它總是「拖著」相同的服裝)。 LoRA 可以覆蓋美學細節;平衡權重以便發送新的提示。.

訓練還是不訓練:LoRA/嵌入的實用指南

如果臉部參考不夠,可以考慮對主題進行 LoRA。 使用 10-30 張具有各種角度、表情、背景和光線的照片(但要保持臉部乾淨清晰)。。將短邊裁剪為 512–768 像素,如果您的基礎是通才,則平衡男性/女性,並記下令牌名稱。

指導訓練參數(SD1.5):等級 4–8,alpha 等於等級,學習率 1e-4 到 5e-5,小批量 2k–6k 步。 避免過度訓練;如果您看到單張照片的“克隆”,請減少步驟或增加更多種類。。在 SDXL 上,使用更高的解析度並佔用更多的 VRAM。

對於嵌入(文字反轉),3-10 張照片就可以起作用,但您需要更多步驟來確保穩定性。 嵌入物對整體美觀的影響較小,重量很輕。,如果您想要一個可重複使用的令牌而又不管理 LoRA,那麼這是理想的選擇。

質量、縮放和修飾

產生基礎影像後,套用 2-4 倍縮放器(ESRGAN、4x UltraSharp)或 SDXL 細化器來取得臉部細節。 精煉機可以矯正皮膚和眼睛,而不會產生偽影,特別是如果你保留種子和相同的提示。

要修復特定的眼睛/嘴巴,您可以使用 ADetailer 或臉部修復節點。 修正局部錯誤,同時保留其餘部分避免使用使皮膚「塑化」的粗糙濾鏡;相反,要微調清晰度和微對比度設定。

常見問題故障排除

如果髮型在拍攝之間發生變化,問題通常是噪音過多或提示不明確。 降低去噪/CFG,強化「棕色短髮」或在每個提示中指定特定的髮型如果使用LoRA,則將其權重增加0.1。

如果眼睛顏色不同,請在底片上加上“綠色眼睛,眼睛顏色一致”,並寫上“眼睛顏色不一致,異色症”。 IP 轉接器/InstantID 也有助於虹膜細節 當引用非常明確時。

如果風格「吞噬」了身份(例如,強風格 LoRA),則減少其權重或增加主題 LoRA 的權重。 平衡權重對於避免犧牲相似性至關重要。另一種選擇是降低 CFG,以便模型不會過度強制風格。

如果變化很小,則稍微增加去雜訊(0.05-0.1)或使用變化種子。 一點點隨機性創造了多樣性,而不會破壞功能.

社群與標準:學習與分享的地方

Reddit 上的 Stable Diffusion 社群非常龐大且活躍。 在 /r/StableDiffusion 中,您可以發布藝術作品、提出問題、進行討論並為新的開放技術做出貢獻。;它不是一個官方論壇,但它的精神是支持開源生態系統並幫助您進步。

ComfyUI subreddit,也是社群/非官方的,是分享工作流程、問題和技巧的好地方。 請保持貼文的 SFW,不要推廣付費串流,保持主題,最重要的是,保持友善。忽視其他人的結果將導致被禁止,建議不要連續發布太多貼文來弄亂你的動態。

探索附有圖表和參數的線程是加速學習的好方法。 透過查看具有固定種子、LoRA 權重和參考影像的基準,您可以看到哪些設定真正有效。 在實踐中。

獨家內容 - 點擊這裡  Firecrawl 與傳統網路爬蟲相比:它在與人工智慧合作方面有哪些優勢?

從照片到有音訊的影片:StableAvatar

如果您想更進一步,擁有一個可以使用音訊「說話」的頭像,請查看 StableAvatar。 它是一個用於產生高保真、時間一致的談話影片的框架,其長度可能不受限制。,從音軌開始。

根據其作者介紹,對於 480x832 和 25 fps 的 5 秒剪輯,帶有 –GPU_memory_mode=»model_full_load» 的基本模型需要大約 18 GB 的 VRAM,並在 4090 GPU 上大約 3 分鐘內完成。 這清楚地說明了所需的資源以及現代硬體上可能的性能。程式碼和模型可從以下網址取得:https://github.com/Francis-Rings/StableAvatar

該團隊提出將針對該系統進行 LoRA/微調。 這為進一步定制頭像及其面部風格打開了大門。,像我們在靜態影像中那樣錨定身份,但在連貫的視訊序列中。

直接回答三個關鍵問題

加州 IA 法律

1) 我能否僅憑一張參考影像,直接在 ComfyUI 中建立一致的頭像?可以,使用 IP 適配器 (FaceID) 或 InstantID,以及具有可控降噪和固定種子的穩健流程。 照片必須清晰且正面;透過單一參考,極端變化是有限的,但對於肖像和適度的變化,它非常有效。

2) 我應該考慮微調還是使用嵌入?如果您希望在多種場景下實現最大的穩健性,那麼輕量級的 LoRA 主題是最佳選擇。 更好的努力/結果比率嵌入(文字反轉)更輕量,但捕捉到的細微差別更少。除非非常特殊的製作,否則很少需要進行全面的微調。

3) ComfyUI 中推薦的節點配置或技術是什麼? Checkpoint + VAE + CLIP 文字編碼(正/負)+ KSampler(DPM++ 2M Karras,24-32 步,CFG 5-7)+ IP-Adapter/InstantID + ControlNet(姿勢/深度取決於場景)。 載入主題的 LoRA,權重為 0.6–1.0 並稍微降低IP轉接器的功率,以便兩者可以互相補充。

4) 穩定擴散是什麼意思?它有什麼作用? 我們將在本文中告訴您更多。

不要忘記 /r/StableDiffusion 和 ComfyUI 社群是開放的空間,您可以在其中分享範例、尋求回饋並發現新技巧。 保持您的內容 SFW,避免推廣付費串流,並注意與剛開始的人交流時的語氣。;在他們所有人之間,水平上升得非常快。

有了良好的起點(IP 適配器/即時 ID)、固定種子、清晰的提示和去噪控制,您現在可以透過更改設定、手勢和燈光來實現一致的肖像。 如果您也使用 10 至 30 張不同的照片來訓練 LoRA,相似度會顯著增加。並且透過實踐,即使在高解析度下,對 ControlNet 和後處理進行微調也能帶來可靠的結果。對於想要更進一步的人來說,StableAvatar 表明,只要有合適的資源,一致性身分的相同理念也可以應用於音訊驅動的視訊。

克里斯蒂安·加西亞

Cristian Garcia

從小就對科技充滿熱情。我喜歡了解該領域的最新動態,最重要的是,進行交流。這就是為什麼我多年來一直致力於技術和視頻遊戲網站的交流。您可以找到我撰寫的有關 Android、Windows、MacOS、iOS、任天堂或您想到的任何其他相關主題的文章。