ComfyUI: Style & Composition Transfer | Stable Diffusion | German | English Subtitles
Vložit
- čas přidán 1. 07. 2024
- In this video I show the different variants for a style and / or composition transfer with the IPAdapter.
Important Links:
ComfyUI: github.com/comfyanonymous/Com...
IPAdapter plus: github.com/cubiq/ComfyUI_IPAd...
Prompt Injection Discussions: github.com/cubiq/prompt_injec...
Latent Vision: • Advanced Style transfe...
Workflow: NA
Installed Custom Nodes:
Manager: github.com/ltdrdata/ComfyUI-M...
Impact Pack: github.com/ltdrdata/ComfyUI-I...
Stability AI: github.com/Stability-AI/stabi...
Auxiliary Preprocessors: github.com/Fannovel16/comfyui...
ComfyUI Frame Interpolation: github.com/Fannovel16/ComfyUI...
CLIPSeg: github.com/biegert/ComfyUI-CL...
ComfyUI Noise: github.com/BlenderNeko/ComfyU...
Derfuu: github.com/Derfuu/Derfuu_Comf...
Davemane42's Custom Node: github.com/Davemane42/ComfyUI...
WAS Node Suite: github.com/WASasquatch/was-no...
Quality of Life: github.com/omar92/ComfyUI-Qua...
ComfyUI-post-processing-nodes: github.com/EllangoK/ComfyUI-p...
Masquerade Nodes: github.com/BadCafeCode/masque...
TinyTerra: github.com/TinyTerra/ComfyUI_...
Comfyroll: github.com/RockOfFire/ComfyUI...
IPAdapter plus: github.com/cubiq/ComfyUI_IPAd...
ComfyUI InstantID: github.com/cubiq/ComfyUI_Inst...
Face Analysis for ComfyUI: github.com/cubiq/ComfyUI_Face...
ComfyUI Advanced Controlnet: github.com/Kosinkadink/ComfyU...
AnimateDiff Evolved: github.com/Kosinkadink/ComfyU...
ComfyUI-VideoHelperSuite: github.com/Kosinkadink/ComfyU...
ComfyUI-Logic: github.com/theUpsider/ComfyUI...
rgthree's ComfyUI Nodes: github.com/rgthree/rgthree-comfy
NNLatent Upscale: github.com/Ttl/ComfyUi_NNLate...
ComfyUI Inpaint Nodes: github.com/Acly/comfyui-inpai...
ComfyUI Essentials: github.com/cubiq/ComfyUI_esse...
Crystools: github.com/crystian/ComfyUI-C...
Image2Prompt: github.com/zhongpei/Comfyui_i...
SUPIR: github.com/kijai/ComfyUI-SUPIR
YANC: github.com/ALatentPlace/Comfy...
ICLight: github.com/kijai/ComfyUI-IC-L...
KJNodes: github.com/kijai/ComfyUI-KJNodes
0:00 Intro
1:16 Normal IPAdapter
8:42 Style and Composition SDXL
10:25 Precise Style Transfer
11:36 Mad Scientist
Buy me a coffee: www.buymeacoffee.com/alatentp...
Twitter: / a_latent_place
Instagram: / a_latent_place
Discord: / discord - Věda a technologie
Appreciate these examples.
Very informative. Thank you very much for going deeper into IPA and all these interesting alternatives! Quite overwhelming in respect of RL.^^
Nice! very handfull custom node, I was thinking about doing the same :) cheers & danke schön
Sehr interessant, Danke ..
"Error when executing KSampler:
Expected query, key, and value to have the same dtype, but got query.dtype: struct c10::Half key.dtype: float and value.dtype: float instead." :(
It worked ONE TIME. After that I got that message every time, although I didn't change ANYTHING.
Sehr cool! Und hoch spannend, dass die erwähnten 12 Stable Diffusion Layer erst jetzt adressiert werden - oder hab ich was verpennt 😅?
Inzwischen ist es schon ein paar Monate bekannt, aber es tut sich noch so manches in dem Bereich. Und im KI Bereich kann man schon mit einem Augenblinzeln Dinge verpennen. :D
@@ALatentPlace Im Bereich eines neuen Models könnte sich ruhig noch mehr tun. Immerhin scheinen einige Leute an einem besseren VAE zu arbeiten (16ch anstatt 4, die jungs von 'Würschten' aka Cascade z.B.). Leider sind viele Werkzeuge wie Gligen, InstanceDiffusion, IC Light etc. immer noch auf (trainings)stand von sd1.5 und omost damit auch nur spielzeug, das viel zu viel Inpainting erfordert um nützlich zu sein. Comfy gibt jetzt zumindest Vollgas da er nach dem sd3 Debakel seinen Hut bei stability genommen hat. Dem Interface hat es gut getan und ich hoffe er ist damit auch finanziell erfolgreich. Dann profitieren wir nämlich alle.
@@ALatentPlace ach ja, und eine sehr gute entscheidung abstand von irgendwelchen "all in one nodes" zu nehmen, das überfrachtet visuell und überfordert anfänger.
@@denisquarte7177 Kommt SD3 nicht auch mit 16 chanel (?) daher? Ich habe noch nicht verstanden was der Unterschied zwischen 16ch und 4ch konkret bedeutet bzw. wo der Vorteil liegt? Kannst du hierzu ins Detail gehen?
@@ALatentPlace oupsi - na dann, bin ich ja mal gespannt ob man den restlichen 10 Layern + der IP-Mad node auch noch was verrücktes machen kann oder ist das quatschi, weil nur Layer 3+6 relevant für den IPadapter sind?
Sind die "layerweights for ipams" gleich bei 1.5 und XL ? Ne oder ? Mist, fällt mir ja früh auf.
Nein, die Layer sind bei 1.5 und SDXL unterschiedlich. Für 1.5 kannst Du mal die Precise Style Transfer Node verwenden.
Matteo schrieb dazu in unserem Discord:
SDXL: Start with a weight of 1.0, you may need to lower it up to 0.7. For the style_boost try 2.0 and move from 1.5 to 3.0
SD 1.5: Start with a weight of 1.0 and try a range of 0.8-1.5. Start with a style_boost of 0 and move from -1 to +1.
Ist es immer noch nicht möglich, die IPAdapter Models ausserhalb der ComfyUI-Instanz zu speichern und extra_model_paths.yaml zu nutzen?
Doch, das geht schon seit längerem.
@@ALatentPlace Obwohl alles aktualisiert, heisst es bei mir "IPAdaper Models not found". Beim Start steht im Terminal: "Adding extra search path ipadapter D:/SD-models/ipadapter/" und dort sind die Models gespeichert.
Haben die Files auch die richtigen Namen?
@@ALatentPlace Hab' alles von der "Matteo-Seite" heruntergeladen und gemacht, was er vorgeschlagen hat.