Upscale technique in Stable Diffusion. Scaling. Enlargement of the image
Vložit
- čas přidán 7. 05. 2023
- We will look at image scaling techniques. Upscale in Stable Diffusion. Learn how to use Hires fix, its pros and cons. Let's figure it out and connect Noise multiplier for img2img. Consider the Latent upscaler in image2 image. We will use scripts to increase the image, such as SD upscale and
Ultimate SD upscale. Let's find out what is the advantage of Ultimate SD upscale over the pre-installed SD upscale. Let's compare known models for Upscale: UltraSharp, Remacri, Siax_200k, Struzan. Let's analyze how to use Extras to enlarge an image and compare its work with other types of image scaling. Let's take a look at Topaz Gigapixel AI, an external image scaling application, and compare the result of its work.
All links and additional files to the project in our groups:
VK:
Telegram: t.me/stable_dif - Věda a technologie
🔑 Boosty с видеоуроками: boosty.to/stabledif
🔥Подписывайтесь на Телеграм-канал: t.me/stable_dif_lesson
📌 Telegram ЧАТ: t.me/stable_dif
✔VK Prompts: vk.com/stabledif
Спасибо за открытие Noise multiplier for img2img - реально полезная штука
Какой смысл указывать общую ссылку на телеграмм, без конкретной ссылки на апскейлеры? Вы думаете люди бессмертные, чтобы тратить полжизни обыскивая куча чатов в канале, пересматривая все файлы которые там есть и ломая голову - это то или не то?
Спасибо за вашу работу!
Супер информативный видос
Спасибо было полезно
наверное уже писали, но при использовании обычного СДапскейлера, значения размера изображения задают именно размер плитки, а не размер исходного изображения. Так что единственный плюс ультимейта, и тот не плюс вовсе=) Но за струзан спасибо, до этого всегда использовал ультрашарп и был доволен, если не впечатлен, но у вас струзан выглядит еще круче, попробуем
Лучший.
В img2img используется по умолчанию тот upscaler, который указан в настройках SD: Settings -> Upscaling -> Default upscaler for image resize operations. Этот же апскейлер используется по умолчанию и для inpaint (когда вы выделяете маской область и указываете ее увеличенный размер).
Latent по умолчанию не используется в img2img и inpaint
Это так.
Я экспериментировал с latent upscale в ComfyUI: при значениях Denoise ниже 0.5 начинают появляться артефакты... Я не о "даблёбл" эффекте, а именно об артефактах - изображение начинает сегментироваться и размазываться, чем ниже Denoise, тем больше эта сегментация.
И эффект этот вызывает сам апскейл, а не работа сэмплера - если сразу после апскейла (например, 2x, 512 -> 1024) результат декодировать в изображение (не использовать сэмплер и, соответственно, Denoise), то оно на выходе уже сильно искажено. Поэтому, нужно высокое значение Denoise (0.5+), чтобы устранить данный эффект.
Билинейная фильтрация в процессе апскейла снижает этот эффект, т.к. просто размывает изображение.
Либо так оно и должно быть, либо есть какая-то проблема в реализации upscale latent в самом ComfyUI.
А такой длинный промт с перечислением по сути оного и ого же (супер реалистик, эпик реалистик и т.п.) на сколько это влияет на результат? Мне кажется убрать больше половины и ничего не изменится.
Мне кажется, было бы правильно в этом видео рассказать ещё и про препроцессор tile в контролнете и рассказать, как им пользоваться
Сделаю этот вариант в тему control net
@@StableDiff спасибо, скорее бы посмотреть ваш ролик)
так же хайрес позволяет работать с быстрыми семплерами и низкими степсами, чтобы быстро создавать основу и её уже скейлить в крупное изображение, 10-12 степсов хватает чтобы получать различной степени наброски для дальнейшей обработки в инпаинте
А можно ссылку на эту программу, чтоб на пк стейбл запустить можно было
Для харь надо топаз фото использовать, гигапиксель уже не обновляется 100 лет. А вообще вся проблема обычного увеличатора харь, что они так или иначе частенько мылят. Самый нормальный наверное способ перегенерить именно стейблом.
спасибо. Только вы не правы что при встроенном SD-апскейле нельзя задать размер плитки. Она там задается размерами "Resize to" а величина апскейла задается в Scale Factor
CN все ровно лучше апскейлит, как не крути, особенно заметно а переходе в расфокус сложных картинок с деталями типа ткани и тд... А по поводу SD upscale, размер плиток менять можно...
Как в cd upscale поменять размер плитки?
@@StableDiff При выборе скрипта SD upscale вкладка Resize to переходит в режим Tile и влияет уже на размер плитки
что такое CN? контролнет?
@@zbdwind да
@@StableDiffПодскажи, а если есть цель генерировать не картинки, а 3d, например в формате STL , то стейбл диффьюжн не подойдёт? А что подойдёт? Конечная цель получать модели коттеджей в 3d.
А как добавить сторонние апскейлеры?
а почему может так происходить что при апскейле к примеру аниме арта, он теряет в цвете и вообще получается какое то мыло с даже меньше детализацией чем до? такое впечатление что через мутное стекло смотришь на арт?
Не знаете почему у меня вдруг SD upsclale и Ultimate тоже стали заметно повышать контрастность?
в этом твоя и проблема, ты делаешь фотореалистичные изображения, а апскейлер в имг2имг, при скейле художественых работ может похерить всю текстуру изображения да и поплиточное увеличение изображения не всегда работает корректно + при большом денойзине изображение превращается в мозаику, а хайрест позволяет прогнать через апскейл одно изображение несколько раз и понять, какой вариант лучше и не убивает текстуры картинки
Спокойно в SD upscale размер тайла меняется. Просто в блоке Resize to нужно вбить необходимое значение. А вот в чем Ultimate действительно лучше, так это в работе с ControlNet. По крайней мере у меня, хз) При SD upscale каждый тайл обрабатывается в ControlNet как отдельное независимое изображение, в итоге одна и та же карта как бы последовательно прокатывается по пикче, дублируется. При Ultimate же, такой проблемы нет, тайлы воспринимаются именно как тайлы, карта ложится на всю пикчу целиком. Единственное - Ultimate довольно долго (несколько сек) что-то считает перед обработкой каждого тайла, что несколько затягивает общий процесс обработки.
Кстати, можешь немного прояснить: как второй торч влияет на количество потребляемой памяти? Разве расход выше? У меня просто тоже 12gb, никаких проблем с нехваткой при, например, генерации в 2048x2048 не наблюдаю. Приведенные тобой 1600x1600 выглядят прям как-то совсем грустно.
Похоже второй торч больше видеопамяти требует для работы. Объяснений на эту не имею. У меня 2 automatic стоят с разными торсами. Работаю в основном на первом торче
@@StableDiff Ты, кстати, не пробовал включить xformers? Заметил, что он у тебя отключен. Просто даже на втором торче с установленным CUDNN, что в плане памяти, что в плане производительности, а выигрыш с xformers имеется, кто бы там что не говорил. В моем случае, по крайней мере, это более чем справедливо.
И как оно работает? Я пробовал апскейлить с control net и USD, у меня швы прям явно выделяет
@@Oolong_Johnson xformers уже не актуален на torch 2
@@StableDiff Очень распространенная и не вполне соответствующая действительности точка зрения. Использую второй торч и cuDNN, разница в производительности на моем сетапе около 10% с активным xformers и без него.
А если в User Interface отсутсвует вкладка quicksettings list. Как поставить?
Разве в sd upscale размер плитки нельзя менять в меню resize to?
неточность видео)
Какая у вас видеокарта?
Почему при первом методе моё изображение полностью меняется?
Начал недавно изучать SD, мб кто подскажет, почему при апскейле, когда нажимаю кнопгу генерировать, у меня вместо апскейла генерируется новое изображение?(
Denoising strength может высокое значение?
А какое расширение даёт кнопки пресетов соотношений 1:1, 3:2, 4:3, 16:9?
В этом видео все есть: czcams.com/video/1MNUe9uUTio/video.html
@@StableDiff спасибо!
На какой видеокарт генерируются? у меня 1.5 минуты это даже быстро для простого 768х768, иногда вообще минут по 5 генериться. карта GTX1660Ti 6гигов. Может какие-то есть способы ускорить?
У меня 3060 12гб. 8.5 сек 768*768. Это ещё слабая по скорости видюха.
Это на каком семплере? Сколько sampling steps ставишь?
@@Oolong_Johnson Для upscale я предпочитаю DPM++ 2M Karras и 23 steps
@@StableDiff Солидарен, те же параметры юзаю) Но я уточнял у
Dar Da) Просто даже для 1660Ti 5 мин в 768х768 - явный эребор. Вот и хочу понять че он там выставлял. Как-то на 970 4gb гонял, CUDA ядер там примерно столько же, справлялась значительно шустрее даже при medvram.
@@Oolong_Johnson семплер Euler количество семплов разное ставил от 20 до 40
Как апскейлить в контролнете?
В ControlNet 1.1 появился tile. В видео о ControlNet я его затрону
У меня апскейлом вообще невозможно пользоваться нормально((((( При апскейле на картинках появляются в разных местах отвратительные красные жирные пятна, похожие на капли масла((( Что я ток не пробовал, и ультимейт апскейл и обычные и в 2 раза и в 4, отключал все свои расширения и команды на запуске, передвигал все ползунки. ВОобще ничего не помогает, независимо от чекпоинта при создании картинки, метода и т.д. эти пятна постоянно и портят результат((( Методы апскейла тоже кучу разных перепробовал. И даже при апскейле обычной фотки эти убогие пятна(( Чем выше разрешение, тем больше пятен. При генерации обычных изображений они тоже изредка появляются( Я уже грешу на свою видюху 3080, может она глючит, потому что уже больше нет идей что может быть((
Привет. Извини если не в тему, но что в итоге с этой проблемой решилось?
@@Titto13_AI Привет. Это походу проблема определённых некачественных моделей. На нормальных такой проблемы не бывает. Если мне прям оч надо в тех пятнистых моделях, то делаю в них, а улучшаю изображение уже в другой модели и пятен не появляется.
@@Vadim666I спасибо за ответ, не встречал такое. Ну главное что с видюхой всё в порядке)
@@Titto13_AI Ага. Я заметил это проблема ранних моделей, походу пока не умели тренировать их. Щас такое не встречается уже почти.
Обычный апскейл через вкладку Extras, фуфло на самом деле. Он просто апскейлит, и если увеличивать изображение, то оно рассыпается на пиксили и становится мылом. А вот апскейл через SD Upscale, делает изображение реально четким, и когда его увеличиваешь, оно не рассыпается на пиксили и мылом не становится. Еще есть вариант SD Upscale + ControlNet, там еще лучше результат
Видео чисто замануха на подписку. подписался в телеграмм, а там вода, ну и везде реклама курса.
Ихние преимущества😂
Не ланзос, а ланцош