Stable Diffusion - Train (дополнение)
Vložit
- čas přidán 5. 01. 2023
- Train (часть 1) ➜ • Stable Diffusion - Train
Telegram ➜ t.me/win10tweaker
Boosty (эксклюзив) ➜ boosty.to/xpuct
🔥 Deliberate: huggingface.co/XpucT/Delibera...
🔥 Reliberate: huggingface.co/XpucT/Relibera...
🔥 LowRA / Lit: huggingface.co/XpucT/Loras/tr...
Stable Diffusion плейлист: • Stable Diffusion
#StableDiffusion #Train #Art - Věda a technologie
Учимся и ставим лайки быстро и решительно!
Как-то видео не завершено - ну сделал я Train, записался файл pl. А дальше то что? Как это включить и использовать? Я понимаю что это как-то просто для опытных, но я новичок, видео для новичков, почему бы не объяснить всё до конца.
Хачатур! Спасибо тебе за труд! оказал мне неоценимую помощь во вхождение в нейросети. Ты - мой учитель!!! Не останавливайся!!!!!
Хачатур, признавайся ты читаешь мои мысли ?
Буквально вчера созрел чтобы тренировать свою нейронку, пересмотрел повторно Train, а сегодня еще и бонус.
Вы конченый красавец! Земной поклон за такой годный контент! Темп подачи идеален. Видео других авторов приходится на ускоренной смотреть)
Ох народ своих подружек генерирует наверное) Классный урок и классные результаты в конце.
Спасибо за видео! Как всегда, было приятно, послушать техническую составляющую. 🖖
Бро. Ты очень круто рассказываешь! Инфа на вес золота. Спасибо тебе
Лайк не глядя! Спасибо за видео, вы - лучший🥰
Очень буду ждать видео про embedding! Оторваться невозможно от вашей подачи и голоса
Огромное спасибо за подробности. Вообще - длинные ролики не проблема, наоборот круто
Спасибо, я уже запаниковал что ничего не работает, но с этим видео всё исправилось!
Сегодня ночью была битва за взятие Train в Stable diffusion, при учёте 6gb vram и таких себе исходников в ограниченном количестве. В итоге научил при 256х256 несколько гиперсетей. Всё хрень. Нет, оно конечно похоже в результате, довольно похоже, но точно не тот человек. Я бы сказал я получил некую расу этого человека, а не его самого. В ОЧЕНЬ редких случаях при экспериментах с промтом и семплами выдаёт почти 1в1, с частотой 1 примерно из 20 генераций. Как у Хачатура не получается вот чтобы сразу на первой генерации в лоб на тебе именно то что ты хочешь. Вернусь к этому когда будут исходники получше и проблем с vram поменьше)
Ограничения на количество текста в Stable Diffusion! Интересно от чего это зависит ? Что на это влияет? Cuda может как то на это влияет ?
? ? ? ?
Отличное видео! Как мне кажется, контент по sd и должен быть долгим, но зато подробным и понятным. Очень интересно послушать про embedding!
Как всегда оочень интересно!👍
Мои нейроны уже натренированы: Видос от Хачатура = полезно/интересно :) Спасибо!
Не останавливайся ни в коем случае :)
Спасибо! Я правда перелазил очень много статей, все всё очень криво-коряво объясняет и вдобавок это плохо работает.
У тебя я всё наконец-то понял, спасибо ещё раз)) С меня подписка и лайк
Благодарю за видео!
Прекрасный ролик, спасиб за свет во тьме
Спасибо что разбираешься вместо нас в этом дремучем лесу)
Про embedding тоже интересно посмотреть.
А ведь еще можно целую модель создать которая будет тебя рисовать. А в чем разница? Если hypernetwork справляется может и не нужны embeddings и модели целиком?
Вот на эти вопросы будут ответы =)
@@XpucT реально научить нейронку на предмет? Например чтобы в руке мужчина держал пистолет ПМ? Или нож определенного вида? Или какой либо другой предмет. Каков алгоритм? Какие фото нужны? Предмета? Или предмета в руке? Или целиком человек с предметом? Расскажите пожалуйста!
Спасибо за уроки по трейненгу 👍
Все как всегда доступно и понятно. Да тема эмбендинга интересна. На профильных ресурсах, можно загружать ckpt, pt но pt я как понял и есть эмбендинг? и Его надо использовать вместе с основным ckpt?
Хотелось бы видео: работа с обученной гипермоделью. С какой основной моделью используем? как и с чем, и в каких случаях? Если надо результат полученный в делибарейт соеденить с нашим лицом, то как?
Т.к. в двух видео был показ на генерации простых нейрофоток с простым промптом. Ъотелось бы понять как лучше работать дальше
Полностью поддерживаю!
Спасибо за ролик, а ты не копал Regularization images? Иногда их можно использовать в других местах для тренировки, но на вкладке Train такого нет. улучшают ли они тренировку?
Спасибо за видео! Попробовал обучить на 40 фотках по заветам автора на базе f222, вроде бы с первого раза получилось очень даже. Но есть вопросы. 1. Почему обучаете не на своей модели, а на f222? 2. Если обучение было на базе f222(например), то дальнейшие генерации картинок с этим hypernetwork будут априори нормальные только на f222 или на других моделях тоже можно прогонять? Какая вообще закономерность тут. P.S.: Что думаете про extension instruct-pix2pix?
+
Немного филосовских размышлений про learn reate:
Скорее всего все отлично работает, но если у тебя 30-33 фото, выглядит странно что процесс обучения будет таким:
[1-24 эпохи, скорость 2е-5][25 эпоха пловина обучения на скорости 2е-5, половина на скорости 8е-6][26-49 эпохи на скорости 8е-6][50 эпоха, скорость обучения пловина 8е-6, пловина 5е-6][51-... скорость 5е-6]
А если учитывать кол-во фотографии, можно сделать формулу:
2е-5 = Кол-во фото * 25 эпох,
8е-6 = Кол-во фото * 50 эпох.
И тогда не будет "стыков"
Просто мысли в слух
Спросил нейросетку про learning rate, она говорит "повышать" а не "понижать" рейт.
AI: To get the best results, you should use a learning rate that starts low and gradually increases until it reaches its peak. This will help to make sure the model learns efficiently and produces the best results. As an example, you may want to begin with a learning rate of 0.001, gradually increasing it to 0.005, 0.01, 0.05, 0.1, 0.2, and 0.3 before reaching the peak learning rate of 0.6.
Human: so should I increase steps or decrease?
AI: It's best to gradually increase the learning rate steps to get the best results. This will help your model learn efficiently and produce the best possible results.
Спасибо за видео Хачатур! Много полезного узнал благодаря тебе в SD, касательно Train хотелось бы увидеть обзор-разбор Dreambooth и Lora, какие можно использовать оптимальные параметры для тренировки модели, будет очень приятно если сделаешь подобное видео. Сейчас на сливе модели novelai делают разные свои модели, хочется сделать что-то свое, под себя а не сидеть и Merg'ить существующие 😅
Полностью поддерживаю уже в процессе юзанья этих штук но было бы полезно послушать грамотного человека)
ВО вкладке Train, отсутствует вкладка "Preprocess images" Можно узнать, почему?
Интересное видео. Хотелось бы в конце видео краткое обобщение изложеного материала. Очень интересно слушать "полет мыслей", но к сожалению лично мне как начинающему, при таком формате повестовования, немного сложно организовать всё услышаное у себя в голове. Привется пересматривать с конспектом)
Красавчик, спасибо Хачатур, очень полезно и нужно, мне, чтоб побаловаться, сестре для учебы.Спасибо тебе от сестры.
извините, просто интересно, а для учебы это как может пригодиться?
@@phat80 На дизайнера учиться, когда фантазия заканчивается, SD очень выручает чем то новым, а дальше она корректирует под свои нужды инструментами SD/Photoshop и получает готовый продукт, + разнообразные стили от Хачатура очень помогают и дополняют обычный промт еще большими деталями и новым.
В общем, она уже в работу его взяла на все 100.
@@mikhail5402 а это какого рода дизайн? Просто лично я полагал, что именно в дизайне SD плоховат. Для артов да, пойдет, а дизайн там не ахти выходит. Никогда бы не подумал, что он для дизайнера полезен.
@@phat80 Ну для полноценных проектов еще рановато конечно для sd, а так что-то нафантазировать, объект какой-нибудь, я сильно не расспрашивал, но, говорит очень помогает. Она там что-то по интерьеру делает.
оч хочется про нейросети с нуля. к примеру как создать чистую модель обученную только на своих картинках.(хотя я подозреваю нужно обучить на тысячи картинок чтобы она хоть что то начала выдавать...) вот этот вопрос и хочется прояснить.
Как сделать индивидуальный стиль для селфмодели ?
В предыдущем видео про Train вы брали в качестве Prompt template file - файл, с запросами на основе [firewords] стилей.
Промежуточные фото получались отдаленно похожие на человека с фото (иногда проскальзывало сходство)
В этот раз в качестве Prompt template - файл на основе запроса имени [name[.
Почему? Или для тренировки это без разницы, а на промежуточных сразу виден конкретный человек?
Все получилось теперь!!! Спасибо Вам огромное, а то посмотрев первое видео я впал в уныние, что естьм грех великий. Но теперь все иначе. Единственный совет, у кого видюха 1060 (6 гиг), но сильно хочется, то отключите второй монитор, если есть, и понизьте размер фото с 512 до 448, у меня вылетело сообщение о нехватки памяти. Может я и не прав, но по другому не работало. Еще раз спасибо!
Это невероятный лайк!
спасибо тебе за твою работу ,просвещай нас пожалуйста!
Большое спасибо за информацию! Скажите, пожалуйста, если использовать colab, то обучение модели возможно только через DreamBooth? Или Train тоже можно как-то настроить?
У меня почему то нет раздела Preprocess Images!?!? Что делать?
Заебок 👍👍 спасибо
Спасибо большое! Если будут ещё какие то уточнения или методы, чтоб улучшить результат, с радостью посмотрел бы. Мои результаты пока далеки от желаемого.
А когда завершится создание натренированной модели? Что в консоли напишет? У меня обучение завершилось и пишет вот это "Applying xformers cross attention optimization."
И всё. С этой мёртвой точки не двигается уже 5 часов. Тренировал удалённо через гугл коллаб, на гугл диск ставил по вашему гайду.
Сейчас пытаюсь запустить интерфейс "No interface is running right now" пишет. Как я понял, обученная модель оптимизируется? Сколько это будет продолжаться с ресурсами гугла?
Супер, спасибо!!
Если знаешь, посоветуй пожалуйста, какая SD модель больше подойдет для генерации изображений архитектуры (а не лиц)?
Нужно искать на civitai.com или huggingface.co
Я бы в поиске huggingface всё же попробовал. Там прям много всего.
Видео на вес золото !
Спасибо огромное, хотел бы поделиться своей идеей как ускорить работу sd. На алкие есть майнерские карты p104-100 их можно найти по 3-4к рублей, они 8-ми гиговки.
Я решил провести эксперимент и заказал 3 шткуи (важно отметить что видеовыходов в них нет, так что нужна либо основная карточка через которую будет вывод изображения лбо встройка) я подключил сразу две, sd видит обе и прекрасно работает на каждой из них по ОТДЕЛЬНОСТИ. Искал информацию как запуститься сразу с двух, и да, такое вполне возможно, режим называется "multi gpu" но активировать его так и не получилось, перепробовал все варианты которые мог придумать, в программировании я не силён по этому решил поделиться своей небольшой историей, может у кого есть какие идеи ?
Заранее спасибо !
У какого продавца заказывал?
А скорость генерации изображения какая?
@@pashahous Sampling steps
12, разрешение 512х512, одно фото рендерит 9 секунд, мне кажется что за такие деньги результата лучше не найти
@@pashahous 3C High-Quality Products Store, можно можно ещё поискать, есть варианты и по дешевле, распаковку обязательно снимать чтоб в случае чего вернуть деньги если с картой будет что то не так
пробовал писать в байтнике --device=1,2 или --device=all ?
У меня вот такой вот вопрос: допустим, я взял и обучил сеть своему стилю, например, делать "векторными" какие-то рисунки. Но проблема в том, что по текстовому запросу генерируются только те плюс-минус изображения, которые были в обучении.
Есть ли возможность обучить какому-то стилю так, чтобы любой запрос, который нормально работает в исходной модели - работал и в обученной?
По смыслу - условно заставить stable diffusion применять какой-то общий алгоритм, типа какого-то фильтра из фотошопа. Для простоты - допустим бинаризация изображения.
Т.е. по логике, путь должен был бы быть таким, что сначала основная модель делает картинку, потом обученная её изменяет.
Существует ли такое "наследование"?
Спасибо большое за ответ!
Да. За стиль как раз и отвечает Embedding. Вот это уже другая тема. Нужны ни Dreambooth, ни Hypernetwork, а именно Embedding. Можешь попробовать погуглить =)
Инфы вообще нет. А что найдёшь будет расходится с другой.
Поэтому следующее видео будет крайне ценным.
@@XpucT спасибо, ушел гуглить, если что - поделюсь результатами
У меня карта NVIDIA GeForce GTX 1060 3GB. Как не крути, памяти не хватает на тренировку. Можно ли настроить на использование RAM?
Уроки супер! Есть вопрос . Как обучать сеть через google colab? Нет возможности иметь хорошую видюху. Информации мало а твои уроки самые лучшие. Может посоветуешь решение.
Как всегда - респект и благодарность. А можно таким же "макаром" обучать его предметам, для точного воспроизведения? К примеру я хочу электрогитару Fender в разных ракурсах генерировать в различных ситуациях, типа рекламное фото и пр., так как на самом деле она не может точно воспроизводит все тонкие детали, колки струны, звучки, ручки тембров, тремоло и пр. т.е. кол- во? Да вообще предметы с точной детализацией. Это бы очень помогло бы фотографам и др., для реализации своих идей!
Подскажите, а как потом использовать натренированную сеть? Через X/Y? Посмотрел уже и прошлый видос по тренировкам, и этот. Проблема в том, что теперь нет в SD параметра в настройках с выбором hyperbetwork. Или я не могу найти? Работаю через Colab, все пункты посмотрел, не могу найти...
Подскажите, пожалуйста, как именно генерировать изображения с hypernetwork?
Сейчас hypernetwork перешла под кнопку Generate.
Разработчики постоянно что-то удумывают.
Привет! Вопрос мимо темы, но...
Видео пишешь так же бандикамом? или уже OBS с nv1?
OBS на процессоре, чтобы не отнимал видеопамять.
Но, как видим, толку ноль. Stable Diffusion на создании изображения сводит с ума любой софт.
Спасибо
Давно пользую вашим виндовс твикером, расскажите можно ли генерить одну картинку сразу с разными трейтами?
Да, Вы смотрели видео про X/Y Plot?
czcams.com/play/PL05SB3rBbUsprkMgH3yDV12MuuIbO5KEq.html
👍
Такой вопрос, а можно ли как то сделать слияние hypernetwork с чекпоинтом что бы не выбирать постоянно нужный hypernetwork ? Например: я обучил сеть на нескольких персонажах и хочу что бы при написании промта этих персонажей мне сразу выдавало их изображение а не через x\y или в настройках поставив нужную
А кто мешает? Выбрал А и Б модель поставил 50/50 и на выходе будет один....
Спасибо за эту серию мануалов, я еще все не посмотрел, пока только получилось установить ту версию, что от cmdr2 (давно пора винду переустановить, эксперименты угробили),
почему заинтересовало - изучаю 3D, и у меня например есть желание сделать референс для создания игрового персонажа,
идея в том что персонаж это гуманоид, (как Хоббит из "Властелина колец") и он результат эволюции, например лемура (или макаки, мартышки и т. д.) в гуманоида, - гуманоид прямоходящий, точно как в фильме "Планета обезьян", нужна фотореалистичная фотка головы такого персонажа, если еще и будут варианты сбоку так вообще хорошо,
возможно я и так узнаю из этой серии видео о том как правильно это сделать, но если бы Вы подсказали, как более опытный товарищ, в каком нибудь из будущих видео то буду очень благодарен.
п.с. мне пока не ясно хватит ли для этого просто правильно составленного запроса, или это надо как то обучить, если надо создать модель, то какую, из фоток лемуров? Тогда получится ли на базе такой модели гуманоид, будто лемур через пару миллионов лет эволюции, (не уверен, что внятно описал чего я хочу достичь)
Я Вас точно правильно понял и да, проще создать модель и нащёлкать её с разных ракурсов. Потом прокручивать в SD.
@@XpucT ох, спасибо, теперь займусь этим плотно, начиная с переустановки винды и заканчивая этими мануалами, всеми по очереди, и еще чего поищу,.. оно того стоит, это ж какая экономия времени! или ресурсов, я например не умею рисовать или лепить анатомически верные модели, а тут светит вагон материала как с куста! еще раз спасибо за тропинку в этом направлении!
Наконец получился трейн! Спасибо тебе!
Сделал в разрешении 400 на 400. Проделал и на модели ф222, и на Дримлайк. Рисует похоже на меня (глаза, рот, волосы) по ключевому промту a photo of a man и на др.
Далее все становится сложнее:
если после промта из хайпернетворка, после запятой начать писать запросы с описанием, действием и именем художника (к примеру), то мое лицо уже похоже только на половину.)) Я не мальчик и не старик, не худой, но рисует все наоборот... Однако, с этим вопросом я как-то справился, добавляя описание возраста и комплекции. А вот глаза очень сложно настроить, чтобы было похоже!
Может есть какой-то алгоритм расставления весов или приоритетов, чтобы модель брала больше информации из тренированного хайпернета? На этапе рисования, даже видно первый слой, где видно меня. Но потом, следующими слоями SD будто затирает и уравнивает, словно делая что-то среднее между тем и тем...
Хачатур, я считаю такое видео бы очень полезным для тех, кто хочет этим более-менее профессионально заниматься. Имею ввиду более детальные настройки запросов и дальнейшая постобработка.
Чтобы сделать всё точнее и на весах, стоит тогда использовать галочку BLIP for caption. При этом создаются текстовые файлы, порядок слов в которых играет роль, как и круглые скобки и квадратные. Это если прям совсем нужен идеальный вариант. Также стоит иногда тормозить Train, если спустя 1000 шагов он не делает явно лучше. Останавливаемся, берём самый удачный pt, которому соответствует картинка в параллельной папке и тренируем с неё, но уже на другой скорости Learning rate. Мой алгоритм (Learning rate) вообще избавляет Тебя использовать Gradient clipping, поэтому можешь не проставлять там value. Я про Hypernetwork ещё отдельно скажу в одном из следующих видео. Объясню, что мы не можем контролировать процесс обучения, однако можем влиять, тормозя его на самом успешном (на наш взгляд) этапе и продолжив с другим Learning rate и gradient clipping.
@@XpucT Супер! Было бы полезно!
С pt у меня почему-то не сложилось. Они на протяжении всей тренировки создавались и сожрали мои 300гб на жестком диске, не дойдя даже до половины) И вроде пытался взять последню стадию и подрубить, но не понял куда ее втыкать, чтобы продолжить... В последний раз вообще отключил создание, тк пока с ними не разобрался. Буду ждать новое видео!
Поэтому многим и нравится дримбус, т.к. там ты прописываешь индивидуальный токен, который потом вставляешь в промпт натренированной модели и он рисует того на кого тренировал, хоть часто и криво косо, но того кого просишь.
Никак не добавить спец токен? Например сгенерировать текстовые описания обучающих картинок, и man/woman заменить на уникальное имя?
а как во вкладке Train, вы нашли "Preprocess images" Можно узнать? У меня её нет. Уже и переустановил.
Приветствую!
Подскажи пожалуйста почему в X\Y\Z plot-е нет пункта hypernetwork? Делал по предыдущему видео, вроде всё так.
А, вроде разобрался )👍 добавил в строку сверху после выбора модели
подскажи подробнее как исправил
А для обучения генерации предметов какую модель лучше использовать?
Любую анатомически корректную. Я использовал f222 всегда. Можно и 1.5.
Во вкладку Create Hypernetwork добавили параметр Use dropout. Что это такое?
Здравствуйте, скажите ,а на GTX 1050 ( 2 гб памяти ) Train модели возможен ? Если да, большая просьба, Сделайте видео урок по этой теме. Если нет, то очень нужен урок по обучению модели на Dreambooth . Спасибо.
Привет.
Я сомневаюсь, если и можно то совсем на маленькой картинке, 6 гиговая с трудом берет 456x456, а у вас 2 гига, не реальная задача
Добрый день.
Dreambooth делает модели, а не hypernetwork, поэтому делать стили или персонажи слишком накладно. Если Dreambooth позволит сохранять не в 2 ГБ, а в 100 МБ, тогда будет обзор. Иначе это пустая трата ресурсов.
Кстати, Ваша видеокарта далека от тех реалий, что сейчас. Увы, но это всё равно, что пробовать получить на этой карте Cyberpunk в 60 FPS. Важно помнить, что Stable Diffusion жрёт все ресурсы, которые может. Сколько ни дай, всё забирает. Минимум для работы - это карты с 4 ГБ памяти. Комфортно уже на 1070 и 1070 Ti.
@@XpucT а можно вкратце по карту, какую надо чтобы можно было играться и обучать сетки, минимум, средний и максимум. Если есть видео, можно ссылку на видео. Спасибо большое. По комментам глазами пробежался, только тут что-то увидел про карту.
Привет. Раcскажите как писать промпты со своей натренированной моделью? Она же имеет расширение .pt а в папке models модель с расширением .ckpt. Не пойму че делать когда свою модель натренировал до нужного состояния
Привет 🖐
Первое видео также важно посмотреть. Там и ответ на вопрос.
Это не тот случай, когда стоит торопиться. Всё равно полно времени потратишь, если не доверишься и не послушаешь от начала и до конца то видео + это.
@@XpucT Смотрел, что-то упустил видимо. Благодарю за ответ. Пересмотрю
Что делать, если в XYZ Pilot нету hypernetworks?
о видосик, привет!
Привет, Хачатур, привет народ! подскажите как потом применять натренерованную модель?
привет христ можешь сделать вин 10 твикер чтобы включать темы виндовс чтобы в днем била светлая тема а ночю переключалась автоматично на темную тему виндовс
Всем привет. В своем Automatic111 в разделе Train нет строки Gradient Clipping. А вот Gradient accumulation steps есть. Думал может где то в настройках включается, но и там тоже не нашел. Подскажите что нужно сделать чтобы тоже было
Привет 🖐
Баловался своим user.css?
@@XpucTТакая же хрень, Gradient Clipping отсутствует, меню как на часовом вашем видосе про Train. Про user.css я даже хз что это))
@@Magnitozzz пробовал удалять конфиги?
@@XpucT Из папки configs и ещё пару файлов с именем config поочерёдно пробовал, но не помогло. У меня правда SD 2.1 и 1.4 версии. Может в этом косяк?
@@Magnitozzz нет, дело не в файлах модели.
Я бы на Твоём месте просто перекачал всю Stable Diffusion.
Четвёртый день выносит мозг мне этот трэйн. Cuda Out of memory.
Гуглируя проблему я понял, что торчу абсолютно насрать на то, сколько у тебя памяти на видеокартах, сколько фрагментации в Allocated_memory и так далее.
При этом функции генерации изображения работают на ура, что из текста, что из картинки...
Бьюсь об стол, не могу вылечить.
Понижай на первой вкладке разрешение до 440 x 440
CFG Scale 4
@@XpucT спасибо, попробую
@@XpucT не помогло. Ни 440 ни 256...
@@XpucT Та же ошибка, не помогает. RTX 2060 (6 gb)
Подскажи пожалуйста, в чем может быть проблема? Train -> Process images - создаются дубликаты фотографий, но текстовых файлов с "промтом" к ним не создается.
Уже разобрался. В "Existing Caption txt Action" нужно выставить "Prepend".
Спасибо за туториал. Делал Train в colab произошел обрыв, как мне продолжить обучение?
@@corpsebreath1029 в том то и дело. у меня не успевает пройти 12000 шагов, раз 5 пробовал.
Такой вопрос. Моя видеокарта слишком слаба для трейна, и я тренирую на арендованных серверах. Так вот после того как я создал как Hypernetwork и натренировал его, то как перенести его на свою машину? Простое копирование и замена папки textual_inversion ничего не дает. В интерфейсе нет нужного hupernetwork. Что я делаю не так?
Всё зависит от того, на какой версии был Train.
Я советую Google Colab, сравните ➜ czcams.com/play/PL05SB3rBbUsprkMgH3yDV12MuuIbO5KEq.html
@@XpucT Благодарю. Разобрался сразу как задал вопрос. Просто нужно перенести модель из папки models\hypernetworks и этого будет достаточно. Папку textual_inversion трогать не нужно.
Хачатур, с обновлением убрали возможность включения своей Хайперсети через x/y plot. как теперь нужно дружить свои гиперсети с каой-то моделью чтобы получать своего "персонажа" при генерациях? пробовал через настройки подключать свой hypernet, но получаю например рыжую девушку (у меня рыжая была) но нифига не похожую, от слова совсем
И еще, в ютубе у кого-то увидел: если используешь модель с расширением ckpt, то есть шанс, что в него могут впихнуть вредоносный код, а если safetensor, то он абсолютно безопасный. Че скажешь?
Этому стоит уделить отдельное время в новом видео.
Хайп просто жесть на этой теме. И никто толком ни доказать не может, как именно работает вредонос, ни то, каким макаром safetensors обезопасит работу =)
Preprocess не работает, бесконечная загрузка, что с этим можно сделать?
Спасибо за очередное архи-полезное видео, но есть два насущных вопроса, которые никак не удается решить:
1. Как сделать себя "на коне"\"в танке", короче в полный рост в каком-то пейзаже и т.д.? (ты говорил, что нужны фото ракурсом шире, чем просто портрет. я это сделал (фото были по пояс), но результат нулевой-он все время рисует только крупный план и больше никак, причем я даже прописывал in full growth, full body и всякое такое-реакции ноль, не рисует человека в полный рост и все тут). А если на трейн ему подкинуть фото человека в полный рост-то в размере 512 px лица там просто будет не разобрать...замкнутый круг?
2. Как исправить проблему двойных голов\лиц и умножения объектов? Это происходит не только при работе "с самим собой", а вообще с любыми объектами\животными\людьми... он все время пытается заполнить весь холст тем, что написано в промте.
Пример: мне нужна "чашка кофе в ледяной пещере". пещеру рисует но чашки начинает раскидывать 2, 3, 5, одну не рисует вот хоть убей... само собой я писал lonely cup\one сup-он игнорит эти слова. В негатив промт писал group object и т.п.-тоже игнор полный. Причем если сделать картинку квадратной-в этом случае он вроде лучше справляется, но чаще всего картинки нужны 16:9 (квадратных мониторов почти нет ни у кого) а при таком раскладе он всегда как минимум два объекта рисует во весь кадр, иногда больше-чтобы заполнить все пространство. Может быть есть какой-то тег "волшебный", чтобы сеть понимала, что объект\человек должен быть один?
То же касается и голов. При работе со своей натрененной моделью-постоянно рисует 2 головы (в негативах это все прописано, чтобы не было-игнорит), бьюсь уже месяц 1 на 1000 нормальная картинка выходит. Если сделать формат картинки вертикальный-справляется лучше, но как быть когда задача такая: картинка горизонтальная 16:9 "человек (с моим лицом) стоит на краю извергающегося вулкана", к примеру. То есть ~70% картинки должен занимать пейзаж, а человек быть в полный рост и стоять с краю. Или летчик стоит на фоне боевого самолета (само собой с моим лицом)-логично, что самолет огромен и в масштабе всей картинки человек опять же должен занимать не больше 20-30%. Может ты на своей модели попробуешь нечто подобное повторить?
Заранее спасибо за помощь и счастливого Рождества!
Попробуйте ввести: 1cup, если понадобится добавить скобки.
1. Такие вещи делаются в img2img с помощью Outpainting, про который уже рассказывал. И да, все, кому нужно больше, мучаются промтом, ибо нельзя просто так сказать: Я на коне и делай красиво в ФулХД. Нужно и дорисовывать и дописывать и прочее и прочее. Как уже отметили и скобки нужны и Negative. Но что точно - это Outpainting, ибо совсем далеко своё лицо не получить, иначе придётся тренировать на 100 фотках в разных ракурсах. Важно понимать, что маленькая доля, занимающая на изображении в виде лица может быть в разных углах. Отсюда новые данные, новые углы обзора. Я наверно не очень понятно сейчас объяснил. Проще показать. Запишу себе.
2. Нужен Negative и нужно помнить как тренировали модель. Если на 512, то всё, что выше начнёт делать по тайлингу. Про это также расскажу наверно отдельно в видео. Повторить себя на коне с пейзажем можно, то не без Outpainting.
Спасибо за развернутый ответ, да, на словах не все очевидно. Конечно в идеале было бы взять какой-то пример и на нем показать весь процесс, как работать с Outpainting и т.п. возможно там еще какие-то особенности проявятся по ходу. Вы делаете большое и важное дело, спасибо еще раз!
А еще вопрос =) Скажите пожалуйста, а после обучения можно удалять все steps. которые насохранял в папке - E:\SD\stable-diffusion-webui\textual_inversion\2023-01-07
Или он постоянно эту папку сканит и как раз из нее лепит? =) У меня там 100гб =) хахах.
Можно спокойно сносить 👍
Главное забрать свой .pt
@@XpucT Благодарю за быстрый ответ.
так свой же .pt сохраняется в E:\SD\stable-diffusion-webui\models\hypernetworks
То есть его сохранить, а всю ту папку можно удалить. Правильно понял?
Есть смысл начинать обучать на 2060 с 6 гигами или лучше даже не рыпаться?
Видос Шикарен, как в общем и все остальные по SD.. Вопрос к маэстро такого плана: Возникла такая задача: сделать оружие по типу винчестера из частей обмундирования американского футболиста. Как это можно сделать лучше всего? обучить модель на винчестерах, а потом докидывать обмундирование? или сразу в картинки для обучения накинуть с обмундированием , или наконцептить как то сразу валыну с уже частями амуниции?))) Короче в ступоре))) Буду СУПЕР благодарен за совет! Большое спасибо заранее
2e-5:800, 8e-6:1600, 5e-6
Про слои, видел такой шаблон: 1, 2.4, 0.8, 1
- тоже, бессмысленно?
Скажите, пожалуйста, В чем разница между embedding и Hypernetwork?
По обоим есть видео в плейлисте.
czcams.com/play/PL05SB3rBbUsprkMgH3yDV12MuuIbO5KEq.html
Ту не веган
Не веган
Молодец
😂😂😂😂😂😂😂
Что-то два видео посмотрел и выдает ошибку diffusion. При создании hypernetwork пишет ошибку none как у вас, но в секции Train при выборе названия нет в скобках кода/хэша. Далее при нажатии Train и всех настройках как у вас и 20ти фотках. Выдает: Training finished at 0 steps. Hypernetwork saved to ....
Тоже самое, решил проблему?
@@hanest4929 нет
@@diyfrombelarus я так понял моих 4гб видеопамяти не хватает на Train, нужна норм видюха
@@hanest4929 у меня не идет тоже с моими 6 гб на видюхе
Кто может подсказать, подготовил фото, указал путь, создал hypernetwork, все галочки поставил. Максимальное кол-во шагов - 10000.Шаг сохранения 100. Доходит до 99, и пишет тренировка завершена 🤷♂️ и ни одного изображения не сохраняет😢
У меня просто не запускается train, пишет "Input type (float) and bias type (struct c10::Half) should be the same"
Вроде всё настроил, процесс пошел, но завис на "Applying xformers cross attention optimization."
Видеокарта: NVIDIA GeForce GTX 1660 Ti (6 ГБ)
В чём может быть проблема?
Вероятно памяти маловато.
Попробуй запускать с ключом --medvram.
@@XpucT Да, пишет что памяти мало, но 6ГБ на сколько я понял должно хватать?
Variable._execution_engine.run_backward( # Calls into the C++ engine to run the backward pass
RuntimeError: CUDA out of memory. Tried to allocate 512.00 MiB (GPU 0; 6.00 GiB total capacity; 5.15 GiB already allocated; 0 bytes free; 5.29 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
@@IgorRa-cg5tg минимум для косфортной работы - это 8 ГБ.
@@XpucT понял, спасибо.
поставил на выводе 350х350 вместо 512х521, всё заработало! Насколько 350 критичное значение?
Привет Хачатур! Спасибо за туториал. Было бы круто, если бы ты показал и рассказал как проверять модели на вирусы с помощью Stable Diffusion Pickle Scanner. Понимаю, что надо, но, почитав, показалось почему-то это всё сложным.
Привет 🖐
Про это отдельно расскажу.
11:26 при value=0.27 на 8 гигах видеопамяти можно словить out of memory!!!
Доброго времени суток, попробовал повторить. После нажатия "Train hypernetwork" выдал результат "Created: None". Хотя в textual_inversion папки создал, но изображений нет... Кто может подсказать где косяк? Буду благодарен.
в начале этого видоса говорится, что это баг. На самом деле все создалось и нормально работает. czcams.com/video/JM0x6t1ZUo8/video.html с таймкодом.
❤
Вы немного не правы когда говорите, что если добавить нормализацию слоя то ничего не будет работать. Нормализация добавляется после каждого полно связного слоя. Пример: если у вас широкая сеть "1, 4, 1" то это будет выглядеть примерно так "вход -> 4 полно связных слоя -> 4 нормализации -> выход", для глубокой сети "1, 2, 2, 1" это будет: "вход -> 2 полно связных слоя -> 2 нормализации -> 2 полно связных слоя -> 2 нормализации -> выход"
Работать будет, но не так, как в теории. Я это имел в виду.
@@XpucT Нормализация на самом деле вещь нужная. Она позволяет добиться более точных результатов, не переобучив сеть. Грубо говоря сеть "1,1,1". Если вы возьмете 100 изображений и поставите скорость обучения 0.002. Вероятнее всего вы получите переобучение сети еще на 1 эпохе, но если вы к этой сети добавите нормализацию то ваша сеть не сломается даже на 20 эпохах. Естественно это кардинально сказывается на скорости обучения по времени. То что вы обучаете без нормализации условно за 1000 шагов с нормализацией вы обучите примерно за 5000! Но вы получите более точные результаты. Для примера в вашем видео, нормализация действительно не особо нужна. Но допустим вы обучаете доску в которую забит маленький гвоздь. Без нормализации вы скорее всего будете получать переобучение сети до того момента когда и доска и этот маленький гвоздь будут генерироваться правильно. А с нормализацией играясь со скоростью обучения вы сможете добиться очень точных результатов.
Огромное спасибо. Все очень интересно, я прям зависаю часами. Много экспериментитую. Правда у меня постоянно косяки с руками, точнее с палцами. Пальцы получаются кривыми косыми, притом иногда бывает и 6 и 7 палцев :)). Странно все это, лица делает идеально а с пальцами не справляется, тем более что в негативе прописано чтоб он не делал кривые пальцы
Как я понимаю, это проблема всех нейронок. Ну не понимает ещё искусственный интеллект что такое пальцы, зачем они нужны и сколько их. В большинстве своём, приходится закрывать на это глаза, либо править в Фотошопе.
Ни одна нейросеть на сегодняшний день не способна в точности воспроизвести пальцы руки у людей.
Возможно, я туплю, но...
Почему когда я ставлю 100 в Save an image to log directory every N steps, он реально спустя сто шагов просто завершает трейн?
Хотя Max steps у меня стоит 10000
Вы не заметили, что после обновления СД она стала отжирать на холостом ходу 8Гб?
Похоже на то, что у кого-то 8 ГБ модель по умолчанию =)
@@XpucT нет, вторая версия делибири, т.е. 2Гб. У меня максимальная модель это 4Гб первая дилибири и f222, на которой хотели тренить, но как вяснилось на карте в 3Гб тренер не работает.
Первая проблема. Гипернет трейнится и выдает более менее похожие картинки.
Закончил тренировку, запускаю - сыплется вообще что то весьма далекое, даже близко не похожее.
Подключаю первую гиперсеть сделанную давно, быстро на коленке, с какими попало фото еще после просмотра первого видео - бинго! Страшно, но таки похоже!
Что я такого делаю, что новосгенерированный гипернет походу вообще не влияет на выдачу, а если и влиет то каким то загадочным образом?
Попробуйте убавить CFG Scale и повысить шаг тренировки.
@@XpucT есть мнение что "VAE убивает гиперсеть" и при тренировке его надо отключать? Ну просто вот уже штук десть сделал - они выдают не то что непохоже, а вообще про другое... а старые гиперсети работают.
@@olkon111 не включайте тогда value. Оставьте disabled.
Касаемо VAE, там веса выравнивают всё, а не ухудшают.
@@XpucT я отключил VAE у меня заработало. А вот градиент не убивает мою модель вернул Value 0.27 - работает. Два варианта - либо VAE, либо таки нужны файлы с описаниями к картинкам - их то же вернул.
Еще такая история - тыкаю разных художников в промт - с одним художником дама прям похожа-похожа. А с другим вообще даже близко нет. Видимо в гиперсети нет какой-то зацепки, которая позволила бы модели за нее зацепиться и использовать, я правильно понимаю? Ну как та собака в эмбединге? Или почему так может быть?
22:01 справа Меладзе))
у меня очень глупый вопрос!😅 как пользоваться натренированной моделью?)))
есть кнопка generate,под ней cнизу кнопка выглядит как картина с солнцем и красным небом, нажимаешь на нее, появляется дополнительное меню,переходишь в хайпер, тыкаешь по модели и пользуешься
@@dereteify спасибо!🖤 Я уже разобралась, но об этой кнопке не знала😅
Training finished at 0 steps у меня эта проблема и не понимаю, что не так делаю
У меня RTX3050 с 8 gb памяти.
Настраиваю всё как сказано тут в видео, но процесс обучения не запускается. В консоли валят ошибки, вроде как память перегружена, и в конце классическое:
allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF
Что с этим сделать?
Перезагружать прогу или комп - не помогает
Обновлять все компоненты - не помогает
У меня при таких настройках около 9Гб видео памяти использовалось
@@yuriynikolaev5869 300*300 пикселей. Вот максимальный размер изображений для моей видеокарты в контексте обучения. Обидно. Досадно. И не ладно. Придётся копить на 4090.
@@nakidworld ну или 3060 12Gb :)
🖐👍🎉
Карту высот по фотографии сделай, милый Хачатур.
пхахаха проорал с кота🤣 Хачатур а ты не думал видокарту купить помощнее(типа 4090), или это не стоит того?
У Меня 4080 сейчас =)
Но Stable Diffusion так устроен, что он в хуй не дул, какая там видеокарта =)
Разницы между 2080, которая до этого была нет, если делать Train. Вот так =)
@@XpucT ахренеть, я видимо по старым видосам помню что у тебя 2080ти была
ну ок понял, я то думал щас купит 4090 и SD пососет а нет оказывается))
Я, кстати, представляю сейчас лица тех, кто купил 4090 ради Train =))
Столько бабла на ветер просто...
@@vasogagnidze3325 ну видяху не под одну задачу покупают же. Тот же blender и unrial очень жоркие и на Видеопамять и на остальное. Зы Тема embedinga очень интересна. )
@@olkon111 ну мы говорили про тех кто купил видюху именно для Train