Вариационные автоэнкодеры (VAE). Что это такое? | #28 нейросети на Python
Vložit
- čas přidán 28. 09. 2020
- Что из себя представляют вариационные автоэнкодеры и чем они отличаются от обычных автоэнкодеров. Принцип их работы. Мера Кульбака-Лейблера.
Телеграм-канал: t.me/machine_learning_selfedu
Инфо-сайт: proproprogs.ru
lesson 28. Autoencoder_hidden_space.py: github.com/selfedu-rus/neural...
Дивергенция Кульбака-Лейблера: habr.com/ru/post/484756/
Спасибо, наконец-то понял необходимость репараметризирования
Я не нашёл лучше роликов с объяснением, чем у вас, а потратил я кучу времени. Вы отлично показываете причинно-следственные связи, за счёт чего материал воспринимается хорошо. Нет никакого тумана после просмотра
Качество материала на уровне научно-популярных фильмов канала ВВС! 5+
Очень чётко, ясно и по делу (без воды). И самое главное - что на конкретных примерах с кодом. Это одни из лучших видеоурокоа по теме нейросетей.
Спасибо!
браво! Вы первый лектор из этой области знаний, чьи лекции не оставляют тягостного ощущения неясности. Искренне благодарю.
Спасибо большое за уроки!
Всё-таки немного знание статистики помогло в изучении. А объяснили всё великолепно!
Спасибо! Жду продолжения.
Спасибо!
Лучшее объяснение😊
Очень качественно
супер!!!
Волшебство в репараметризации. Нейросеть "понимает" что дисперсия это именно дисперсия, потому что мы репараметризуем сэмплирование N(X,Y) как билинейную функцию X+Y*N(0,I), и при обратном распространении ошибки получаем различные градиенты в "направлении" X и Y.
3:00 - Крокодил
😄
Скажите пожалуйста, а что такое -k в формуле DKL? Подозреваю, что это размерность нормального распределения. Например, если это двумерное нормальное распределение, то k будет равно 2. Так ли это? Так же хочу спросить, правильно ли я понимаю, что бы минимизировать DKL в конечной функции потерь надо что бы векторы, генерируемые кодером, были такими: вектор дисперсий содержал только единички, а вектор матожиданий содержал только нули? В таком случае, если меня не подводят мои подсчеты, DKL будет равен 0 (при условии, что k = 2).
Стоило на облаке наверное лэйблы поставить
На отметке 7:50 график слева похож на летящего жука.
Приветствую вас!не подскажите какой параметр сохранит обученную сеть.(чтобы сеть не обуч лось заново)
там у модели есть методы для сохранения и загрузки обученных коэффициентов, по моему, save_weights() и load_weights(). Подробнее в документации по Keras можно посмотреть
@@selfedu_rus спасибо за ответ!
Цитата: "остается открытым вопрос, а где здесь брать какие точки, что бы точно получать изображение цифр". Почему? Обычный авторэнкодер разве не отвечает на этот вопрос? Мы ведь
уже сгенерировали набор точек (сжатые векторы), почему бы нам не воспользоваться ими что бы получить осмысленный результат?
Еще одна цитата: "он конечно сформировал внутри себя вот эту вот область распределения вот этих вот точек скрытого состояния, но мы уже не можем сами взять вот в этой области
какую-то точку, что бы на выходе декодер нам смоделировал осмысленное изображение". Возникает вопрос, почему не можем? У нас же есть точки (область), по которым мы обучили декодер выдавать осмысленное изображение. Можем брать эти точки и подавать их декору и будет нам осмысленное изображение... Или тут речь о том что бы иметь возможность подавать на вход произвольные точки и все равно получать что-то осмысленное?
да, в конце вы сами и ответили на свой вопрос, именно, произвольную точку из некоторой области
@@selfedu_rus Спасибо! Стало понятнее)
@@selfedu_rus Возник такой вопрос, а что мешает использовать обычный автоэнкодер и применять к скрытому состоянию такую функцию активации, что бы значения векторов скрытого состояния были в диапазоне от -3 до 3? Ведь нам примерно это и нужно. Почему VAE должен быть лучше такой структуры?
Спасибо!