Обучение парсингу на Python | Парсинг без обнаружения | Парсинг CloudFlare | Selenium, CloudFlare
Vložit
- čas přidán 16. 03. 2022
- ⚡️ Практика Python ⚡️
Фриланс. Обучение (Web-Scraping) веб парсингу на Python. В данном видео разбираемся как с помощью Python настроить Selenium для отключения режима вебдрайвера, что позволяет парсить сайты без обнаружения, а также рассматриваем библиотеку undetected chromedriver с помощью которой мы сможем проходить через CloudFlare.
🔥 Доступ в приват | Поддержать проект:
boosty.to/pythontoday
/ pythontoday
yoomoney.ru/to/410019570956160
🔥 Стать спонсором канала:
/ @pythontoday
****Ссылки****
Дешевый/надежный сервер в Европе:
zomro.com/?from=246874
promo_code:
zomro_246874
Хороший proxy сервис:
proxy6.net/a/149995
Вычисляем по IP с помощью Python | Как определить местоположение по IP:
• Вычисляем по IP с помо...
Как узнать пароль от Wi-Fi с помощью Python | Достаем пароли от Wi-Fi точек доступа в Windows:
• Video
Скачиваем Instagram с помощью Python
• Скачиваем Instagram с ...
Что такое фишинг и как не попасться? | Генератор QR код на Python:
• Что такое фишинг и как...
Парсинг криптобиржи | Торговый бот | API криптобиржи:
• Парсинг криптобиржи | ...
Python с нуля | if _name_ == '__main__' | Зачем? И почему нужно использовать
• Python с нуля | if __n...
Асинхронный парсинг на Python | Ускоряем код в 10 раз
• Асинхронный парсинг на...
Парсинг на Python | Подмена IP-адреса | Запросы через прокси
• Парсинг на Python | По...
Парсинг динамического сайта на Python + Telegram бот на AIOGram | Requests, AIOGram, API, JSON
• Парсинг динамического ...
Пишем Telegram бота на Python + Загружаем Telegram бота на сервер(хостинг):
• Пишем Telegram бота на...
Плейлист по распознаванию лиц на Python:
• Распознавание лиц | Fa...
Плейлист по парсингу сайтов на Python:
• Парсинг/Scraping
Плейлист по Instagram боту:
• Instagram Bot на Pytho...
Плейлист по Linux для новичков:
• Linux для начинающих
Версии Chrome драйвера под разные операционные системы:
chromedriver.storage.googleap...
Библиотека Undetected-chromedriver:
github.com/ultrafunkamsterdam...
Код проекта на github:
github.com/pythontoday/undete...
И в telegram канале:
t.me/python2day
****Соц.сети****
Telegram: t.me/python2day
#парсинг #selenium #cloudflare #requests #python #scraping #программирование
Еще не успел посмотреть видео, а лайк проставил) Спасибо!
СПАСИБО за ТРУД!!!
ВСЕГДА ЖДЕМ!
Большое спасибо за поддержку!
Приятно смотреть как работаешь и стоит осознание того, что бы дойти до полного понимания того, что ты делаешь придется много и долго пахать. ))
Сам учусь) Практика наше всё 💪 Благодарю за фидбэк!
Спасибо. Всегда очень интересные и понятные видеоуроки 🔥👍👍👍
Благодарю за фидбэк и поддержку!
@@PythonToday а у меня парсится раз в 15 секунд через тор и клауд не банит)))
Большое спасибо за интересные и полезные видео! Каждый новый ролик жду с нетерпением!!
Большое спасибо за поддержку! Если из РФ то самое время устанавливать VPN)
СПАСИБО, БОЛЬШОЕ!
сегодня столкнулся с этой проблемой, и сразу увидел твое видео, повезло)
думал до утра просижу в поисках решения
Спасибо за фидбэк, рад что полезно)
Спасибо за урок! Не раз натыкался на подобную проблему, а всё было так просто
Спасибо за фидбэк!
Спасибо ... очень понравилось!! 👏👏 просто супер 😎
Благодарю за фидбэк!
Спасибо, как всегда - бомбически!
Большое спасибо за фидбэк!
очень полезный и хорошо разжеваный урок - спасибо
Спасибо за фидбэк!
Гениальные видео, одно за другим. Ультра-годнота.
если годнота то надо лайкосы ставить и комментов по три штуки писать что бы алгоритмами ютуба видосы лучше продвигались, тогда годноты будет еще больше
Спасибо большое за полезное видео)) Сталкивался с такой проблемой, помогло то что открывал сразу 2 вкладки и как ни странно все работало)
Благодарю за фидбэк!
Спасибо очень интересные, полезные видео на вашем канале желаю вам успехов и процветания вашему каналу!
Огромное спасибо за фидбэк и поддержку!
С нетерпением ждём новые видосы. Спасибо за отличную работу👍👍👍
Большое спасибо за фидбэк и поддержку!
@@PythonToday Почему вы используете хром а не фирефокс, вы его выбрали потому что пользуетесь хромом или он лучше для селениума?
Информативно и доступно!
Спасибо уважаемый!!! Вы молодец.
Большое спасибо за фидбэк и поддержку!
Спасибо за контент, за парсинг, за всё
Спасибо за фидбэк и поддержку!
ураааа!!
новый видос!!!))
Спасибо огромное)
Лучший🥰
Большое спасибо за фидбэк и поддержку!
Полезный контент!
Благодарю за интерес и поддержку!
Большое спасибо!
Спасибо за твои усилия, ведь донести довольно простым языком до, не всегда продвинутого зрителя довольно сложно. Смотрел разных ребят, но как то всё больше на тех жаргоне, у тебя просто и доступно. Скромное пожелание, если попадётся проект по силениуму с авторизацией в всплывающем окне браузера, а не сайта, обозри этот нюанс
Благодарю за фидбэк. Посмотри ролик по аутентификации tiktok czcams.com/video/b4BvpQpKJQo/video.html , там писал подобный код.
куки попробуй передать
Если ты про отдельное окно браузера, driver.switch_to.window(driver.window_handles[-1]), если про то, которое окошком вылезает (как прокси обычно просит авторизацию в браузере) то driver.switch_to.alert.accept()\decline()
Спасибо, ждём новых роликов.
Спасибо за интерес!
Сударь, Вы великолепны, как всегда:)
Большое спасибо за поддержку!
Вот красота!!!!
Спасибо за контен ты красавчик )
Очень хороший!
Привет. Ты очень крутой чел. Посмотрел почти все твои ролики. Очень нравится, Продолжай снимать.
Благодарю за поддержку! Рад что видео помогают)
Чувак, спасибо! То что нужно!
Надеюсь полезно!
@@PythonToday Ага, сначала затупил, но потом вкурил почему отлетает селька при работе этой либы. Надо циклить в конце действие, чтобы программа не завершалась с ошибкой сразу. Он тут уходит в подобие многопотока, который останавливается при отключении программы
Как всегда топ
Большое спасибо за фидбэк!
А за это спасибо!
Круто👍
Единственный реально толковый канал из всех на кого подписан
Большое спасибо за поддержку!)
Есть другие еще каналы тоже толковые. Писать сюда не буду. Но PythonToday конечно талант!
Спасибо большое
Благодарю за фидбэк!
Привет. Я долго мучился с детектом селениума и остановился на модуле селениум стелс. Хорошая штука, всегда помагает😁
Ссылочку... на документацию
@@fvvdres.pro1007 Комментарии со ссылками Ютуб удаляет автоматически.
Отличное решение!
Благодарю за фидбэк!
Спасибо за видео! Крайне полезное вышло, но так и грызет любопытство, как же оно там всё хитро написано в исходниках
Спасибо за фидбэк!
Прикольненько!)
3:31 я всегда использую input как паузу, с ним можешь выключить когда хочешь
Спасибо
Искал, как авторизоваться в гугле через селю, в итоге последний коммент на SO меня привёл к этой либе. Радости не было предела. Думал, что она не сильно популярная, а оказывается, уж как год у тебя был по ней видос)))
Брооо, ты лучший, топи дальшее☺☺☺
Можешь снять видео как добавить расширение хром через селениум?😇
топовый метод
ну поглядим))) первок видео
супер
Всегда жду, когда уже кот начнет колбаситься :)
😀 Благодарю за интерес)
Спасибо, за урок! Можешь рассказать, как обходить проверку на бота в браузере
Gooo!
Хотелось бы видео о сборке вебдрайвера для доступа на сайт госзакупок по эцп. Это браузер Хромиум гост + расширение крипто про. А так же хорошо бы ещё добавить расширения СБИС, Госуслуги. Для того чтобы сработала авторизация по ЭЦП российского ГОСТа шифрования
ИМБАААА! КАК РАЗ НЕ МОГ УСТАНОВИТЬ Chromedriver на виндоус!!!
Надеюсь было полезно, на канале есть видео по свежей установке
@@PythonToday Заработал 400 рублей на фрилансе и получил первый положительный отзыв благодаря твоему видео 😘😘😘😘😘 Спасибо!!
После того как мой парсер уперся в клаудфлэйр думал его жизнь окончена xD помогли!!
Рад что видео помогают, пользуйся!
Сделай видео, например как передавать post данные из файла) или вот на selenium все понятно а как например это делать через reguests and bs4! авторизовываться входить какую нить информацию) я думаю не один буду благодарен
👍👏
При старте нового проекта для парсинга или мониторинга сайтов на изменения лучше сразу использовать undetected-chromedriver или начать с bs4?
Супер, из всего что смотрю, только твои, бывает, сохраняю в избранное)
А насколько реально написать бота под Линукс без графической оболочки под Яндекс капчу?
ох как эта одна строка выручает по сей день)
меня детектит.....
и второй вопрос) может пора автоматизировать комментарии ;)
Это просто кладезь полезной информации, а не канал! Большое спасибо, что делишь опытом! Если блокировка все таки произойдет, будешь перезаливать видео на ру хостинги или продолжать вести канал?
Благодарю за фидбэк и интерес! Думаю буду дублировать в РУ соц сети, возможно начну вести канал на английском, с русскими субтитрами. Время покажет, что нас ждет. :/
@@PythonToday Конечно на английском с русскими субтитрами лучше чем на рутубе по талонам смотреть))
@@PythonToday А бастион не подойдет?
Для обхода Cloud flare лично я юзал pyppeteer
Приветствую! Выдало ошибку с An attempt has been made to start a new process before the
current process has finished its bootstrapping phase.
Lets say how it is, I Love You 😁
Спасибо за видео! Сделай в следующем видео, пожалуйста, как парсить номер телефона на авито без селениума. Сам через json пробовал парсить, действительно номер вытянуть удается, но факт в том, что спарсенный номер отличается от, что указан в объявлении. Как то авито видит, что через json обращение идёт (надо через мобильную версию делать, там номер указан текстом в json), как то нужно обойти их систему
Так кто вам мешает работать через мобильный авито, мобильные хэдеры передайте драйверу и будет парситься мобильная версия авито.
Да, на обычном selenium это можно тоже реализовать, минус undetected-chromedriver заключается в том, что он не поддерживает chrome версии ниже 112, следовательно он не работает до 10 винды, так как chrome на винде ниже чем 10 перестал автоматически обновляться
Если знаете как можно ваши контакты?
Здравствуйте, чтобы писать без обнаружения, использую undetectable chomedriver, просто совет, так так долго с обнаружением мучался
добрый день, можете, пожалуйста, показать как в undetected_chromedriver загрузить гугл расширение в виде crx файла, ибо метод как в селениуме не выдает ошибки в консоле, но расширение не загружается?
Спасибо, но вот второй пример у меня не работает, выдает такую ошибку "File "C:\PycharmProjects\Parser_WB\1.py", line 13, in
driver.close()
NameError: name 'driver' is not defined" - код такой же как на видео, один в один, при том что веб драйвер этой библиотеке не нужен Undetected-chromedriver
На stackoverflow в ответах я находил библиотеку cloudscraper, которая по заверению разработчика проходит проверку CloudFlare, но в моем случае - не помогло.
почему дает ошибку на 12 строке "NameError: name 'driver' is not defined" когда использую undetected_chromedriver
спасибо. а для Java или Node.js есть что-то похожее? сейчас как раз актуально.
Привет , скажи пожалуйста на какой бирже ты выполняешь заказы
почему сейчас cloudflare блокирует аналогичный код на данном сайте? и как обойти
Как сделать такую-же цветовую схему как у тебя на видео?
Все установил и написал код с видео, а в ответ - Process finished with exit code 0 и больше ничего.
Страница с проверкой не открывается.
Как исправить?
Полезные фичи
Первый метод у меня сработал точно так же как и у тебя. Браузер запускает, но висит на CF или требует капчу. А второй метод не работает, не открывает браузер. Пишет "NameError: name 'driver' is not defined", хотя сделал всё точно так же и даже код взял с твоего git hub, чтобы исключить ошибку в коде. Может ли в undetecter_chromedriver быть драйвер под linux, который не работает на винде? Может кто-то из зрителей пробовал повторить за автором и у вас на винде всё работало или так же как и у меня не работало?
Ё привет. Покажи процесс создания ссылки переходя по который ты получаешь IP(не свое а чужое)
Когда пишу такую конструкцию он пишет ошибку nameerror name driver is not definded
как теперь стать патрионом, оч нужен код из видео об аудио помощнике?
Стоит Mint. Сколько не бился так и не заработало. Может сам путь до хрома прописать куда надо или ещё что. Подскажите пожалуйста.
Прикольно, спасибо! А есть способ обойти капчу?
ребят, как забирать список, если он сделан через виртуальный скролл?
не подскажешь как прокси с логином в этот код добавить ?
Привет, помоги пожалуйста, почему из за except или же exception выдает ошибку, из за этого не могу код написать, помогите плез
запуск твоего кода не проходит проверку и сайт не открывается
Привет, а можно на питон собрать ВПН сетку с серым IP и сервером на андроид?
Оперативно)) Большое спасибо труд за труд, подписался на все соц.сети, будем на связи 👍
Благодарю за поддержку!
привет, твои видео очень полезны, они где-то ещё сохранены, кроме ютуба? Желательно, что не заблокируют) Именно видео
Приветствую, пока не решил. В любом случае анонсы будут в telegram. Буду развивать netstalkers.com/private
У меня пишет что driver может быть неопределена, как это исправить?
Привет. Есть ли возможность в селениуме эмитировать человекоподобные движения мышки? Чтобы курсор к элементу пододвигался плавно, а не резко
Нет
Для капчи?
Конечно. Можно хоть по пикселю сдвигать. Но по моему опыту это мало на что влияет
Реализовывал такой алгоритм для SlimerJS. Имитация событий мыши на JS. С использованием кривых безье, случайных промежуточных точек, изменением скорости движения и промахов перед кликом, когда мышь чуть уежает дальше. В Вебвизоре было красиво, от действий человека не отличить.
А зачем селениум тут, юзай любую другую библиотеку где есть такие фичи
собственно... а как парсить то? как брать html код со страницы?
А как быть с php webdriver , selenium
Laravel
Попробуй спарсить пятерочку или магнит. После их дыры в иб они обновили защиту
Для чего кому то нужно было парсить их?
Вряд ли тебе кто-то добровольно это скажет :)
@@usertwgetrukwwr9669 ради интереса
@@pingvin5446 а что за защита у них, не дают парсить?
Как называется песня у тебя на фоне?)
по певрой ссылки я человек тиам где вин вводить там не пускает просит чтоб я нажал что человек
Тоже сталкивался с такой проблемой. Использовал undetected_chromedriver.v2. Модуль не стабильный, и не удается передать параметры запуска, например создать профиль. Помогало изменение порта вебдрайвера в обычном селениуме, а так же изменение путя до местоположения хрома. К сожалению данный код не остался..
Благодарю за фидбэк!
Привет,подскажи пожалуйста,вот смотрю сейчас 6 видео,и решил сам спарсить сайт,если и выходит то с постоянными подглядками в код с видео,это нормально, или я тупой и надо бросать?))
Привет, третий год подглядываю и гуглю только больше. Думаю нормально.
Доступ к закрытому контенту можно получить только через patreon?
Не могу придумать как провести оплату подписке, так как проживаю в РФ и paypal не работает(
В течении недели добавим оплату по картам для подписчиков из РФ. Благодарю за интерес.
7:17
уже не работает это. Пишет что робот, решайте капчу. и так до бесконечности.
вообще не пропускает
ага:(
Есть такой undetected chrome driver
undetected chromedriver не работает всё так же не пускает на сайты с такой защитой.
с ддос гуард что делать?