ПАРСЕР AVITO на PYTHON | BeautifulSoup4 | Requests
Vložit
- čas přidán 23. 08. 2021
- ПАРСЕР AVITO на PYTHON | BeautifulSoup4 | Requests
Привет. Давно меня просили сделать видео, где я покажу как парсить Avito. Ну, вот оно. Хорошего дня!
Официальный Telegram Канал - t.me/melsik_official (Много новостей, голосований, предложений, напоминаний)
По всем вопросам, в группу - t.me/python_development . Там я тебе помогу, а так же и другие подписчики) . Периодически там общаемся, залетай!
#мэлсик #beautifulsoup #avito #python
Пол года назад я и не представлял,что для меня это покажется ну реально самой простой вещью
Классно 🔥
Классный урок. Спасибо тебе дружище! ; ))
Просто лучший братан!
Видео урок СУПЕР! Очень понравилась идея, чтобы этот парсер довести до бота. Будет такой видео урок?
Просто соединить две библиотеки
привет, а этот парсер показывает объявления, которые ещё на модерации?
Спасибо
Молодец. Всё понятно и грамотно объяснил.
Чел спасибо у меня появилась настроение кодит!
Будет замечательно если сделаешь парсер авито с номерами)
а зачем парсить авито без номеров? 🤣
Сделал все как на видео, но при попытке найти продукт пишет "Process finished with exit code 0" использую pycharm, в командной строке ничего не происходит сбрасывается на путь к main.py. Требую помощи!
В самом pycharm нажимаю run, затем после main.py ввожу название продукта, например тот же диван, и через секунду выдает ошибку с кодом выше
Process finished with exit code 0 - Это не ошибка. Наоборот. Это сообщение обозначает, что код выполнился полностью и без ошибок. Если бы были ошибки было бы Process finished with exit code 1.
Если вы не видите ничего кроме этой строчки - значит ваш код ничего не выводит. (Отсутствует print() или чем вы пытались выводить). Но программа выполняет ровно то, что вы от нее хотели в полном объеме.
решил проблему?
Доступ ограничен: проблема с IP Иногда такое случается - подождите немного и обновите страницу. Если проблема не уходит, вот что можно сделать: Отключить VPN. Включить и выключить режим «В самолёте». Подключиться к другой сети. Перезагрузить роутер.
👍
Топ видос🔥🔥🔥🔥🔥🔥
Привет! Что делать если несколько divов с одинаковым классом.Я хочу получить только нужное мне значение из этого div?
Использовать find_all
Почему последняя строчка "print(link["href"])" не работает?
Без ["href"] она работает,а с ней нет,ошибку выдаёт (
у меня тоже самое. Решил проблему?
+
а как парсить остальные страницы?
Первый кто объяснил без всякой воды
Спасибо! Все понятно
from bs4 import beautifulsoup
это гдето заранее скачать ее нужно сохранить ? то у меня пишет что "oduleNotFoundError: No module named 'bs4'"
извините если глупый вопрос, за пайтон вообще ничего не знаю
pip install beautifulsoup4
Слишком годно, чтобы быть правдой))
Всё повторил, но не работает((((( ПОЧЕМУУУУУУУУУУУУУ
Эх, почему-то не работает. При попытке запарсить просто программа заканчивает работу без ошибки.
Должна быть где-то причина. Попробуй просмотреть код. Я думаю возможно у avito теперь другие классы у элементов, глянь
ахуенно!!!!
Привет! А возможно ли создать программу в которой я буду оставлять ссылки на объявления, а она будет выдавать номера телефонов?
Естественно возможно
Я скопировал код, но мой pycharm не выводит результат, а выводит пустую строку и текст "Process finished with exit code 0"
Как мне вывести результат в виде ссылок?
И где посмотреть, как запустить код в cmd?
Здравствуйте! А решили данный вопрос?
Привет, перешел по ссылке добавился в чат, отвлёкся, возвращаюсь к телефону и я там заблокирован. Почему так? Даже посмотреть не успел
Привет, попробуй еще раз
Добрый день а как можно достать телефоны номера
Привет. А как сделать чтобы статистику по просмотрам и применяемым услугам парсер собирал?
А как можно спарсить контент или содержимое, допустим новости в списке, на примере новостного парсера, написанного на python? Срочно помогите.
а если выдает ошибку 403, пытался провзаимодействовать с куками не помогло
Попробуй fake_headers
Как парсить новые объявления?
У меня не работает href в принте
а можно как то номера парсить или посмотреть их без аккаунта?
=======================да тоже нужны номера=============
@@AVITO_SCAM_PROJECTнашел решение?
пробую сделать свой первый парсер по авито и вот столкнулся с проблемой ошибки 403-т.е авито палит парсинг и отказывает. Как решить проблему помогите(
через requests не варик, через cURL тоже сейчас попробовал-тоже самое.
Слышал про selenium, но это единственный вариант?
и еще на вашем сайте при генерации cURL снизу написано:
all the --header/-H names are lowercase, which means this may have been an HTTP/2 or HTTP/3 request. Requests only sends HTTP/1.1
может в этом проблема?
Можно через bs4, только попробуй fake_headers
@@MrMelsik а bs4 же уже парсит то, что request получает, я правильно же понимаю?
если так, то до bs4 уже не доходит- на этапе гет запроса прилетает ошибка 403-типа сайт вас спалил
@@user-zi3lb8qu3s fake_headers, я же говорю
@@MrMelsik это тоже самое что fake useragen? Где можно посмотреть как эта штука работает не подскажешь?
тебе нужно прокси сервера по кд менять, а то банит по ip
со вчерашенго дня почемуто метод request с авито возвращает ошибку 403
тебе нужно в реквест передать юзер агент, авито скорее всего ругается на его отсутсвие. погугли, заберешься)
@@user-mh2eo6pi5j нет не в этом дело... Разобрался уже
@@torbokovsanat Какой нашёл выход?
@@NICKNAME_jojo через хромдрайвер
@@torbokovsanat selenium? Я его пробовал, но скорость меня пугает.
Ничего не получается. Авито сразу вычесляет. Пробовал и через fake headers и через fake User-Agent. Нужно что-то другое придумать.
такая же фигня
а как сделать, чтоб бот в телеге присылал новые тавары поступившие в продажу, по заданным параметрам?)
Нашел информацию?
что делать если я пишу class_=" " и у меня ничего не выводится, без него выводится но все подряд на странице
Тебе нужно найти этот класс, поищи на сайте, он скорее всего поменялся за это время
такая же проблема
@@ICapCorn тег изменить попробуй. Например у тебя тег , а ты ищешь по классу у тега . У самого такая проблема была, всё никак разораться не мог
@@romchikyoung6863 неа, он этом я в первую очередь думал
Process finished with exit code 0 😥😪
Хотя все классы элемента правельные
Process finished with exit code 0 - служебное сообщение в PyCharm, обозначающее, что код выполнен в полном объеме и без ошибок.
Если вы хотели увидеть что-то кроме этого, нужно указать это в коде ;)
у меня также. Надо идти в командную строку за результатом. А так вообще не работает код
На данный момент авито так не распарсишь, к сожалению.
Кто-нибудь знает способ это сделать?
Парсер есть, только его можно продать)
@@shwir159 привет, дай телегу
Привет, пересними видео пжл, авито давно этот код блочит. Желательно без селениума а на той же библиотеке
Оставляй карту или что-то для поддержки канала)
В шапке канала есть)
на мою кидай
Очень годно. Возьму на заметку. Спс
сделаешь видео как за парсить чат в ютубе?
Сейчас 15 января 2023, по состоянию на сегодня, авито блочит запросы с реквеста... С селениума пока парсится 👌
@Andrew Ivanov покеж
А как парсить больше одной страницы? Или как парсить только НОВЫЕ объявления, вообще не найти такой инфы в инете, если сможешь было бы круто такой гайд увидеть
И как парсить все найденные страницы и интересующую информацию со всех подстраниц, да так, чтоб не заблокировали (про защиту на подменных временных номерах авито я вообще молчу ведь подлинные на их сервере, или?)
у меня когда я пытаюсь забрать html сайта выходит совсем не то что надо. Открывается страница о том что у меня проблемы с ip
хаха лох
Это все конечно круто, но возникает вопрос, "а мы куда-то опазываем?", зачем накидывать все за минуту рассказывая на бегу вместо того, чтобы рассказать нормально - какие модули нужно скачать, что делает каждая конкретная строка, почему пишется именно так. Ну и как в комментах писали, уже этот код не работает, главная страница еще открывается, а любые попытки парсить страницы конкретных товаров выдают 403 ошибку.
И я многим отвечал, что дело в том, что avito вроде как сделали хорошую защиту от парсеров.
А насчёт того, что я тороплюсь. Уж простите, но никому не нравятся медленные разборы. Моё мнение
@@MrMelsik Доброй ночи. Я имел ввиду не то что прям медленно, а подробнее, чего за что отвечает. Кстати, покопался нашел два способа запарсить авито, оба протестил и работают. Первый через подключение HttpAdapter к requests, второй через использование модуля httpx (работает как в обычном так и асинхронном режиме).
@@alekseymavrin6361 Подскажи, в какую сторону документацию по ним читать? И что хочет авито от запроса, помимо юзер-агента
@@VaeV1ct1s Привет. Слушай, я сам новичок, так досканально не знаю, но при смене адапрета на http2.0 или асинхрон, но не помню чего за модуль.
Парни, что такое парсинг простыми словами?!!!! Я чет не в теме(
Не работает, класс менял.Работает ввод,потом программа завершает работу без ошибки
То что без ошибки, это значит, что bs4 не получил доступ к сайту или неверный класс, посмотри еще. Попробуй вывести просто все элементы, что на это скажет программа
@@MrMelsik тоже самое. Еще забыл написать,там пустой список выдает,а потом завершение программы
@@irt4040 значит класс неправильный, или доступ к сайту не был получен
А можно все обьявления парсить?
Сделай пожалуйста парсер авито для телеграмм бота
Поддерживаю!)
Давай на силениум т.к через bs уже не катит.
Bs4 катит а request нет
Ничего не выводит
Потому что ctrl + c, ctrl + v не даст результата
Подумай почему так)
Дам подсказку, но сайты со временем могут ставить защиту, чтобы их сервера не легли из-за подобных людей)
Авито ограничивает доступ, таким способом, увы, уже не спарсишь. Но спасибо за видео
Точнее, нужно это делать через прокси. Так как банит IP
@@kich_prog1623 прокси этот тот же айпи только другой, значит и его забанит
@@axelvermontov6607 продам мульти браузер с бесплатными безграничными прокси
да никому не нужны ссылки эти, все равно их открывать по одной будешь, ровно так же , как и если бы в авито запрос ввел
нужна информация ,номера ( только для поиска поставщиков, потому что они работают на входящий звонок онли ), количество лайков и избранных и кол-во по дате товаров - то есть спрос и тд!
Всё равно не вижу проблемы, хах. По такому же способу, что я показал
можно порсить телефоны со всех обьявлений и регионов
У меня код не работает
жиза
Го лайк на комент
вот бы авторизацию реализовать
Интересует сотрудничество. Можем обсудить детали?
Telegram - @MrMelsik
Для Юлы точно так же работает?
По такому же методу, да
@@MrMelsik можно как то связаться с вами для сотрудничества?
@@redwoods14 Напиши в тг
@MrMelsik
Не получается, пустой список возвращает.
+
Уже так не получится Авито не пропускает
@@user-ur2id1ut9kрешил?
@@DOMCLICK50000 походу нужно использовать User-Agent
Жалко теперь там защиту добавили, пропуск по айпи идёт
как обойти?
Точно сказать не смогу, возможно прокатит с selenium, еще хорошо будет попробовать с машины yandex cloud
@@D1NgLo_0 спасибо)
Привет, у меня вопрос, ты вроде не плохие программы пишешь, не ужели такие программисты мало получают на рынке, что вынуждены снимать ролики?
По вашему я делаю это только ради денег?
А с 5 страниц спарсить данные слабо?!
через json слабо спарсить? класс с билибирдой в конце имени скорее всего переименуют и парсер перестанет работать. А так спасибо за видос, я вообще только селениумом смог спарсить))
Не скорее всего а там стоит у них соль, каждый день меняется класс, надо парсить только через селениум и использовать другие хитрости поиска
@@user-jk4on1ji4h а ты гений
я сейчас ток начинаю изучать это и сейчас даже через реквест не работает(логично, ибо тогда бота бы мог сделать каждый)
вот сейчас буду думать как доставать последнее объявление в поиске (желательно более одного дня хаха)
МарксЭнгельсЛенинСталин
Сам только недавно узнал, в шоце
@@MrMelsik это СССРовские типа сталин, КИМ - комунистический интернационал молодежи)))
@@migrant-rabota знаю
Смысл такого парсинга если через 7 месяцев все это становится не актуальным?
Что именно неактуально? Разработчик должен поддерживать программу. Да и все что нужно, это классы поменять, так код тот же
Меня авито по ip банит))
В 2023 можно так парсить авито. ПОМОЕМУ ОНИ ТАМ КУЧУ ЗАЩИТ ПОСТАВИЛИ
Любую защиту можно обойти. Но сейчас с этим сложнее, да
@@MrMelsik Сейчас онли селениум
Парсер срабатывает всего 15 раз, а потом в БАН. Вот так вот!!!
И все? Попыток это обойти не будет? Попытайтесь использовать разные прокси каждые 15 попыток
@@MrMelsik прокси блокируются, хз что делать.
Неактуально. Подобным способом уже авито не спарсить
Актуально, просто нужно классы поменять
@@MrMelsik как раз таки с измененными классами я пробовал
посоветуй парсер авито нормасный чтобы без ограничений по рубрикам физлицам чтобы контакты собирал
czcams.com/video/kojnX_6dsqg/video.html
у меня есть могу скинуть, только приобрел =))
@@axelvermontov6607 можешь?)
о скинь
@@axelvermontov6607здарова. Поделись. Этой темой пж. Куда тебе писать? Тг ? Вконтакте? Или кудаь
Всё рассказал, всё показал... Попробуй номера с Авито спарсить
Какие номера?
@@MrMelsik номера телефонов
@@paroletatel Там нужно на кнопку нажимать, тут лучше будет использовать Selenium
@@MrMelsik это понятно, проблема в постоянных перебоях типа:
Разного времени загрузки всплывающего окна,
Номера в качестве картинки,
Просьбы авторизоваться от Авито
И многое другое. Рабочего варианта просто нет
@@paroletatel "Рабочего варианта просто нет", я в шоке
очень просто, стань хакером и что же там сложного, остальные отдыхают
Такая шляпа…. Которой в инете валом… ты сделай что-нибудь уже уникальное. Со сбором номеров телефонов, точнее их фото и распознованием текста на фото. 2 строчки блин. Все одно и тоже.. отписка
Всё будет, и то, и то. Потихоньку же идем. А Avito я сделал лишь по той причине, что люди меня просили, много раз, я же даже в начале об этом сказал.
Не устал делать один и тот же контент? Может хватит одни парсеры пилить, да и притом постоянно на bs4....
Просто перестань делать парсеры и телеграм ботов
Эм.. 2 видео про bs4 это много? Да и пишу я ботов, bs4 и т.д. потому что люди просят и просят много
@@MrMelsik большенству людей скучно смотреть один и тот же контент. Лучше сделай видео по ИИ, или по каким либо интересным модулям, их в питоне оочень много. Зачем застревать на чем-то одном?
@@whitehat-it-4096, дружище, если хорошо разбираешься в python, подскажи тогда как сделать так, чтоб скомпилированный код python в exe брал настройки с отдельного файла(например config.txt или config.py) при условии, что сам код и используемые библиотеки будут компилироваться в один exe файл?
P.S. На выходе нужен 1 exe файл программы и 1 файл с конфигами для настройки его работы.
@@user-xx6yb2cr2h какие настройки скрипт должен брать с конфига?
@@MrMelsik да никого не слушай, канал твой. И никто не может указывать что да как. Могут просто попросить снимать что им интересно. А снимать это уже на твое усмотрение. Но никто не может указывать. Если такие умные пусть сами снимают на своем канале что хотят
Спасибо