Парсинг букмекерской конторы с отправкой результатов в телеграм
Vložit
- čas přidán 24. 07. 2024
- Скринкаст выполнения реального заказа по парсингу букмекера и отправки результатов парсинга в телеграм.
Поблагодарить и поддержать канал:
pay.cloudtips.ru/p/118e1f87
Тайм-коды:
00:00 Ставим задачу
02:22 Изучаем сайт букмекера
06:47 Пишем парсер
42:14 Регистрируем телеграм-бота
43:32 Отправляем сообщение в телеграм
46:12 Пишем проверку в базе данных
54:41 О хостинге для скрипта
56:05 Выводы
Ссылка на хостинг Бегет beget.com/ru/p640166/vps#vps-...
Скрипт отправки сообщения в телеграм gist.github.com/DxDiagDx/af33...
Телеграм-чат про парсинг:
t.me/proparsing
Для связи пишите:
Почта lukin@usota.ru
WhatsApp +79053311246
Телеграм @lukin_ea
Профиль на профи.ру:
profi.ru/profile/LukinEA8/?ut...
Евгений, спасибо вам большое, я на ютубе довольно часто смотрю видео по пайтону , ваше видео я считаю самым полезным из всех, которых я посмотрел!
Спасибо за высокую оценку!
Интересное видео . Не смотря на то , что давно занимаюсь подобным , всегда приятно посмотреть , а как пишут другие и научиться чему-то новому 👍
Спасибо от души! Отличное видео! как раз то что я искал!
Евгений
Прекрасное дело делаете, ясно, чётко. С отличным звуком и дикцией.
Спасибо большое
Спасибо, приятно )
Лайкище однозначно! Интересовало примерно тоже самое, только на угловые)
То что ты показал это в первую очередь опыт работы, а это бесценно, спасибо тебе добрый человек, что делишься с нами своим опытом работы )
Спасибо 🙏
С нетерпением жду новые видео, желательно по парсингу или по базам данных
Спасибо, скоро будет видео по практике парсинга поставщика с авторизацией в базу данных.
Отличное видео! По подаче, хотелось бы, чтобы экранный приоритет сместился на код, может стоит окно с Вашим присутствием установить где-нибудь в углу экрана? ну и, для удобства, исходники по урокам было бы неплохо где-то выкладывать. Спасибо за проделанную работу!
Спасибо за высокую оценку! Ваши пожелания учту, это очень важно. Для каких-то инструкций я всегда дам ссылку на исходник. В этом же видео важнее смысл решения задачи, а не код. Тем более код сырой и без рефакторинга.
@@usota Ваше видео мне очень помогло! Изучаю Пайтон и уже написал несколько простеньких парсеров с Телеграмом. Возникла задача парсить несколько поисковых выдачей на ebay. с записью в БД и проверкой уникальности и отправку в Телеграмм. Но т.к еще не сильно понимаю как код дробить на несколько составных частей (функций) приходилось писать "код-в-ряд")) и естественно, когда строк больше 150, то очень легко ошибиться во вложенных циклах. Благодаря этому видео оптимизировал свой код, разбил по функциям и все прекрасно заработало! Спасибо большое!
@@usota Евгений, покажу код парсинга с обходом клаудфларе
Спасибо!
Но как узнать какой именно запрос искать!? на другом бк у меня не получается найти этот самый гет!?
так же можно было и игру сделать ключем, а значения все 3 жк. Но а так, очень крутое видео, в закладки однозначно. Есть о чем подумать. Еще бы научиться делать так, чтобы бк не забанила)))))
когда попытался сделать чтобы отправлялись все желтые карточки вместе с первым, вторым таймом. Пытался все из функции search_db пустить цикл дальше, но он там прерывается из за id. Надо использовать search_db для проверки наличия id игры в БД и забирать либо Правду, либо Ложь и дальше от этого либо прерывать цикл, либо дать скрипту отправить данные с этой игры. Трудно быть новичком.
На самом деле это первый парсер в Ютубе если не ошибаюсь 1xbet который работает на запросах)
Ничего не понял но мне понравилось.
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
Тоже интересна данная тема
params = (
('sports', '3'),
('count', '150'),
('mode', '4'),
('country', '82'),
('partner', '78'),
('getEmpty', 'true'),
('noFilterBlockEvent', 'true'),
)
Вот для баскетбола. Значение sports меняй и будет другой вид спорта
Роман а для чего он тебе ? В каких целях используешь ? Польза от него ?
ничего не понимаю, но очень интересно
да и в if же можно сразу передать 2 сравнения с and. И сразу сформировать в одном if правильный словарь
Да, возможно так лучше.
Интересное видео, спасибо! Подскажите а можно ли сделать автоставку через питон? Или это все дело отслеживается?
Спасибо. Честно, о ставках ничего не знаю 🤷♀️ Но думаю, отслеживается.
отслеживается. но есть люди которые делают такие программы, и работают неплохо. но просят за них хорошую сумму
Супер видео,Евгений👍👍👍👍👍. Хотел спросить,где можно найти,скачать архив коэф?
Спасибо. По поводу архивов не знаю, возможно на флешскоре
@@usota очень хочу найти архив коэф. БК
Евгений, сделайте пожалуйста подробное видео про WebScraper на примере какого либо интернет магазина, то есть как парсить товары массово. Будет очень полезным, т .к. такой информации толком ни где нет. Заранее спасибо!
Спасибо за предложение, давайте сделаем - напишите, на примере какого интернет-магазина показать работу парсера и я запишу по нему видео.
@@usota Мой ответ удалили похоже) Евгений, успели название сайта скопировать?
Нет, напишите на почту lukin@usota.ru
@@usota Отправил. Буду ждать видео)
25:59 нельзя ли в этом месте вместо "IF" применить конструкцию match/case?
Да, я думаю можно, спасибо попробуем)
Как сделать что бы парсился баланс аккаунта? И обновлялся в режиме реального времени
Подскажи момент, в случае изменения коэф, бот же не пришлет новое значение? тк в базе данный матч уже есть
Да, в случае изменения коэффициента бот ничего не пришлёт. Чтобы бот присылал новый коэффициент, в случае го изменения, нужно менять логику скрипта. Например в базу данных записывать не только матч, но и коэффициент. И при каждом следующем запросе проверять, не изменился ли коэффициент.
35:57 я не спец. в Python, но полагаю, что так вычислять время не дальновидно. А если у заказчика другой часовой пояс?
В этом коде ещё очень много недальновидных вещей)
Интересно конечно, но я видимо олух. Дальше if в строке не продвинулся, вообще не пойму как эти знаки типа равно и нижнего подчёркивания писать(((
молодец, прикольно), только токен то зачем было светить от бота?)
Спасибо, тренировочного бота не жалко)
скажите пожалуйста что за расширение для построения json деревьев
JSON Formatter
спасибо за видео, начал парсить в лайве, нашел все коэффициенты и статистику, но не могу найти текущую минуту матча
Могу ошибаться, но скорее всего время представлено в формате timestamp, например 1667746800 будет как 2022-11-06 18:00:00. Если вопрос не в этом, а в каком ключе лежит время, пошедшее с начала матча, то так не вспомню. Но оно там есть точно )
@@usota спасибо. так и есть.
3:20 а не могли бы вы пожалуйста сказать что за расшриение?
"JSON Formatter" уже нашёл, спасибо
Отличное видео! 👍
Как раз ищу исполнителя на подобный скрипт. Примерная цена?
Спасибо за оценку! Ценник начинается от 10 тыс. А вообще цена зависит от задачи, пишите, обсудим. Контакты в описании.
@@usota 👌👌👌
Здравствуйте, можно ли создать телеграмм бота по прогрузам букмекерских контор? Если да, то сколько будет стоит ежемесячное обслуживание? Я не программист, по этому надеюсь Вы отнесётесь с понимаем если мой вопрос очень глупый))
Здравствуйте, на 2022 год стоимость ежемесячного парсинга сайта стоит от 3000 до 10000₽. Но всё зависит от сайта БК, объема данных и т.д. Все индивидуально. И я, к сожалению, не знаю что такое прогрузы, поэтому может это не получится. Но ценовой диапазон примерно такой.
Вот и беда подкралась откуда не ждали. Три дня копал статистику с сайта и кучу полезностей , как вдруг скрипт перестал забирать json с сайта...
{'Error': '', 'ErrorCode': 0, 'Guid': '', 'Id': 0, 'Success': True, 'Value': []}
Возможно ваш IP временно заблокировали, попробуйте использовать прокси, чтобы подменить IP-адрес
Добрый день, спасибо за видео!
На стадии получения json ответа с сайта, pycharm выдаёт ошибку JSONDecodeError. Не подскажите что не так? Сделал всё по аналогии как у вас
Посмотрите, что лежит в response.text, возможно проблема в результате, который возвращает запрос.
Как изменить ранее отправленное сообщение в Телеграм, например, если изменились "ставки'?
Отправить новое?
@@usota вопрос не для данной конкретной задачи, а для других случаев.
*Например, такой*
1) Поступил звонок в офис, мне в телеграмм система отправила сообщение:
_30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._
2) На звонок ответил другой сотрудник, требуется изменить ранее отправленное мне сообщение:
_30-12-2021 __13:45:22__ Поступил звонок с номера 777-77-77._
_13:45:30__ Ответил аб.1501._
Хороший вопрос. Я бы смотрел в сторону метода editMessageText. Поделитесь решением, если получится реализовать, буду благодарен 😊
Евгений, здравствуйте.Как загрузить бота на хостинг чтобы тот отправлял сигнал каждые 5 минут?
В этом видео Парсинг недвижимости Авито, Циан, Яндекс. Часть IV (Запуск на сервере)
czcams.com/video/hCWoTYjTC-E/video.html есть пример, как запускать скрипт на сервере по расписанию
Добрый день. Подскажите каким образом следить за информацией чаще чем 1 раз в минуту?
К примеру котировки валют.
Так как не правильным будет заходить на сайт, получать информацию, выходить и затем опять входить.
Я думаю, что нужно войти на сайт и просто обновлять данные, но как это сделать?
Добрый день. Вы можете создать сессию и в её рамках работать с сайтом. Это есть в библиотеке requests. Частоту запросов вы задаёте сами, но на ответ нужно дать хотя бы 2 сек. Вобщем делать запросы каждые 3 сек. максимум.
@@usotaА при таком частом обращении, сервер не забанит наш IP?
Зависит от настроек сервера. Например WB не обращает внимания на частые запросы, а более щепетильные сайты банят уже на второй запрос. Поэтому стоит использовать прокси. А вобще пересмотреть задачу - нужны ли такие частые запросы… не фигнёй ли мы занимаемся?)
@@usota Благодарю тезка. За прошедший год поднял свои скилы, так что уже сам API пишу. И понимают. В любом случае круто, что ответил. Дай Бог процветания
Крутые результаты 💪🤝
Доброго времени Евгений! За сколько выполнили этот заказ, если не секрет, для понимания оплаты труда на такую работу)
У меня цена за парсер БК в 2022 году - 30 тыс.руб. Как правило на написание парсера уходит 2-3 дня, а вот на тестирование, доработку и сопровождение - минимум месяц.
@@usota ваш профиль на профи ру не отображается. сколько берете за доработку данного проекта
@@user-ft3hj2fd5q спасибо, починил. Давайте свяжемся в телеграмм или ватсап, я сейчас не могу взять заказ, поэтому и суммы не называю, но может чем помогу.
@@usota я не по поводу заказа. сам хочу заняться парсингом, сейчас смотрю ваши вводные уроки по веб скрепперу, и вникаю в html/css. увидимся в вашем телеграмме, всех благ)
С удовольствием помогу коллеге, до встречи 🤝
Когда печатаю result = response.json() то выдает ошибку и выделяет json
На 9:44 минуте видео
Евгений подскажите пожалуйста, как выбрать нужный запрос, если сайт отдает много данных, когда мы запрашиваем через network.
Есть ли какой-то лайфхак?
(Надеюсь вы меня поняли. Заранее извиняюсь, если вопрос глупый, я ещё только учусь)
Есть два способа найти нужный запрос быстрее:
1) в консоли разработчика в строке фильтра вместо All выбрать Fetch/XHR, чтобы оставить только запросы;
2) тамже в консоли сделать экспорт HAR и парсить уже его.
Понимаю, что звучит ещё не понятнее, но пару часов гугления и у вас новый крутой инструмент, с помощью которого открываются новые возможности парсинга)
@@usota спасибо! Лучший! Вроде понял, буду пробовать) жду новые видео от Вас👍
@@usota а стоит ли обращать внимание на размер запроса? Или не всегда нужный запрос весит больше?
Да, как вариант, можно отсортировать по размеру запроса и проверять сначала наибольшие. Но насколько выше вероятность быстро найти нужный, пока не знаю.
@@usota в любом случае спасибо)
Какое расширение для дерева используешь?
Первое попавшееся в магазине расширений ) JSON Formated - что-то такое
Почему бы не использовать json в роли БД?
Вы правы, можно и JSON. Для хранения одного поля это не принципиально.
@@usota хотел задать следующий вопрос: при стандартном использовании функции json.dump() у меня неправильно обрабатывается кириллица. Как это можно решить?
Используйте ensure_ascii=False
А как парсить все игры без ограничения в 50 штук?
В цикле выбираем по 50 штук, пока не соберем все
Это то понятно что в цикле, но сервер через get запрос отправляет 50 игр, но их куда больше, если менять параметр count это не помогает, сервер игнорирует это, все остальные игры(я так понял) сайт получает другим запросом, который не со страницы сайта мы не можем отправить. Если есть возможность по очереди прогружать игры, то как это сделать
Сайт для каждого аккаунта отдаёт свои данные и коэффициенты (порезанный акканут, например)
А мы же парсим без авторизации
@@usota так я о том же, что у заказчика будут другие коэффициенты и, возможно, замки на то, что без авторизации открыто
Согласен, это тоже нужно учитывать при разработке проекта
в словаре надо было ключем сделать значение тотала, а value уже кэфы, потом же проще было бы парсить все это и передавать
Надо было, спасибо.
Не реклама 😅 (шутка)
Приветствую! А как вы зациклили весь код, чтобы он каждую минуту отправлял данные в телеграм? Не увидел это в коде
В конце услышал, что настраиваете на сервере запуск скрипта по расписанию. А если, к примеру, нужно парсить в реальном времени, думаю, что лучше это через циклы делать в python. ИМХО.
Приветствую, код не зацикливаю. Код запускается по расписанию, которое задаю на сервере. С помощью cron задаю гибкое расписание, например запускать парсер ежедневно с 8 до 22 каждую минуту.
"Перед тем как начнём поставьте лайк или дизлайк" - где логика?
Вы серьезно?
@@usota Я материал оцениваю только ПОСЛЕ просмотра. Не так надо?
Зачем нам ваше лицо на четверть экрана?
Не на четверть, а на треть.
@@usota да, прошу прощения. Зачем нам ваше лицо на треть экрана?
Них... не понял но очень инттересно)+
Горе программист, пишущий в столбик. Садись Иванов, 2.
эх в конце видео что то пошло у меня не так, все проверил уже , но ничего не помогает. выдает ошибку - ValueError: invalid literal for int() with base 10: '' там где мы проверяли сообщения на повторную отправку. как я понял, что то происходит с интерпритацией в строку нашего гейм айди. а что не так уже бьюсь второй час и флоат попробовал уже
def search_db(game_id, yellow_card):
with open('db.txt', 'r') as file:
for item in file.readlines():
line = item.strip()
if int(line) != game_id:
get_message(yellow_card)
with open('db.txt', 'a') as file:
file.write(f'
{game_id}')
помогите пожалуйста кто-нибудь понять в чем загвоздка. Спасибо большое
Это моя ошибка, использовать текстовый файл в качестве базы данных. Лучше использовать SQLite. Но если вам для обучения, то лучше использовать CSV.
@@usota спасибо большое!
Евгений, спасибо за видео. Очень понятно, очень доходчиво. Сделал все как в вашем видео работает. Могли бы подсказать как находить JSON ответы по другим видам спорта: теннис, волейбол , баскетбол и др.
Спасибо за обратную связь)
По другим видам спорта ищем по аналогии. Кстати, в видео про парсинг Озон, я рассказываю, как искать нужный JSON, если их очень много. Если коротко - в консоли разработчика скачиваем har-файл и в нём ищем нужные данные, как в обычном json.
@@usota Спасибо про Ozon еще не смотрел. Буду изучать.