- 3
- 14 527
Евгений Виндюков
Russia
Registrace 20. 06. 2008
Все про Data Engineer | Telegram t.me/halltape_data
HDFS | Что это такое и как оно работает? [Hadoop HDFS]
Deep Dive по HDFS.
Рассказываю базу про HDFS. О том, что это такое, как хранятся блоки, репликация, топология сети, что внутри и какие есть с этим проблемы.
Подписывайся на telegram канал про Дата Инжиниринг!
t.me/halltape_data
Рассказываю базу про HDFS. О том, что это такое, как хранятся блоки, репликация, топология сети, что внутри и какие есть с этим проблемы.
Подписывайся на telegram канал про Дата Инжиниринг!
t.me/halltape_data
zhlédnutí: 2 578
Video
Data Engineer | Кто это такие, как им стать и что нужно знать?
zhlédnutí 11KPřed 6 měsíci
Стрим с канала Я - Дата Инженер. На стриме рассказываю кто такие Дата Инженеры, что нужно для этого знать и как войти в IT. В своем telegram канале я делюсь полезными материалами, ссылками на крутые ресурсы, а также общаемся на тему инжиниринга данных! Подпишись на канал! t.me/halltape_data
Docker | Telegram Bot | Как работает телеграм бот в докере?
zhlédnutí 1,2KPřed 6 měsíci
Стрим с канала Я - Дата Инженер На стриме рассказываю, как выглядит Docker, как я его разворачиваю и как это все работает? Подпишись на канал! t.me/halltape_data
Ну много субъективности. Решать олимпиадные задачи полезно просто для разминки ума. Это тренировка нереалистичности мозга. решать каждый день однотипные рабочие задачи бывает тяжело и нужно добавлять разнообразия. airflow -зло. ))) pandas был нужен до python 3.10 пока его производительность была не оптимизирована. сейчас я лучше сделаю все на чистом python, чем буду использовать pandes. В нем слишком много подковерной магии.
Подскажите пожалуйста, что за фильтр вы использовали в ролике Save Your Life? Выглядит очень красиво, необычно.
30 лет грустно) в 40 - 30 будет весело
@@KaramelkaBoo 🤣
Занимается ли дата инженере админством серваков, кубером, мониторингом задеплоенных решений?
@@dmitriyobidin6049 нет, это ближе к девопсам
увидел это видео РОВНО два месяца назад, из материала знал только какие-то супер базовые основы по sql за это время я изучил python, sql, pandas, clickhouse, мельком пробежался по git, docker и чутка потыкал jira, до конца августа планирую освоить базовую теорию по БД, также изучить hdfs и spark, чтобы в начале сентября успешно выйти на работу огромное спасибо автору за ЕДИНСТВЕННЫЙ в своем роде видос на данную тему в ру сегменте ютуба:)
Большое спасибо! По HDFS посмотри там у меня на канале тоже видос есть. А по Спарку я в буси 27 июля делаю тестовый видос и рассказываю. А на ютубе уже сниму осенью точно)
@@halltape а у меня 27-ого числа как раз день рождения ахах планирую купить подписку!
А Вы когда сможете подробно и детально обсудить тему : "что такое полная честная зарплата Наёмного труда работника на самом деле?" Например Так 🎉 czcams.com/video/dfVaHhicHTQ/video.htmlsi=cPB0dHTrxDydURbg❤
Не понимаю о чем речь
В Сбере этот вопрос не возникает... Мне в Сбере платят не самую честную зарплату... Больше, чем я заслуживаю. ))) Но я возмущаться не буду. )))
А подскажите, где лучше брать недорогой сервак, для пет проекта?
Пет проект необязательно разворачивать на сервере.. можно и локально его запускать. Никому не требуется ежедневное обновление данных в ваших пет проектах. А если нужно для бота, то я на sber cloud развернул. Там год бесплатно дают. Но ресурсов немного.
Очередная реклама, как с нихуя освоить компьютер сайнс за пол года 😅
За ночь!
@@ViktorAr2023 у меня джаву и скалу не спрашивают на собесах. Только питон. Да и высшее образование никак не влияет на обучение в IT.. я вообще инженер электротехник.
@@ViktorAr2023 помимо Сбера есть много других мест, где без вышки можно идти. В ментальном плане я вообще не вижу преимуществ. Мне высшее образование в IT никак не пригодилось
@@ViktorAr2023 ну если ничего не делать, тогда точно не получится
Спасибо за мотивацию!
Здарова, я тоже учусь в Школе 21 😅 На основе уже басик прошёл по SQL
Я так понимаю в сентябре 2022г ты не захотел присоединяться на сервер Escape from Dombas?))
Насчет скорости чтения не верно: скорость чтения SSD намного больше чем HDD, вне зависимости от расположения блоков. Если рассматривать накопитель M2, то там вообще скорости чтения ГБ. Сейчас уже нет практически проблемы перезаписей блоков у SSD Если упадёт стойка, то вероятнее всего HDD уже выйдут из строя, SSD же более устойчив к физическим повреждениям. Самая главная разница - это внушительная цена SSD, поэтому и используют до сих пор HDD P.S. Сейчас уже есть статьи, где рассказываются, что использование HDD обходятся дороже чем SSD
хороший урок, спасибо
Грустно слышать про возраст) неужели не меняют в 40))))
меняют, но я вижу меньше ребят в таком возрасте. просто это факт..
Возможно, я не показатель, но вставлю свои пять копеек. Большую часть трудовой жизни я был в бизнесе автозапчастей, занимался, экспортом, импортом. Хотя в свое время физический факультет университета заканчивал и очень жалел, что в 90-е физику пришлось бросить. Но два года назад компания, в которой я работал последние 17 лет, релоцировалась в Польшу, а я, после некоторых размышлений, отказался. К счастью, я последние года четыре в качестве хобби занимался Java и рядом сопутствующих технологий, и даже на Гуглплей свое приложение опубликовал. А тут в 53 пришлось принимать решение, и я решил рискнуть и сменить специальность. На Java попасть не удалось, но удалось стать разработчиком BI систем. А на днях мой начальник предложил освоить и DE😊 В 55😊
@@user-jy9eo8en8x вау! Я закину коммент к себе в канал? Оч круто
В 41 поменял профессию на IT
@@fixcay7129 молодо выглядишь)
Евгений, спасибо за ценную информацию! Ждём еще стримов или видео на тему DE.
Сейчас сам учусь на Data Engineer , твоё видео вдохновило спасибо . Удачи тебе
Благодарю!
Какой же вы крутой! Большое спасибо за ваш труд , за ваш телеграмм канал. Всё это вам вернётся обязательно!
Спасибо огромное! Мне очень приятно!
Спасибо
Как в Докере отслеживать ошибки? И как быть если в коде сделал ошибку? Телеграм бот ломается или продолжает работать?
Если докер запустить не в фоновом режиме, то в терминале будут отображаться ошибки. Контейнер падает и надо перезапускать его. А так, писать логи - самое лучшее. Можно через try except и использовать библиотеку logger Это самое простое решение