Data Engineer 2022 | Дорожная карта | Александр Савченко | karpov.courses
Vložit
- čas přidán 3. 06. 2022
- Курс Data Engineer: bit.ly/3NTtmwj
В начале своего пути всегда сложно сразу сориентироваться в технологиях, которые применяются в разработке.
Мы подготовили дорожную карту для специалистов сферы Data Engineering.
Уверены, это поможет расширить и структурировать ваши знания.
Материалы используемые в видео: github.com/AlexKbit/de-roadmap
Учитесь Data Science с нами: karpov.courses/
Топовое видео в рунете, структурно раскладывающее требования к дата инженеру. В моем случае упорядочило мои знания.
Иногда нужно знать еще базовую статистику для Data Wrangling.
Отличное видео! Спасибо большое! Огромная работа проделана. Поделитесь, пожалуйста, pdf дорожной карты
Добавили все в описание к видео
@@alexkbit Спасибо!
Yandex DB можно отнести к MPP ?
Это список вопросов для дата инженера на позицию трейни?! O_o
Это не Data Engineer это Data Terminator какой-то....
😂
Абсолютно согласен!!!🥶
Спасибо за ваш труд !
И пара вопросов :
1. В какой последовательности или по какой системе изучать все эти разделы ?
2. На ваших курсах изучается весь этот объем ?
Ещё раз спасибо !
Спасибо за видео, схемой поделитесь?
+
+
ещё интересно в чем рисовали?)
Добавили все в описание к видео
что в 2022 должен знать ds(roadmap)?
Да я думаю ребята с направления DA/ML тоже позже сделают
@@alexkbit будем ждать)
В одного человека реально это всё запихать? Работаю в Ops просто так тут отдел на em, на unix, на dba etc. Возможно схеме не хватает глубины в качестве одной из метрик, или я просто настолько отстал от жизни
Аналогичная мысль. Такое ощущение, что это техстек для команды человек на 10 минимум
@Alexander Savchenko что думаете?
У каждого специалиста будет свой взгляд что именно нужно знать о том или ином инструменте. DevOps Eng. скорее будет интересовать как разворачивается инструмент, как делаются бэкапы, восстановление, как масштабируется. У DE Eng. свой взгляд - плюсы/минусы хранения и использования.
Это дорожная карта, вам не обязательно знать все, вы можете обращаться только к тем инструментам которые нужны.
Это должен 1 человек все знать и уметь? Тут технологий на целую команду: от девопсеров и разрабов до дата-архитекторов
Это больше похоже на схему деливери отдела, а не на базу знаний. Там более 100 листов выходит у этого дерева в итоге. Чувак час перечисляет просто все эти листы и разветвления до них. Перечисляет, Карл, только час. Это скоуп человек на 50-200.
Это дорожная карта, она скорее поможет вам понять какие технологии вам нужны сейчас для ваших задач, и что еще можно развить. Обычно чем больше опыта у человека тем больше будет по ней покрытия.
@@alexkbit ну как сказать. Например, я для своей команды брал бы в 1ую очередь, человека хорошо знающего spark, hdfs и sql. А для девопса у нас отдельное подразделение есть, на входе можно ничего не знать, они покажут. Я смотрел видео, чтобы понять, насколько мой опыт в этом релеванитен по рынку, и может, что-то закрыть из гепов. Пока выглядит, что у меня геп = 90% от этой карты и не понятно: 1 за что хвататься, 2 реально ли это все нужно , например, тимлиду/продукт оунеру
@@Eugene11453 Так ответ выше не противоречит вашей логике. Автор ролика даёт покрытие всей профессиональной области, а вы акцентируете внимание на конкретном стеке из этого покрытия. Тут речь про Общее и Частное. Вы же понимаете, что если у вас в хранилище только реляционные БД, то нет необходимости учить нереляционные.
@@MaruiInfantry я смотрел на скорости 1.5. Получилось чуть больше получаса. :D
Отлично, дайте схему )))
Лежит в описании к видео! :)
PowerBI нет в блоке визуализации 😱
ну зато там superset есть
Лучше просто разрабом на бэкенд пойти, зарпалаты там побольше.
Apache Impala - это не субд, я бы её отнёс к механизму распределённых SQL запросов к Trino, Presto и тд.
Это все возможно знать одному живому человеку?
Да, фундаменталку в вузе получают и параллельно конкретные технологии сами осваивают
Не о чем, все свалили в кучу
Воды много
Ты сам вода