ROADMAP / DATA ENGINEER
Vložit
- čas přidán 25. 07. 2021
- В видео мы поговорим о разработчиках больших данных. А точнее - разберем roadmap дата инженера в 2021 году.
Гогин Артем, опытный разработчик больших данных, расскажет, какие навыки необходимы для старта карьеры в больших данных, и на чем необходимо сосредоточиться для продвижения по карьерной летнице.
Описаный roadmap поможет новичкам сосредоточиться на актуальных и востребованных технологиях, а опытным разарботчикам систематизировать свои знания и, возможно, обратить внимание на новые области.
ПОЛЕЗНЫЕ ССЫЛКИ
Roadmap - drive.google.com/file/d/1l_C9...
DWH schema - drive.google.com/file/d/1acs3...
ГДЕ С НАМИ ПООБЩАТЬСЯ
⚡️Школа онлайн-образования: loftschool.com/
⚡️Telegram Loftblog: t-do.ru/loftblog
⚡️Telegram IT-обучение: t-do.ru/it_loft
⚡️Группа вконтакте: loftblog
Поставь лайк! Больше лайков - лучше выпуски :)
Отличный темп подачи материала. Хоть в эту сферу и не собираюсь идти, но всё равно было приятно случать человека, который не мычит\причмокивает\зависает, а выдаёт готовый материал беглой манерой речи.
Обзор огонь! Спасибо огромное, очень наглядно и понятно.
Полезный обзор! Спасибо!
Спасибо, информативное видео.
учусь на ML и сейчас стал встречать часто в вакансиях тоже знание спарка, понимание ETL и т.д., в общем, планка с каждым годом только растет и растет)
Сейчас я в процессе обучения ML, также заинтересовала сфера big data но узнал что последнее сейчас умирает в связи с тем что AI & ML могут почти полностью заменить ее Насколько это правда, и если так, то действительно от дата инженера будет требоваться тот же Спарк или hadoop в современных реалиях?
@@Leha_from_Zavod хадуп и спарк всегда использовались в дата инжениринге т.к. это инструменты для обработки больших данных. С дата инженирингом все будет норм: данных становится все больше и кто-то должен обрабатывать их инфраструктуру.
@@hopelesssuprem1867вспомнил после чего у меня такое опасение сложилось - статья на Хабре «большие данные мертвы», Увидел что много комментариев которые поддерживают посыл автора и думал что тенденции развития биг даты сейчас посредственные)
Очень информативное видео. Подскажите пожалуйста, на каком уровне нужно знать джаву/питон? У меня есть опыт написание программ на джаве, но не совсем мне понятно, что нужно подучить, чтобы выполнять работу ДЕ
Спасибо за видео!
Самый понятный роадмап! Спасибо. Рассчитывал найти курс для DATA ENGINEER, а курса на платформе нет (((((. Где курс? )
Ёмко и по существу!
Хорошее объяснение. Было бы познавательно увидеть какое практическое видео из реальной работы . Например, создание пайплайна.
норм видос, спасибо
Ну оооочень круто сделано
Спасибо за полезное видно! Артем, какой язык порекомендуете учить для DE Java или Python? Есть цель переезда в США, когда смотрел варианты увидел, что большинство вакансий там на Python. В отличии от России/Европы где достаточно много Java/Scala. Какие из Российских компаний лучше подходят чтобы прокачаться в направлении DE?
Я бы в любом случае начинал с Python. Это поможет сосредоточиться на технологиях и базах данных и не сильно отвлекаться на ЯП. Другой язык можно выучить позже, тем более глубоко знать язык обычно не требуется, поэтому опыт нескольких лет разработки не потребуются на собеседованиях.
@@artemgogin1129 подскажите а какие технологии вы имеете ввиду? Я знаю SQL, python. А вы имеете ввиду Kafka, Hadoop Spark?
Полезное видео, но забавно, что в большинстве вакансий на джуна требуются знания, которые в данном видео позиционируются как сеньоровские)
не нашел ни одной вакансии Junior Data Engineer без знания Hadoop, Spark, Kafka и NoSQL вместе)
Интересное видео, спасибо!
Однако, по своему опыту, оставило в недоумении. Я вот только устроился на джуна. Было много собеседований. Так вот, некоторые из вопросов на эту позицию были ровно из тех, что вы показали для джуна, но примерно треть-половина - это из тех, что вы причислили к миддлу и даже сеньору (оконные функции, кафка, спарк-стриминг и спарк вообще, имплиситы в скале и паттерн-мэтчинг и много чего ещё). Это мне не повезло? Или сейчас планка, чтобы просто пойти и сделать первую джуниорскую таску, стала выше?
Скорее повысили планку, у меня точно такая же история)
А где профессию осваивал?
так во всех профессиях айти. От джуна хотят уровень мидлов.
а ЗП на джуна тоже повысили?
Боюсь представить как спустя год поднялась планка
Хороший обзор! Подскажите, как найти первую DE работу? По знаниям jun+
Сходить на несколько десятков собесов и взять со всех фидбек
Подскажите пожалуйста, в каком софте схемы для презентации сделаны?)
Miro
А давай теперь курсы и материалы для изучения
Я вот учусь на Java developer. Java, SQL, Git и алгоритмы уже знаю на достаточном (по этому родмэпу) уровне для устройства Джун Data Engineer, но в разработке я ещё не близко к первой вакансии. Я все вообще правильно понял? Может ещё что-то нужно знать Data Engineer?
Мой вам совет: просто откликайтесь на вакансии, где ваши знания соответствуют хотя на 50% от требований вакансии. Для тех компаний, которые вам больше понравились напишите сопроводительное письмо. В нем опишите свой опыт, чем нравится их компания/вакансия и что вы хотите провести с ними интервью
Здравствуйте!
Спасибо за видео!
Как получить этот роадмап?
В описании к видео ссылки.
Из вашего личного опыта - насколько ЗП дата инженеров отличаются от зарплат разработчиков? Не будешь ли чувствовать, что сделал не правильный выбор, перейдя в Биг Дату?
Сейчас работаю энтерпрайз разработчиком и хочется перейти в биг дату, но немного пугает тот факт, что потолок зарплат может быть заметно ниже.
Как ваши дела? Перешли на другую специальность?
Можете ответить как в итоге решили?
Зачем сравнивать яблоки и груши?
ООП нужно джуну знать?
Мне кажется уровень senior и middle должны быть немного по пониже. Слишком уж они высокие требования здесь
Сильно скучная профессия или интересно?
Это субъективный вопрос
боже куда я влез