Магнитное Поле №4 - Data Lake, Data Governance и управление данными

Под конец 2022 года мы с вами не прощаемся, а публикуем четвертый выпуск подкаста “Магнитное Поле”, который мы делаем совместно с IT-командой ритейлера Магнит. Как обычно, мы стараемся максимально просто рассказать вам о сложном. Вот и в этот раз мы залезаем в дебри управления данными, чтобы постараться разобраться, что же такое Data Governance, Data Lake, как правильно валидировать данные, как их хранить, зачем вообще все это нужно.
Помогает в этом нам гость четвертого выпуска - Павел Шорохов, Chief Data Officer Магнита. Кстати, он как раз объясняет, откуда пошла такая должность и за что отвечают люди с ней в крупных компаниях. Получилось страшно интересно, так что крайне рекомендуем, если вы работаете в сфере, где приходится работать с терабайтами-петабайтами-зетабайтами данных.
Этот выпуск вы можете послушать прямо в ленте подкаста Завтракаст на любом подкаст-сервисе: podcast.ru/1068329384
А также посмотреть на CZcams-канале Завтракаста: • Магнитное Поле №4 - Da...
Вы можете узнать много интересных кейсов и историй из блогов MagnIT
На VC: vc.ru/magnit-tech
На Хабре: habr.com/ru/company/magnit
Посмотреть вакансии и отправить резюме
magnit.tech

[@user-ho5rs8gq3k]

Интересно так контент в этом канале пересекается игры на стыке с data)

[@zavtracast]

Что ты имеешь в виду?

[@beslankumykov]

Тема про замену Терадаты не раскрыта =)

[@zavtracast]

Пилят свое!

[@beslankumykov]

@@zavtracast, свою Терадату? Вот уж маловероятно. Тут либо Greenplum, либо в облако к Яндексу. Видимо, выбрали второе, но тогда вопрос в том, что конкретно в этом облаке используется для хранения, управления и мониторинга.

[@pavelshorokhov]

@@beslankumykov ​ Беслан, GreenPlum и Яндекс Облако друг другу не противоречат - ты можешь использовать GP в облаке яндекса (причем managed service!). По поводу нашего выбора - посмотри метку 21:10. Я там как раз говорю о том что у нас сейчас идут Proof of Concept'ы в рамках которых мы выбираем целевые технологии внутри облака Яндекса. Этот проект уже подходит к концу, многое уже выбрано и даже готовы MVP решения. За подробностями пиши ЛС )

[@beslankumykov]

@@pavelshorokhov , ну понятно, что не противоречат, я про on-premise в первом случае. Про ЛС принято)