Как с помощью Data Mesh разломать ваше DWH - Евгений Ермаков, Яндекс GO
Vložit
- čas přidán 3. 08. 2022
- Концепция «Data Mesh» стала притчей в мире данных и все больше компаний пытаются его внедрить. Но возникает справедливый вопрос - стоит ли этот подход окружающего его хайпа или это просто веяние моды, которое сменится чем-то в ближайшее время?
В рамках своего доклада Евгений рассказал:
- что такое Data Mesh и почему компания решила внедрять этот подход в Яндекс Go (Яндекс Такси, Яндекс Еда, Яндекс Лавка, Яндекс Маркет);
- о плане по «распиливанию» монолитного DWH на микросервисные куски;
- о граблях, на которые команда наступила, в итоге разломав свое DWH.
Доклад или вдохновит вас пойти по тому же пути Data Meshанины, или предостережет от опрометчивых решений.
Дайджесты, статьи и анонсы митапов: t.me/itstinkoff
Блог на Хабре: l.tinkoff.ru/habr-tinkoff
Наши вакансии: l.tinkoff.ru/its-career - Zábava
Женя спасибо! Всегда по коротко по делу с понятными примерами.
Так как история движется по спирали, то мы наконец-то дошли по кругу но в новой обертке до Кимбаловских витрин, которые по сути и есть домен-ориентед, дата-продукты развиваемые независимо для конкретного бизнес домена.
Очень верно подметили :)
Так же надо помнить, что одна из фишек Кимбала - это согласованные витрины данных. Т.е. - если мы опеределили сущность Customer - то он непротиворечив по своему ID во всех витринах, и мы можем явно эту сущность связать и привязать к любой снежинке. Здесь, насколько я понял - такие вопросы согласованности и изменений решает Архитектурный Комитет - вроде как можно представить как Change Board Meeting, если переходить на аналогию ITIL
Что бы кстати я еще спросил, будь в зале на выступлении:
Получается, что мы упрятали нашу "подкапотную" часть и все её сложности - стриминг, Штормы, Спарки, Хадупы и эту нашу всю сложную кухню - еще дальше и, фактически, умощнили тот процессно-организационный слой, который обращен к бизнес-заказчикам тем, что описали и выделили наши домены, назначив дата-партнёров, инженеров тартегировали на свою бизнес-область, оптимизировали и упростили конвейеры поставки и т.п.
Но тем не менее - внизу и в ядре - это все тот же высокопроизводительный массив и слоёный пирог из технологий, продуктов, сервисов, железок и ПО, что и был раньше
Вот насколько сильно влияет, и влияет ли вообще - смена концепции методологии потребления нашего Хранилища на технологическую/инфраструктурную часть?
Звук очень тихий
звук вроде норм - докладчик иногда мямлить начинает, из-за чего некоторые слова расслышать трудно
Мы тут дашборд сделали