DATALEARN МОДУЛЬ 1-7: АРХИТЕКТУРА АНАЛИТИЧЕСКОГО РЕШЕНИЯ
Vložit
- čas přidán 7. 09. 2024
- Дмитрий Аношин затрагивает о архитектуру аналитического решения и рассказывает про 3 основных слоя на примере решения Business Intelligence и Data Warehouse Ламода (Дмитрий работал там еще в 2012/2013):
📌 Из чего состоит архитектура решения
📌 3 основных слоя любого аналитического решения
📌 Слой источников данных
📌 Слой хранения данных
📌 Слой доступа к данным
📌 Говорит о важности SQL
📌 Пример создания архитектуры в draw.io
📌 MPP - Massive Parallel Processing - архитектурная особенность аналитических хранилищ данных.
📌 Business Intelligence, Data Warehouse, ETL/ELT
📌 OLTP
Первый модуль введения в инжиниринг данных состоит из 8-ми видео, возможно будет больше.
В процессе этого модуля мы познакомимся с предметом изучения, узнаем кто такой Data Engineer и что он делает, и как его еще называют. Главное, поймем, как он помогает бизнесу быть эффективней и зарабатывать деньги. Рассмотрим типовые архитектуры аналитических решений
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания, отдавать их на проверку и получить сертификат прохождения курса.
Telegram канал: t.me/rockyourdata
Спонсировать: / dmitryanoshin или paypal.me/dmit...
Добрый день, очень классный курс, но можно, пожалуйста, в начале сделать музыку раза в два тише. Она тогда хотя бы будет совпадать с голосом, который будет после интро. Из ушей почти кровь идёт. Вы молодец, очень познавательно!
Со 2го модуля будет микрофон.
@@dmitryanoshin8004 Дмитрий, спасибо за ответ! Проблема не в вашем микрофоне (хотя да, хотелось бы громче). Проблема в интро. Не знаю как у остальных, у меня звук в винде на 100% плюс на ютубе где-то 60%. Интро по ушам долбит) А потом, когда слушаю ваши лекции (которые очень интересны), выкручиваю на 100%)
@@vladimirk.3971 Понял, постараемся отрегулировть.
Дмитрий, you made my day. "Как только мне дали доступ в 1с, я сразу посмотрел зарплаты сотрудников" :)))) И видимо после этого уволился))))
Да и так было все понятно. Обычный ответ начальника - денег нет, но вы держитесь. Раньше это был не так банально))
Начал проходить. Исправьте пожалуйста. Материал все ещё актуальный, а музыка в начале ролика рвёт уши
Ты поспешил с увольнением. Нужно было увеличить свою З/П 😀
Спасибо тебе большое за такой труд! Тяжело отписать словами твой вклад в мою будущую карьеру
Отличное видео! Супер-полезная базовая информация, которой лично мне, например, очень не хватало при выходе на позицию джуна-аналитика. Конечно, в процессе работы схема в голове нарисовалась, но иметь понимание заранее было бы здорово)
СпасибО!
Супер курс, очень хочу пройти до конца и все знания впитать в себя. Спасибо
Очень крутой курс, спасибо. А можно где-то посмотреть дашборд со статусом загрузки данных или хотя бы узнать его структуру?
👍👍 очень интересно и информативно
Спасибо за видео, наглядно.
Отдельно все вроде понимал про etl, dwh и bi. Но теперь вся картинка сложилась.
Надеюсь дальше по курсу будет кому в какую область лучше идти. Я пока не понимаю что мне ближе и стоит ли сразу идти в data engineer или сначала через аналитка (продуктового или bi).
Спасибо за видео, наглядно.
Отдельно все вроде понимал про etl, dwh и bi. Но теперь вся картинка сложилась.
Надеюсь дальше по куру будет кому в какую область лучше идти. Я пока не понимаю что мне ближе и стоит ли сразу идти в data engineer или сначала через аналитка (продуктового или bi).
Спасибо за подробное видео!
Кстати, очень интересный урок
За юмор :-)👌 на 3:45
спасибо, все очень понятно! у нас компания не хочет покупать табло или power bi и прочие системы))) дорого, если on premise, а в клауде работать не хотят с личными сейлс данными) хотя при этом есть сейсфорс))так что я делаю дашборды ручками в питоне и это мука, нужно не только его знать, но и понимать, как построить архитектуру, всякие зависимости между кучей опен-сорсов и я как джун вообще все делаю тыщу лет.time to market огогого какой)
есть и бесплатные аналоги типа Redash. Стоит попробовать. SQL удобней. А в python я рекомендую посмотреть Dash!
Народ, книга "бизнес-аналитика от данных к знаниям" на рутрекере есть, если что.
Если есть необходимость получать оперативную (в смысле операционную) отчетность, то подключаться напрямую к OLTP, а не к Storage вполне ок, я щетаю. Технически источником данных может быть не "боевая" БД, а "горячий бэкап", например.
Для этого делают отдельную прослойку в виде ODS
с использованием powerquery в excel все БД тоже обновляются автоматически. Кстати, он может считаться и как ETL, и как DW?
мне казалось схема строится немного от обратного - от бизнес-задач. то есть, условно, необходимо посмотреть какие-то цифры по покупательской способности разных ЦА, далее подключается специалист разработки, смотрит какие данные собираются сейчас, а что можно использовать в дополнение, далее выбирается BI система и строится хранилища. могу ошибаться...)) поправьте)
Полностью согласен, все начинается от бизнеса. Возможно я чётко не сказал про это. Просто удобней заполнять мне с лева на право.
@@datalearn4398 это разве не разные подходы к моделированию dwh просто?
И ещё возник вопрос. Касательно инструментов визуализации. Что скажете о markdown + mermaid для схем? Просто такое решение позволяет использовать методологию documentation as a code, которая показалась мне интересной
Звучит интересно, вы сделайте пример и я расшарю в слак и ещё можно на гитхаб загрузить информацию
Хорошая альтернатива! Но новичков может запутать еще больше. Можно будет добавить ссылку и пример в документацию на Git.
что значит подключаться напрямую к источнику? то есть, к примеру, я смотрю данные ГА через аккаунт, а не через BI систему, так?
тогда не вполне понятно как на каком этапе происходит, например, анимизация данных, если требуется? не в случае ГА, а, к примеру, CRM
Я имею ввиду, что без выгрузки данных из GA и загрузки их в хранилище.
@@datalearn4398 все) пазл сложился в голове! спасибо
По работе данные забираю из 1C УПП, настраиваю отчет и экспортирую его в xls, далее уже в power bi. думаю как правильно задачу программисту 1с поставить, чтобы автоматизировать это дело )
Нужно использовать ETL, ежедневно загружать данные в БД, которая служит хранилищем данных. Дальше можно создать дашборд в Power BI. 1с - это вроде SQL Server, ничего сложного.
@@datalearn4398 работа с данными из 1С напрямую через SQL - нарушает политику лицензии 1С, кстати (но часто на это забивают =) )