- 40
- 43 993
Михаил Ровнягин
Russia
Registrace 2. 10. 2011
Личный канал Ровнягина Михаила Михайловича, к.т.н., доцент МИФИ.
Основная тематика - образовательная (в области разработки ПО).
Основная тематика - образовательная (в области разработки ПО).
HST Практика 4: Open MPI cluster installation Alma Linux 9
Курс Гибридные Суперкомпьютерные Технологии
Практика: Развертывание кластера MPI на виртуальных машинах
Шаги:
1) Установка виртуальной машины Alma Linux 9 (VMware)
2) Настройка сетевого взаимодействия двух виртуальных узлов Alma Linux 9
3) Настройка NFS, беспарольного доступа по ssh
4) Установка OpenMPI 5.0.1
5) Компиляция MPI-программ
6) Распределенный запуск MPI-программы в различных конфигурациях (hostfile, slots, processes)
Применяемые команды и конфигурации:
drive.google.com/drive/folders/1lGolKjFMEyW9xgtGSk8HXWbcpr4Jaii1?usp=sharing
Практика: Развертывание кластера MPI на виртуальных машинах
Шаги:
1) Установка виртуальной машины Alma Linux 9 (VMware)
2) Настройка сетевого взаимодействия двух виртуальных узлов Alma Linux 9
3) Настройка NFS, беспарольного доступа по ssh
4) Установка OpenMPI 5.0.1
5) Компиляция MPI-программ
6) Распределенный запуск MPI-программы в различных конфигурациях (hostfile, slots, processes)
Применяемые команды и конфигурации:
drive.google.com/drive/folders/1lGolKjFMEyW9xgtGSk8HXWbcpr4Jaii1?usp=sharing
zhlédnutí: 165
Video
О Науке в IT и IT в Науке
zhlédnutí 201Před rokem
Чем занимаются учёные в МИФИ, какие лаборатории и исследования есть в университете? #все_ответы_в_науке_МИФИ Михаил Ровнягин "Интеллектуальные системы оркестрации и хранения данных в децентрализированных системах"
Big Data Technologies. Лекция 17. Docker Swarm и Kubernetes
zhlédnutí 803Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Структура кластера Docker Swarm Протокол Raft Ingress load balancing Kubernetes Кластер и узлы Kubernetes Объекты Kubernetes: Pod, ReplicaSet, Deployment, Service, ConfigMap, Secret Архитектура Kubernetes Minikube
Big Data Technologies. Лекция 16. Apache Ignite
zhlédnutí 1,3KPřed 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: In-memory обработка и хранение данных Ignite - кеширование запросов к БД Ignite In-memory Data Grid Архитектура памяти Apache Ignite Сегменты памяти и страницы данных Apache Ignite Дефрагментация памяти Индексные страницы Ignite, B деревья Ignite Nati...
Big Data Technologies. Лекция 15. Docker
zhlédnutí 337Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Технология контейнеризации Docker Docker UFS Экосистема Docker Dockerfile Docker Image и DockerHub (registry) Основные команды Docker Docker network Проброс портов в контейнер Docker Swarm
Big Data Technologies. Лекция 14. NoSQL
zhlédnutí 407Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: NoSQL - Not Only SQL Применение NoSQL Агрегаты Key-Value системы хранения Документоориентированные NoSQL NoSQL типа "Семейство столбцов" Графовые NoSQL Шардирование Репликация ведущий-ведомый Одноранговая репликация Согласованность при обновлении Согл...
Big Data Technologies. Лекция 13. Apache Kafka
zhlédnutí 589Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Характеристики брокера сообщений Apache Kafka Архитектура Apache Kafka Чтение и запись в Kafka-топики Партиционирование топиков Log compaction Репликация партиций по Kafka-брокерам Отслеживание актуальности реплик Балансировка нагрузки по записи и чтению
Big Data Technologies. Лекция 12. Apache Sqoop, Apache Flume
zhlédnutí 637Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Перегрузка данных между Hadoop и реляционными БД Компоненты и назначение Apache Sqoop Основные Sqoop-команды Семантика доставки данных в Sqoop Компоненты Apache Flume Конфигурация Apache Flume Гарантии доставки в Apache Flume
Big Data Technologies. Лекция 11. Spark Streaming
zhlédnutí 560Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Поточная обработка данных Отличия пакетной и поточной обработки данных Сценарии использования поточной обработки Фреймворк Spark Streaming Микропакетная архитектура обработки данных Модель программирования Spark Streaming Интервалы (между блоками, меж...
Big Data Technologies. Лекция 9. Выполнение SparkRDD-программ
zhlédnutí 710Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Операции над RDD (трансформации и действия) Типы зависимостей RDD: Narrow и Wide Shuffle и операции его вызывающие Программа WordCount на Spark RDD Типы узлов Spark-кластера SparkContext, Job, Task, Stage Планирование выполнения Spark Job, DAGScheduler
Big Data Technologies. Лекция 10. Spark SQL
zhlédnutí 658Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: SparkSQL и DataFrame Сравнение Spark RDD, SparkSQL, DataFrame SparkSQL pipeline Datasource API Dataframe DSL Распределенный SQL Сравнение SQL, Dataframe, Dataset
Big Data Technologies. Лекция 8. Apache Spark RDD
zhlédnutí 1,4KPřed 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Ограничения классического MapReduce Состав и возможности фреймворка Apache Spark RDD - Resilient Distributed Dataset Партиционирование RDD Типы RDD-операций: трансформации и действия Компоненты Spark Spark Context Способы запуска Spark-программ
Big Data Technologies. Лекция 7. Hadoop YARN и Hive
zhlédnutí 1,8KPřed 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: YARN - Yet Another Resource Negotiator (Hadoop 2.0) Компоненты YARN-кластера Виды планировщиков YARN-кластера (FIFO, Fair, Capacity) Hive - SQL надстройка над Hadoop Архитектура Hive Режимы развертывания MetaStore Внутренние и внешние таблицы Hive Hiv...
Big Data Technologies. Лекция 6. Hadoop, специальные темы
zhlédnutí 957Před 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Сжатие данных в HDFS (Snappy) Счетчики (Counters) в Hadoop-программах Спекулятивное выполнение программ и счетчики Распределенный кеш (Distributed cache) Map-side join Reduce-side join Отладка Hadoop-программ Подходы к разработке и тестированию Hadoop...
Big Data Technologies. Лекция 5. HDFS
zhlédnutí 1,6KPřed 2 lety
Курс НИЯУ МИФИ "Технологии обработки Больших Данных". Курсы НИЯУ МИФИ на платформе Открытое образование: openedu.ru/university/mephi/ Содержание: Узлы HDFS кластера Hadoop: NameNode, DataNode Общая архитектура HDFS Репликация файлов в HDFS Secondary NameNode BackupNode CheckpointNode
Big Data Technologies. Лекция 4. Hadoop-программы
zhlédnutí 2KPřed 2 lety
Big Data Technologies. Лекция 4. Hadoop-программы
Big Data Technologies. Лекция 3. MapReduce
zhlédnutí 6KPřed 2 lety
Big Data Technologies. Лекция 3. MapReduce
Big Data Technologies. Лекция 2. Архитектура BigData-систем.
zhlédnutí 1,7KPřed 2 lety
Big Data Technologies. Лекция 2. Архитектура BigData-систем.
Big Data Technologies. Лекция 1. Компоненты BigData-систем.
zhlédnutí 2,8KPřed 2 lety
Big Data Technologies. Лекция 1. Компоненты BigData-систем.
Big Data Technologies. Вводная лекция.
zhlédnutí 2,6KPřed 2 lety
Big Data Technologies. Вводная лекция.
HST Практика 3: OpenMP VS Code remote debug
zhlédnutí 171Před 2 lety
HST Практика 3: OpenMP VS Code remote debug
HST Практика 2: CUDA Nsight VS Code remote debug. SSH tunneling.
zhlédnutí 264Před 2 lety
HST Практика 2: CUDA Nsight VS Code remote debug. SSH tunneling.
HST Практика 1_2: CUDA OpenGL remote simulation rendering with VirtualGL
zhlédnutí 175Před 2 lety
HST Практика 1_2: CUDA OpenGL remote simulation rendering with VirtualGL
HST Практика 1_1: CUDA installation CentOS 8
zhlédnutí 183Před 2 lety
HST Практика 1_1: CUDA installation CentOS 8
HST Практика 0: KVM GPU vDGA passthrough
zhlédnutí 416Před 2 lety
HST Практика 0: KVM GPU vDGA passthrough
Big Data Technologies. Лабораторная работа 6. Запуск расчета Spark on Kubernetes
zhlédnutí 389Před 3 lety
Big Data Technologies. Лабораторная работа 6. Запуск расчета Spark on Kubernetes
Big Data Technologies Лабораторная работа 5. Автомасштабирование Ignite REST-приложения в Kubernetes
zhlédnutí 258Před 3 lety
Big Data Technologies Лабораторная работа 5. Автомасштабирование Ignite REST-приложения в Kubernetes
Big Data Technologies. Лабораторная работа 4. Docker-контейнеризация Ignite Java REST-приложения
zhlédnutí 308Před 3 lety
Big Data Technologies. Лабораторная работа 4. Docker-контейнеризация Ignite Java REST-приложения
Big Data Technologies. Лабораторная работа 3. Разработка REST-приложения с Ignite-кешем
zhlédnutí 363Před 3 lety
Big Data Technologies. Лабораторная работа 3. Разработка REST-приложения с Ignite-кешем
Big Data Technologies. Лабораторная работа 2. Разработка Spark + Sqoop программы
zhlédnutí 927Před 3 lety
Big Data Technologies. Лабораторная работа 2. Разработка Spark Sqoop программы
Михаил, планируется ли запуск какого-либо курса от Вас на ЦК в МИФИ?
Пожалуйста, продолжайте
Спасибо, очень хорошо рассказиваете
Искал инфу о Hive, спасибо за лекцию)
OMG! MOOOREEE
здравствуйте! подскажите, пожалуйтса, ваш курс еще актуален в 2023 году?
Здравствуйте, в курсе излагаются основы, процентов на 85 - актуален.
@@user-vj6dy4mw1b большое спасибо вам за оперативный ответ🥰
Спасибо!)
Очень хорошо рассказывает.
Полезный курс, есть на что ориентироваться. Спасибо за курс
Михаил Михайлович, спасибо! Все 5 лекций вопросов после просмотра не оставили, очень емкое и доступное объяснение 👍
Отлично выступили, успехов вам!
Спасибо, я стал умнее
Спасибо!
Спасибо, очень доходчиво и наглядно
Разве load это action?
Спасибо! Очень интересно и очень доходчиво. Рисунки, схемы - отличные.
Хромакей получше, чем в Яндексе) Идеальный.
Большое спасибо за видео. Доступно для начинающих.
Михаил, здравствуйте! Очень неожиданно вас здесь увидеть и очень рад что от вас есть гайд по игнайту :) Ваш студент мифи тех времен, когда вы принимали лабы по си
очень доступно!
шикарная лаба!
удалось установить centos, но почему-то сразу крашится как только логинюсь в учетку czcams.com/video/3IMPa6MOQiE/video.html
Попробуйте VMware Workstation Player, VirtualBox, хоть и опенсорс, но в последнее время совсем плох «из коробки»(
Подтверждаю, на VirtualBox были лаги постоянно, а на VMware Workstation Player проблема ушла и лаги прекратились. Пробую пройти дальше
@@user-vj6dy4mw1b Всё получилось! Спасибо! Появилось желание ознакомиться с остальным контентом на канале)
Wtf почему так мало просмотров и комментариев, на курсах эту инфу за деньги впуливают
Спасибо за лекцию
👍
Отлично! Все доходчиво! Спасибо!
Как всегда - лайк!
Спасибо за объяснения! Лайк и подписка сразу!
Очень познавательно и качественно. Продолжайте в том же духе. Спасибо)
Спасибо! Не знаю зачем я это искал, спасибо Вам, нашел. Теперь надо придумать как это можно использовать в домашних, а может и не домашних условиях.
Спасибо за видео!
Все бы хорошо, но шрифт в терминале хотелось бы побольше...
Спасибо за комментарий, в будущих видео сделаю))
Очень понравилось
Спасибо большое)) Было очень познавательно и интересно👍
потрясающий цикл! спасибо огромное! давайте еще! но уже можно с деталями!
какие же отличные лекции! спасибо, продлжайте!)
Михаил, добрый день! А сколько всего лекций планируется? И по каким темам?
Джон, приветствую. Спасибо за интерес. Ещё будет 2 лекции. Одна про передачу конфигураций в деплоймент kubera и одна, завершающая, про выстраивание devops pipeline от коммита в git до развёртывания в kuber (объединяющая наработки предыдущих лекций)
@@user-vj6dy4mw1b супер, спасибо!
@@user-vj6dy4mw1b а когда следующее видео?))
@@user-zu8sd9kt9w готово) czcams.com/video/Eg5fwqqmEL8/video.html
Лекция очень понравилась, спасибо!
Отличная лекция! Очень доходчиво. Благодарю )