Andrey Kulinich
Andrey Kulinich
  • 33
  • 138 302
Экономика LLM: что надо и сколько стоит использование больших языковых моделей
Презентация (так как видео иногда закрывает слайды здесь: cloud.mail.ru/public/2X2y/aAD5MwSUe
В видео рассматриваю что надо и сколько стоит использование LLM. Как примерно посчитать себестоимость одного действия и тд.
Вопросы и пожелания пишите в Телеграм t.me/aikula
Присоединяйтесь к моему каналу t.me/hirearobot
zhlédnutí: 1 357

Video

Демо стенд с демонстрацией базовых возможностей LLM (Больших языковых моделей)
zhlédnutí 477Před 2 měsíci
Запросить доступ к демо стенду можно по ссылке: forms.gle/YTZHGqguchZWHKLf7 В видео рассказываю про развернутый мной небольшой демо стенд, где можно попробовать возможности LLM. Вопросы и пожелания пишите в Телеграм t.me/aikula Присоединяйтесь к моему каналу t.me/hirearobot Сайт: kulinich.ru
Как с прибылью внедрять решения на основе искусственного интеллекта (LLM)
zhlédnutí 814Před 4 měsíci
Какие ошибки совершают при внедрении цифровых решений и как найти направление с наибольшим экономическим эффектом. Пора зарабатывать на ИИ! Вопросы и пожелания пишите в Телеграм t.me/aikula Присоединяйтесь к моему каналу t.me/hirearobot
Автоагенты (Microsoft Autogen) на базе Больших языковых моделей (LLM)
zhlédnutí 1,3KPřed 5 měsíci
Немного магии, как заставить одну Большую языковую модель (LLM) работать за команду разнородных специалистов. По сути все просто - но до сих пор удивляюсь этой магии. Присоединяйтесь к каналу в Телеграмм t.me/hirearobot Кому интересен блокнот с примером пишите t.me/aikula
Экосистема langchain, основы: поиск по смыслу и агенты
zhlédnutí 1,4KPřed 5 měsíci
- как сделать в несколько строк поиск по смыслам для себя или компании - как разговаривать с данными и упростить аналитику - агенты вооруженные инструментами. Покажу как работает "под капотом". Не пугайтесь кода - это очень увлекательно, я так думаю :-) Подключайтесь к каналу в телеграмм t.me/hirearobot Если нужен блокнот с демонстрируемыми примерами или есть вопросы - пишите t.me/aikula
Введение в большие языковые модели (LLM)
zhlédnutí 16KPřed 7 měsíci
- Немного истории появления, - минимум того что надо знать о параметрах модели, - краткий обзор ChatGPT, Claude.AI, LLaMA, Perplexity, GigaChat, - автоагенты и применение в бизнесе, - краткий прогноз. Канал в ТГ t.me/hirearobot Писать в ТГ @aikula
Дашборд Metabase: знакомство
zhlédnutí 3,9KPřed rokem
Знакомство с open source BI системной Metabase. Ее просто развернуть в корпоративной среде без финансовых вложений и получить ресурс для построения дашбордов и их совместного использования. В коротком видео рассматриваем базовые возможности, как построить дашборд своими руками без программирования и знания SQL. Продолжение следует.
Язык разметки текста Markdown
zhlédnutí 1,4KPřed 3 lety
Видео посвящено применению языка разметки текста Markdown в Jupyter Notebook. Ссылка на блокнот с примером github.com/aikula/PythonStart/blob/main/Markdown.ipynb
RandomForest - очень просто о том, как использовать классификацию в Python
zhlédnutí 10KPřed 3 lety
Рассмотрено применение алгоритма классификации RandomForest. Видео нацеленно на начинающих изучение темы машинного обучения. Пример блокнота можно найти по ссылке github.com/aikula/DataDriven/blob/master/RandomForest.ipynb
Кластеризация в Python (KMeans и иерархическая)
zhlédnutí 12KPřed 3 lety
В данном примере рассмотрены подходы к кластеризации методами KMeans и иерархической кластеризации. Использовался Python и блокноты Jupyter. Пример можно использовать как шаблон для решения практических задач. Исходных код примера можно найти по ссылке github.com/aikula/DataDriven/blob/master/Clustering37-2.ipynb
Как создать и обучить чат-бота на DialogFlow. Основы.
zhlédnutí 22KPřed 3 lety
Короткое обучающее видео по настройке чат-бота. Включая создание собственных сущностей (entities) и инструкцией по подключению к Telegram.
08 Кварталы весь цикл прогноза
zhlédnutí 1,2KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
02 Очистка временного ряда от аномалий
zhlédnutí 3,3KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
05 Стандартные метрики точности прогнозирования временных рядов
zhlédnutí 2,3KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
04 Модель Хольта Винтерса
zhlédnutí 5KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
10 Модель Монте Карло
zhlédnutí 1,1KPřed 4 lety
10 Модель Монте Карло
09 Множественная регрессия
zhlédnutí 2,5KPřed 4 lety
09 Множественная регрессия
11 Другие распределения для модели Монте-Карло
zhlédnutí 514Před 4 lety
11 Другие распределения для модели Монте-Карло
06 Модель SARIMA (auto_sarima)
zhlédnutí 6KPřed 4 lety
06 Модель SARIMA (auto_sarima)
07 Корректировка математического прогноза экспертом
zhlédnutí 1,2KPřed 4 lety
07 Корректировка математического прогноза экспертом
03 Тестовые и тренировочные наборы данных
zhlédnutí 3,2KPřed 4 lety
03 Тестовые и тренировочные наборы данных
01 Загрузка данных в блокнот Jupyter и валидация
zhlédnutí 7KPřed 4 lety
01 Загрузка данных в блокнот Jupyter и валидация
00 Клонирование проекта с github.com
zhlédnutí 1,4KPřed 4 lety
00 Клонирование проекта с github.com
Знакомство с библиотекой Pandas и структурой данных DataFrame
zhlédnutí 3,9KPřed 4 lety
Знакомство с библиотекой Pandas и структурой данных DataFrame
Применение lambda, map и apply в Python
zhlédnutí 1,2KPřed 4 lety
Применение lambda, map и apply в Python
Python за 50 минут: быстрое погружение
zhlédnutí 2KPřed 4 lety
Python за 50 минут: быстрое погружение
Основы работы с блокнотами Jupyter
zhlédnutí 14KPřed 4 lety
Основы работы с блокнотами Jupyter
001 Azure Notebooks: Начало работы с notebooks.azure.com
zhlédnutí 403Před 5 lety
001 Azure Notebooks: Начало работы с notebooks.azure.com
002 Кластеризация средствами Python 3
zhlédnutí 4,8KPřed 5 lety
002 Кластеризация средствами Python 3
003 Ассоциативные правила силами Python 3
zhlédnutí 2,1KPřed 5 lety
003 Ассоциативные правила силами Python 3

Komentáře

  • @user-ir4sn6cx4o
    @user-ir4sn6cx4o Před 4 dny

    Ну с агентом это конечно очень сильно 🤔 Пример из свой фантазии с Хаусом в мыслях: Задаёшь, промты, параметры, описание, фикции, визуальный интерфейс и связь. ИИ работает- агент исполнение команд - исполнение - возврат ошибка и исправление - профит Ии работает, отвечает- агент исполняет - ии не справляется - агент даёт ссылку вики из поиска другая ии ищет инфу, агент получает результат и кормит ии - ии отвечает- агент исполняет команды- ии ошибаешься - агент меняет модель ии или до обучает согласно информации вики того языка. Ну и.т.д для создание приложения и. т. п Я понимаю что описал очень не правильно, но если разложить и создать очень много функций и этапов с тысячами параметрами и связями, то ИИ может работать грубо говоря уже сама по себе до результата и время затраченное своё на исправление ошибок ИИ можно откладывать до полного результата и с полнейшей оптимизации. Так сказать поставил и занимаешься другими делами. Не знаю, но представление как фантастических фильмах когда ии что-то создаёт по запросу 😅

  • @true_rus364
    @true_rus364 Před 5 dny

    Спасибо за информацию. А я хотел поднять у себя ламу 3, на 70 млрд параметров, для своего домашнего проектика. Думал что и из оперативки нормально будет работать. Поставил 64 Гб. Стало быстрее, чем из свопа, конечно, но всё равно слишком медленно. Может секунд по 20 - 30 генерировать одно предложение. Хочется чтобы всё было локально. У меня как раз 4090 простаивает. Заметил что если модель не сильно вылазит за пределы памяти видеокарты, то скорость генерации, остаётся более чем сносной. Попробовать, что-ли, поюзать квантированную намертво, самую маленькую... Но то что выдаёт лама 3, на 8 млрд параметров, меня совсем не устраивает. Очень она потерянная какая-то. Вдруг будет лучше.

    • @aikula999
      @aikula999 Před 5 dny

      В проде мы используем пусть и меньшие модели, но в точности float16. Квантированные особенно на русском языке сильно проседают. Не знаю Ваши задачи, но LLaMA 3 8B вполне сносная. Единственная пока проблема малое контекстное окно.

  • @alekseypetrov5824
    @alekseypetrov5824 Před 10 dny

    Спасибо! Очень понятно и интересно. Начал погружаться в область LLM, так как планируется реализация проекта по разработке с использованием LLM. После этого видео сложилось уверенное понимание.

  • @sp1n294
    @sp1n294 Před 12 dny

    Спасибо за интересный обзор с примерами! Просьба на будущее - при подготовке презентаций учитывайте вставку видео с Вами. Иногда этот экран перекрывает информацию на слайде. Успехов Вам!

  • @user-yj5rg6bh2o
    @user-yj5rg6bh2o Před 14 dny

    Подскажите пожалуйста, как удалять папки с Jupyter Notebook, которые я сама создала? Файлы без проблем удаляются, а при удалении папки - ошибку выдает.

    • @aikula999
      @aikula999 Před 14 dny

      Jupyter не удаляет папки в которых есть файлы. Удалите вначале файлы, а затем папку. Или используйте терминал и команда rm -r you_folder

  • @Kinitiks
    @Kinitiks Před měsícem

    Отличная лекция. Подскажите как попроще собрать локальную модель которую можно дообучить на наборе своих файлов ( вы приводили пример с Ночным дозором ).

    • @aikula999
      @aikula999 Před měsícem

      Спасибо за обратную связь! Про локальный запуск моделей писал здесь t.me/hirearobot/96 Но вам не надо дообучать модели. Погуглите по сокращению RAG (Retrieval Augmented Generation). Сходу не нашел для локальных машин, но если владеете Python, то поднять не сложно. Как готовые решения - надо поискать. И запуск LLM на локальной машине не лучшая идея. Скорость генерации очень низкая.

  • @YxTbI39Pa8CTE
    @YxTbI39Pa8CTE Před měsícem

    🔔

  • @YxTbI39Pa8CTE
    @YxTbI39Pa8CTE Před měsícem

    👀👍

  • @user-ul4te9bw6k
    @user-ul4te9bw6k Před měsícem

    спасибо большое, у меня всё получилось, очень помогли, всё понятно))))

  • @affkkt2912
    @affkkt2912 Před měsícem

    Спасибо за последовательность

  • @digertdoment4326
    @digertdoment4326 Před měsícem

    А куда писать запрос на блокнот с кодом?!

  • @user-berfrfv9k
    @user-berfrfv9k Před měsícem

    Топ контент! Спасибо за видео

  • @user-gy9ff8wy7c
    @user-gy9ff8wy7c Před měsícem

    Как редко встречается такая хорошая подача и изложение материала.

  • @vfhfnvecnfaby5362
    @vfhfnvecnfaby5362 Před měsícem

    Андрей, спасибо! я нашел кое что для себя ) и что самое интересное эта инфа опережающая событие! это просто ломает любого инфоцигана! на корню ) буду ждать еще и еще и вижу куда все это ведет) кстати думаю Вам будет интересно) я начал с Азиатских роликов потом западные и пришел к вам так как они все ссылаются друг на друга очень лестно отзываются о ваших методах с LLM )

  • @sndrstpnv8419
    @sndrstpnv8419 Před měsícem

    pls share code

  • @ksy6411
    @ksy6411 Před měsícem

    Классный обзор! Спасибо за то, что щедро делитесь своими глубокими знаниями! Успехов в развитии канала!

  • @user-kdhc5g4gks
    @user-kdhc5g4gks Před měsícem

    Вы святой человек. Невероятно понятно и нужно. Спасибо!

  • @vladig6649
    @vladig6649 Před 2 měsíci

    Говоря простым языком, "языковая модель" обучается, а точнее настраивается путем заданного следования (подбора) слов в определённом контексте. По сути это установление и запоминание ассоциативных связей между словами. Работа такой модели "с наружи" кажется интеллектуальной, а "изнутри" не совсем так. Проблема в том, что "обученная" по такой технологии модель не способна делать сложные логические умозаключения и выводы на исходные данные и пояснять получение своего результата. Человек когда думает и принимает решение, то он НЕ оперирует словами. Такого рода LM-модели (языковые роботы) могут с успехом использоваться в качестве подсказчиков в конкретных приложениях на словарной базе которых строилось их обучение. Питать же особых иллюзий на их будущее всемогущество будет просто наивно.

  • @asstix1689
    @asstix1689 Před 2 měsíci

    Бялть, крутой дед.

  • @user-xu1wk3cv7c
    @user-xu1wk3cv7c Před 2 měsíci

    Спасибо! Снимаю шляпу.

  • @idontknow3489
    @idontknow3489 Před 2 měsíci

    не обижайтесь, пожалуйста, на бесполезный комментарий. просто хотел Вас поблагодарить за ваши труды. очень многое для себя подчеркнул. 🎉

  • @ilyanemihin6029
    @ilyanemihin6029 Před 2 měsíci

    Спасибо, хороший обзор!

  • @tortollahapp300
    @tortollahapp300 Před 2 měsíci

    Кто-то может скинуть ссылки - названия статей/материалов с рассуждениями по поводу того, что языковые модели это черный ящик и мы не понимаем, что происходит внутри ? Я так понимаю, что автор на 6:23 говорил именно об этом.

    • @aikula999
      @aikula999 Před 2 měsíci

      Можно воспользоваться поиском на стероидах ИИ ) Вот ссылка как пример с результатами www.perplexity.ai/search/Find-articles-that-QUhoYFSiQ5GKGKfCc6lvkg#0

    • @tortollahapp300
      @tortollahapp300 Před 2 měsíci

      @@aikula999 спасибо большое

  • @ds_sss_rank
    @ds_sss_rank Před 2 měsíci

    Нифига крутой вы мужик. Я подписался

  • @makmakmakk
    @makmakmakk Před 2 měsíci

    качество видео почему-то максимум 360(

    • @aikula999
      @aikula999 Před 2 měsíci

      youtube еще не успел сконвертировать в HD. В процессе

    • @makmakmakk
      @makmakmakk Před 2 měsíci

      @@aikula999 спасибо, очень интересно было

  • @petrbondar535
    @petrbondar535 Před 2 měsíci

    👍

  • @RabbitAlex
    @RabbitAlex Před 2 měsíci

    Здравствуйте! Очень интересно. Подписался. Есть задача обучить нейросеть прогнозировать CTR тизера (картинка + текст). Для этого есть база очень похожих тизеров, для которых заранее известен CTR. Нужно скормить нейросети эти тизеры в качестве обучения. А затем попробовать определить прогнозный CTR у новых тизеров, где достоверный результат ещё не известен. Вопросы: 1. Способны ли нейросети на данном этапе развития решать такие задачи более или менее точно? 2. Какую модель лучше использовать для таких тестов? 3. На какой минимальной базе можно обучить нейросеть до получения достоверных прогнозов?

    • @aikula999
      @aikula999 Před 2 měsíci

      Добрый день! Интересная задача. Но надо понимать сразу, является ли текст + картинка достаточными для прогнозирования CTR. В частности, какие факторы еще могут влиять. Надо тестировать варианты, но точно можно сказать можно только после тестов. 1. Можно попробовать, если есть достаточное количество обучить классический ML на вход подавая эмбидинги одновременно для картинки и текста. В этом случае можно использовать регрессионную модель для прогнозирования CTR. Но должно быть хотя бы пару сотен пар тизер - текст. 2. Можно посмотреть какие есть мультимодальные модели для классификации и разбить на два три класса все примеры (успешные и неуспешные) и дообучить. 3. Можно и через обучение на нескольких примерах... понятно как с текстом, но не понятно как с несколькими картинками... Точно есть еще стратегии... надо просто чуть почитать по этой теме. Как заключение - да, вполне способны решать такие задачи. Если достаточно качественных данных, как всегда. Но для LLM надо меньших данных для обучения. Так как у нее есть представление о многих вещах и достаточно просто нескольких примеров.

    • @user-ky6dc1ko7r
      @user-ky6dc1ko7r Před 2 měsíci

      Добрый день. А разве на показатель CTR не влияют дополнительные факторы, плейсмент, время/место показа, настройки таргетинга и т.д?

  • @roman_zubrilin_88
    @roman_zubrilin_88 Před 3 měsíci

    "После того как зарегистрируетесь, мы встретимся с вами..." и тут можно заканчивать ролик, переходя к другому. 😂

  • @radiosh66
    @radiosh66 Před 3 měsíci

    Андрей, спасибо вам за великолепное выступление! На будущее большая просьба добавлять ссылочки в презентацию - особенно при цитировании и демонстрации результатов исследований. Например, при поиске диаграммы импакта AI на роды дейтельности беглый поиск не дал результатов, поделитесь ссылкой?

    • @aikula999
      @aikula999 Před 3 měsíci

      Родион, спасибо за обратную связь! Вы про эту картинку? arxiv.org/pdf/2304.13712.pdf

  • @aspir133
    @aspir133 Před 3 měsíci

    Здравствуйте, Андрей! Спасибо за видео! Я всегда считал, что очень хорошо умею пользоваться поисковыми системами, но вот уже которую неделю не могу найти простую таблицу, где были бы перечислены требования к железу для LLM. Например, 13B модель, при такой-то квантизации - столько-то VRAM или столько-то RAM, и т.д. Не могли бы Вы немного просветить зрителей в этом вопросе?

    • @aikula999
      @aikula999 Před 2 měsíci

      Здравствуйте! Спасибо за пожелание. Дошли руки снять видео czcams.com/video/XAPoBtIMhQY/video.html

  • @ruslanzalolutdinov2928
    @ruslanzalolutdinov2928 Před 4 měsíci

    Спасибо огромное за внятное объяснение! Очень дорогого стоит! Очень интересно посмотреть пример работы с дообучением и работы на домашнем компе/ноутбуку

  • @pchelloff
    @pchelloff Před 4 měsíci

    Супер материал! Я долго искал такой канал как ваш!)

  • @legato5610
    @legato5610 Před 4 měsíci

    Вооооо ну наконец-то кто-то с мозгами и языком. Мое почтение, уважаемый

  • @nikola2692
    @nikola2692 Před 4 měsíci

    я увидел нейросеть стримера ( НЕЙРО-САМА ) и стали интересны нейросети и вот по чуть-чуть изучаю пайтон и еще всякое)

  • @protasbox
    @protasbox Před 4 měsíci

    Как я рад, что CZcams мне порекомендовал ваше видео, все четко и без воды! Спасибо!

  • @protasbox
    @protasbox Před 4 měsíci

    Огромное вам спасибо, очень интересно и понятно объясняете. Приятная и грамотная речь 👍

  • @falkonia1
    @falkonia1 Před 4 měsíci

    Это супер экспертное видео. Никакой воды... Лайк и подписка однозначно. Можно у Вас поучиться в этом направлении?:-)

  • @Niki_Suka_Bali
    @Niki_Suka_Bali Před 4 měsíci

    Лучшее видео про LLM на русском языке. Спасибо Вам большое!

  • @statuslife4115
    @statuslife4115 Před 4 měsíci

    Если сравнивать сберовский "кандинский" и copilot microsoft по генерации изображений то выясняется что у сбера деньги скорее всего разворовали и отстал он в этом плане на всегда )))

  • @barma1309
    @barma1309 Před 4 měsíci

    Очень интересно

  • @dmioz3955
    @dmioz3955 Před 4 měsíci

    Очень хорошее видео. Подписалься на канал и телеграмм канал

  • @user-zu2sy2lq6t
    @user-zu2sy2lq6t Před 4 měsíci

    выглядит так, словно имея 5 000$ на токены можно инди игру под стим получить за вечер.

    • @aikula999
      @aikula999 Před 4 měsíci

      Сейчас нет, не возможно. Но достаточно стремительно к чему то такому двигаемся.

  • @AndreyGershun
    @AndreyGershun Před 4 měsíci

    Андрей, спасибо за видео с новыми интересными идеями!

  • @VoroninPavel
    @VoroninPavel Před 4 měsíci

    bing chat тоже показывает ссылки, под капотом там chat gpt. Но доступен только через браузер Edge

    • @aikula999
      @aikula999 Před 4 měsíci

      Все верно. Но нужен еще и VPN из некоторых регионов. Perplexity работает в любом браузере. И качество выдачи мне нравится больше.

  • @romanbolgar
    @romanbolgar Před 4 měsíci

    31:20 - Есть много других способов проверить правильность ответа. Например я некомпетентный и не разбираюсь в Экселе Но просто Вставляю туда формулу и она работает или не работает. Если не работает то понятно что модель не справилась и что-то на галлюцинировало Либо какая-то другая проблема например другая версия Excel. Если работает значит ответ правильный. И для этого не надо разбираться. Так сказать проверка реальностью. Можно также проверять по другим косвенным признакам или сопоставлять ответы разных моделей. И банальную логику никто не отменял. В общем вариантов масса и это очень важно. Думаю именно этим надо руководствоваться особенно если учесть что нейросети становятся всё умнее и на всех компетенции не хватает. Но в целом за видео Спасибо. Хороший обширный обзор. Я правда почти все пробовал . Ну такой материал никогда не бывает лишним. До автогена руки не дошли. Тоже в основном общаюсь с Клауд. Мне кажется самый грамотный На данный момент. Хотя с мультимодальность у него плохо. Всё Хочу загрузить на компьютер и до Обучать на свои данных. Ну плохо в этом разбираюсь Да и софт Насколько я понял сырой. Очень не люблю писать команды в консоли. Когда уже доработают какой-то экзешник. Типа Пиноккио. Загорелся попробовал но тоже выдают ошибки. Надо разбираться... Поэтому на канал подписался Надеюсь появится Наглядная Походовое видео для чайников. Также хотелось бы оффлайн распознание теста Вот честно говорю эти слова ошибок много распознаёт онлайн

    • @aikula999
      @aikula999 Před 4 měsíci

      С Excel все относительно проще, хотя Вы рассматриваете на примере бизнеса, где у Вас есть понимание. А давайте представим, что Вы попросили способ извлечения заболевания. Как проверить, если нет медицинского образования и само заболевание сложнее простуды? Или попросили сложный юридический совет. В США были случаи, когда адвокаты приходили на защиту с выдуманными GPT кейсами.

    • @aikula999
      @aikula999 Před 4 měsíci

      По дообучению есть, например, популярная github.com/oobabooga/text-generation-webui Но развернуть ее надо уметь, а также все равно понимать в форматах датасетов. Пока отрасль не сильно стандартизирована и решений для Win/Mac типа офисных пакетов нет.

  • @luckyteamchannel
    @luckyteamchannel Před 5 měsíci

    Здравствуйте. Как к вам обратиться, чтобы получить блокнот? Очень интересно все это

    • @aikula999
      @aikula999 Před 5 měsíci

      Спасибо за обратную связь! Пишите на t.me/aikula

  • @dmitriyrayder8763
    @dmitriyrayder8763 Před 5 měsíci

    Спасибо!!! очень классное объяснение !!

  • @TheDarkGradion
    @TheDarkGradion Před 5 měsíci

    Прекрасное вводное видео! Большое спасибо за проделанную работу!

  • @user-ls3bc7es6e
    @user-ls3bc7es6e Před 5 měsíci

    Спасибо огромное за видео - в настоящее время пути входа в новую отрасль и смотрю видео, прохожу курсы - даже устроился в Яндекс на разметку данных для YandexGPT. Ваше видео очень помогло - я заинтересовался направлением prompt engineering

  • @luckyteamchannel
    @luckyteamchannel Před 5 měsíci

    А куда писать по ноутбуку?

    • @aikula999
      @aikula999 Před 5 měsíci

      Ниже под видео мой контакт t.me/aikula