- 33
- 138 302
Andrey Kulinich
Registrace 30. 11. 2007
Экономика LLM: что надо и сколько стоит использование больших языковых моделей
Презентация (так как видео иногда закрывает слайды здесь: cloud.mail.ru/public/2X2y/aAD5MwSUe
В видео рассматриваю что надо и сколько стоит использование LLM. Как примерно посчитать себестоимость одного действия и тд.
Вопросы и пожелания пишите в Телеграм t.me/aikula
Присоединяйтесь к моему каналу t.me/hirearobot
В видео рассматриваю что надо и сколько стоит использование LLM. Как примерно посчитать себестоимость одного действия и тд.
Вопросы и пожелания пишите в Телеграм t.me/aikula
Присоединяйтесь к моему каналу t.me/hirearobot
zhlédnutí: 1 357
Video
Демо стенд с демонстрацией базовых возможностей LLM (Больших языковых моделей)
zhlédnutí 477Před 2 měsíci
Запросить доступ к демо стенду можно по ссылке: forms.gle/YTZHGqguchZWHKLf7 В видео рассказываю про развернутый мной небольшой демо стенд, где можно попробовать возможности LLM. Вопросы и пожелания пишите в Телеграм t.me/aikula Присоединяйтесь к моему каналу t.me/hirearobot Сайт: kulinich.ru
Как с прибылью внедрять решения на основе искусственного интеллекта (LLM)
zhlédnutí 814Před 4 měsíci
Какие ошибки совершают при внедрении цифровых решений и как найти направление с наибольшим экономическим эффектом. Пора зарабатывать на ИИ! Вопросы и пожелания пишите в Телеграм t.me/aikula Присоединяйтесь к моему каналу t.me/hirearobot
Автоагенты (Microsoft Autogen) на базе Больших языковых моделей (LLM)
zhlédnutí 1,3KPřed 5 měsíci
Немного магии, как заставить одну Большую языковую модель (LLM) работать за команду разнородных специалистов. По сути все просто - но до сих пор удивляюсь этой магии. Присоединяйтесь к каналу в Телеграмм t.me/hirearobot Кому интересен блокнот с примером пишите t.me/aikula
Экосистема langchain, основы: поиск по смыслу и агенты
zhlédnutí 1,4KPřed 5 měsíci
- как сделать в несколько строк поиск по смыслам для себя или компании - как разговаривать с данными и упростить аналитику - агенты вооруженные инструментами. Покажу как работает "под капотом". Не пугайтесь кода - это очень увлекательно, я так думаю :-) Подключайтесь к каналу в телеграмм t.me/hirearobot Если нужен блокнот с демонстрируемыми примерами или есть вопросы - пишите t.me/aikula
Введение в большие языковые модели (LLM)
zhlédnutí 16KPřed 7 měsíci
- Немного истории появления, - минимум того что надо знать о параметрах модели, - краткий обзор ChatGPT, Claude.AI, LLaMA, Perplexity, GigaChat, - автоагенты и применение в бизнесе, - краткий прогноз. Канал в ТГ t.me/hirearobot Писать в ТГ @aikula
Дашборд Metabase: знакомство
zhlédnutí 3,9KPřed rokem
Знакомство с open source BI системной Metabase. Ее просто развернуть в корпоративной среде без финансовых вложений и получить ресурс для построения дашбордов и их совместного использования. В коротком видео рассматриваем базовые возможности, как построить дашборд своими руками без программирования и знания SQL. Продолжение следует.
Язык разметки текста Markdown
zhlédnutí 1,4KPřed 3 lety
Видео посвящено применению языка разметки текста Markdown в Jupyter Notebook. Ссылка на блокнот с примером github.com/aikula/PythonStart/blob/main/Markdown.ipynb
RandomForest - очень просто о том, как использовать классификацию в Python
zhlédnutí 10KPřed 3 lety
Рассмотрено применение алгоритма классификации RandomForest. Видео нацеленно на начинающих изучение темы машинного обучения. Пример блокнота можно найти по ссылке github.com/aikula/DataDriven/blob/master/RandomForest.ipynb
Кластеризация в Python (KMeans и иерархическая)
zhlédnutí 12KPřed 3 lety
В данном примере рассмотрены подходы к кластеризации методами KMeans и иерархической кластеризации. Использовался Python и блокноты Jupyter. Пример можно использовать как шаблон для решения практических задач. Исходных код примера можно найти по ссылке github.com/aikula/DataDriven/blob/master/Clustering37-2.ipynb
Как создать и обучить чат-бота на DialogFlow. Основы.
zhlédnutí 22KPřed 3 lety
Короткое обучающее видео по настройке чат-бота. Включая создание собственных сущностей (entities) и инструкцией по подключению к Telegram.
08 Кварталы весь цикл прогноза
zhlédnutí 1,2KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
02 Очистка временного ряда от аномалий
zhlédnutí 3,3KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
05 Стандартные метрики точности прогнозирования временных рядов
zhlédnutí 2,3KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
04 Модель Хольта Винтерса
zhlédnutí 5KPřed 4 lety
Блокноты и исходные данные урока github.com/aikula/f2forecast
11 Другие распределения для модели Монте-Карло
zhlédnutí 514Před 4 lety
11 Другие распределения для модели Монте-Карло
07 Корректировка математического прогноза экспертом
zhlédnutí 1,2KPřed 4 lety
07 Корректировка математического прогноза экспертом
03 Тестовые и тренировочные наборы данных
zhlédnutí 3,2KPřed 4 lety
03 Тестовые и тренировочные наборы данных
01 Загрузка данных в блокнот Jupyter и валидация
zhlédnutí 7KPřed 4 lety
01 Загрузка данных в блокнот Jupyter и валидация
Знакомство с библиотекой Pandas и структурой данных DataFrame
zhlédnutí 3,9KPřed 4 lety
Знакомство с библиотекой Pandas и структурой данных DataFrame
Применение lambda, map и apply в Python
zhlédnutí 1,2KPřed 4 lety
Применение lambda, map и apply в Python
001 Azure Notebooks: Начало работы с notebooks.azure.com
zhlédnutí 403Před 5 lety
001 Azure Notebooks: Начало работы с notebooks.azure.com
003 Ассоциативные правила силами Python 3
zhlédnutí 2,1KPřed 5 lety
003 Ассоциативные правила силами Python 3
Ну с агентом это конечно очень сильно 🤔 Пример из свой фантазии с Хаусом в мыслях: Задаёшь, промты, параметры, описание, фикции, визуальный интерфейс и связь. ИИ работает- агент исполнение команд - исполнение - возврат ошибка и исправление - профит Ии работает, отвечает- агент исполняет - ии не справляется - агент даёт ссылку вики из поиска другая ии ищет инфу, агент получает результат и кормит ии - ии отвечает- агент исполняет команды- ии ошибаешься - агент меняет модель ии или до обучает согласно информации вики того языка. Ну и.т.д для создание приложения и. т. п Я понимаю что описал очень не правильно, но если разложить и создать очень много функций и этапов с тысячами параметрами и связями, то ИИ может работать грубо говоря уже сама по себе до результата и время затраченное своё на исправление ошибок ИИ можно откладывать до полного результата и с полнейшей оптимизации. Так сказать поставил и занимаешься другими делами. Не знаю, но представление как фантастических фильмах когда ии что-то создаёт по запросу 😅
Спасибо за информацию. А я хотел поднять у себя ламу 3, на 70 млрд параметров, для своего домашнего проектика. Думал что и из оперативки нормально будет работать. Поставил 64 Гб. Стало быстрее, чем из свопа, конечно, но всё равно слишком медленно. Может секунд по 20 - 30 генерировать одно предложение. Хочется чтобы всё было локально. У меня как раз 4090 простаивает. Заметил что если модель не сильно вылазит за пределы памяти видеокарты, то скорость генерации, остаётся более чем сносной. Попробовать, что-ли, поюзать квантированную намертво, самую маленькую... Но то что выдаёт лама 3, на 8 млрд параметров, меня совсем не устраивает. Очень она потерянная какая-то. Вдруг будет лучше.
В проде мы используем пусть и меньшие модели, но в точности float16. Квантированные особенно на русском языке сильно проседают. Не знаю Ваши задачи, но LLaMA 3 8B вполне сносная. Единственная пока проблема малое контекстное окно.
Спасибо! Очень понятно и интересно. Начал погружаться в область LLM, так как планируется реализация проекта по разработке с использованием LLM. После этого видео сложилось уверенное понимание.
Спасибо за интересный обзор с примерами! Просьба на будущее - при подготовке презентаций учитывайте вставку видео с Вами. Иногда этот экран перекрывает информацию на слайде. Успехов Вам!
Подскажите пожалуйста, как удалять папки с Jupyter Notebook, которые я сама создала? Файлы без проблем удаляются, а при удалении папки - ошибку выдает.
Jupyter не удаляет папки в которых есть файлы. Удалите вначале файлы, а затем папку. Или используйте терминал и команда rm -r you_folder
Отличная лекция. Подскажите как попроще собрать локальную модель которую можно дообучить на наборе своих файлов ( вы приводили пример с Ночным дозором ).
Спасибо за обратную связь! Про локальный запуск моделей писал здесь t.me/hirearobot/96 Но вам не надо дообучать модели. Погуглите по сокращению RAG (Retrieval Augmented Generation). Сходу не нашел для локальных машин, но если владеете Python, то поднять не сложно. Как готовые решения - надо поискать. И запуск LLM на локальной машине не лучшая идея. Скорость генерации очень низкая.
🔔
👀👍
спасибо большое, у меня всё получилось, очень помогли, всё понятно))))
Спасибо за последовательность
А куда писать запрос на блокнот с кодом?!
t.me/aikula
Топ контент! Спасибо за видео
Как редко встречается такая хорошая подача и изложение материала.
Андрей, спасибо! я нашел кое что для себя ) и что самое интересное эта инфа опережающая событие! это просто ломает любого инфоцигана! на корню ) буду ждать еще и еще и вижу куда все это ведет) кстати думаю Вам будет интересно) я начал с Азиатских роликов потом западные и пришел к вам так как они все ссылаются друг на друга очень лестно отзываются о ваших методах с LLM )
pls share code
Классный обзор! Спасибо за то, что щедро делитесь своими глубокими знаниями! Успехов в развитии канала!
Вы святой человек. Невероятно понятно и нужно. Спасибо!
Говоря простым языком, "языковая модель" обучается, а точнее настраивается путем заданного следования (подбора) слов в определённом контексте. По сути это установление и запоминание ассоциативных связей между словами. Работа такой модели "с наружи" кажется интеллектуальной, а "изнутри" не совсем так. Проблема в том, что "обученная" по такой технологии модель не способна делать сложные логические умозаключения и выводы на исходные данные и пояснять получение своего результата. Человек когда думает и принимает решение, то он НЕ оперирует словами. Такого рода LM-модели (языковые роботы) могут с успехом использоваться в качестве подсказчиков в конкретных приложениях на словарной базе которых строилось их обучение. Питать же особых иллюзий на их будущее всемогущество будет просто наивно.
Бялть, крутой дед.
Спасибо! Снимаю шляпу.
не обижайтесь, пожалуйста, на бесполезный комментарий. просто хотел Вас поблагодарить за ваши труды. очень многое для себя подчеркнул. 🎉
Спасибо, хороший обзор!
Кто-то может скинуть ссылки - названия статей/материалов с рассуждениями по поводу того, что языковые модели это черный ящик и мы не понимаем, что происходит внутри ? Я так понимаю, что автор на 6:23 говорил именно об этом.
Можно воспользоваться поиском на стероидах ИИ ) Вот ссылка как пример с результатами www.perplexity.ai/search/Find-articles-that-QUhoYFSiQ5GKGKfCc6lvkg#0
@@aikula999 спасибо большое
Нифига крутой вы мужик. Я подписался
качество видео почему-то максимум 360(
youtube еще не успел сконвертировать в HD. В процессе
@@aikula999 спасибо, очень интересно было
👍
Здравствуйте! Очень интересно. Подписался. Есть задача обучить нейросеть прогнозировать CTR тизера (картинка + текст). Для этого есть база очень похожих тизеров, для которых заранее известен CTR. Нужно скормить нейросети эти тизеры в качестве обучения. А затем попробовать определить прогнозный CTR у новых тизеров, где достоверный результат ещё не известен. Вопросы: 1. Способны ли нейросети на данном этапе развития решать такие задачи более или менее точно? 2. Какую модель лучше использовать для таких тестов? 3. На какой минимальной базе можно обучить нейросеть до получения достоверных прогнозов?
Добрый день! Интересная задача. Но надо понимать сразу, является ли текст + картинка достаточными для прогнозирования CTR. В частности, какие факторы еще могут влиять. Надо тестировать варианты, но точно можно сказать можно только после тестов. 1. Можно попробовать, если есть достаточное количество обучить классический ML на вход подавая эмбидинги одновременно для картинки и текста. В этом случае можно использовать регрессионную модель для прогнозирования CTR. Но должно быть хотя бы пару сотен пар тизер - текст. 2. Можно посмотреть какие есть мультимодальные модели для классификации и разбить на два три класса все примеры (успешные и неуспешные) и дообучить. 3. Можно и через обучение на нескольких примерах... понятно как с текстом, но не понятно как с несколькими картинками... Точно есть еще стратегии... надо просто чуть почитать по этой теме. Как заключение - да, вполне способны решать такие задачи. Если достаточно качественных данных, как всегда. Но для LLM надо меньших данных для обучения. Так как у нее есть представление о многих вещах и достаточно просто нескольких примеров.
Добрый день. А разве на показатель CTR не влияют дополнительные факторы, плейсмент, время/место показа, настройки таргетинга и т.д?
"После того как зарегистрируетесь, мы встретимся с вами..." и тут можно заканчивать ролик, переходя к другому. 😂
Андрей, спасибо вам за великолепное выступление! На будущее большая просьба добавлять ссылочки в презентацию - особенно при цитировании и демонстрации результатов исследований. Например, при поиске диаграммы импакта AI на роды дейтельности беглый поиск не дал результатов, поделитесь ссылкой?
Родион, спасибо за обратную связь! Вы про эту картинку? arxiv.org/pdf/2304.13712.pdf
Здравствуйте, Андрей! Спасибо за видео! Я всегда считал, что очень хорошо умею пользоваться поисковыми системами, но вот уже которую неделю не могу найти простую таблицу, где были бы перечислены требования к железу для LLM. Например, 13B модель, при такой-то квантизации - столько-то VRAM или столько-то RAM, и т.д. Не могли бы Вы немного просветить зрителей в этом вопросе?
Здравствуйте! Спасибо за пожелание. Дошли руки снять видео czcams.com/video/XAPoBtIMhQY/video.html
Спасибо огромное за внятное объяснение! Очень дорогого стоит! Очень интересно посмотреть пример работы с дообучением и работы на домашнем компе/ноутбуку
Супер материал! Я долго искал такой канал как ваш!)
Вооооо ну наконец-то кто-то с мозгами и языком. Мое почтение, уважаемый
я увидел нейросеть стримера ( НЕЙРО-САМА ) и стали интересны нейросети и вот по чуть-чуть изучаю пайтон и еще всякое)
Как я рад, что CZcams мне порекомендовал ваше видео, все четко и без воды! Спасибо!
Огромное вам спасибо, очень интересно и понятно объясняете. Приятная и грамотная речь 👍
Это супер экспертное видео. Никакой воды... Лайк и подписка однозначно. Можно у Вас поучиться в этом направлении?:-)
Лучшее видео про LLM на русском языке. Спасибо Вам большое!
Это правда!
Если сравнивать сберовский "кандинский" и copilot microsoft по генерации изображений то выясняется что у сбера деньги скорее всего разворовали и отстал он в этом плане на всегда )))
Очень интересно
Очень хорошее видео. Подписалься на канал и телеграмм канал
выглядит так, словно имея 5 000$ на токены можно инди игру под стим получить за вечер.
Сейчас нет, не возможно. Но достаточно стремительно к чему то такому двигаемся.
Андрей, спасибо за видео с новыми интересными идеями!
bing chat тоже показывает ссылки, под капотом там chat gpt. Но доступен только через браузер Edge
Все верно. Но нужен еще и VPN из некоторых регионов. Perplexity работает в любом браузере. И качество выдачи мне нравится больше.
31:20 - Есть много других способов проверить правильность ответа. Например я некомпетентный и не разбираюсь в Экселе Но просто Вставляю туда формулу и она работает или не работает. Если не работает то понятно что модель не справилась и что-то на галлюцинировало Либо какая-то другая проблема например другая версия Excel. Если работает значит ответ правильный. И для этого не надо разбираться. Так сказать проверка реальностью. Можно также проверять по другим косвенным признакам или сопоставлять ответы разных моделей. И банальную логику никто не отменял. В общем вариантов масса и это очень важно. Думаю именно этим надо руководствоваться особенно если учесть что нейросети становятся всё умнее и на всех компетенции не хватает. Но в целом за видео Спасибо. Хороший обширный обзор. Я правда почти все пробовал . Ну такой материал никогда не бывает лишним. До автогена руки не дошли. Тоже в основном общаюсь с Клауд. Мне кажется самый грамотный На данный момент. Хотя с мультимодальность у него плохо. Всё Хочу загрузить на компьютер и до Обучать на свои данных. Ну плохо в этом разбираюсь Да и софт Насколько я понял сырой. Очень не люблю писать команды в консоли. Когда уже доработают какой-то экзешник. Типа Пиноккио. Загорелся попробовал но тоже выдают ошибки. Надо разбираться... Поэтому на канал подписался Надеюсь появится Наглядная Походовое видео для чайников. Также хотелось бы оффлайн распознание теста Вот честно говорю эти слова ошибок много распознаёт онлайн
С Excel все относительно проще, хотя Вы рассматриваете на примере бизнеса, где у Вас есть понимание. А давайте представим, что Вы попросили способ извлечения заболевания. Как проверить, если нет медицинского образования и само заболевание сложнее простуды? Или попросили сложный юридический совет. В США были случаи, когда адвокаты приходили на защиту с выдуманными GPT кейсами.
По дообучению есть, например, популярная github.com/oobabooga/text-generation-webui Но развернуть ее надо уметь, а также все равно понимать в форматах датасетов. Пока отрасль не сильно стандартизирована и решений для Win/Mac типа офисных пакетов нет.
Здравствуйте. Как к вам обратиться, чтобы получить блокнот? Очень интересно все это
Спасибо за обратную связь! Пишите на t.me/aikula
Спасибо!!! очень классное объяснение !!
Прекрасное вводное видео! Большое спасибо за проделанную работу!
Спасибо огромное за видео - в настоящее время пути входа в новую отрасль и смотрю видео, прохожу курсы - даже устроился в Яндекс на разметку данных для YandexGPT. Ваше видео очень помогло - я заинтересовался направлением prompt engineering
А куда писать по ноутбуку?
Ниже под видео мой контакт t.me/aikula