Большое, просто огромное спасибо за это видео. Побольше бы такого формата! Как же кайфофо смотреть видео где знающий тему, рассказывает спокойно, по простому.
Вся эта история мне напоминает опенинг древнего сериала "чудеса науки" где чуваки загружают информацию из журналов в компьютер и таким образом создают компьютерного джина в виде сексапильной тяночки. Я, будучи ребенком опытным в компьютерных делах, всегда морщился с этой заставки для лохов, считающих компьютер магической шайтан-коробкой. А теперь это реальность. Теперь ты буквально можешь загрузить в компютер книги, журналы, видео на твой вкус и получить советника, который не просто будет болтать с тобой, но даже будет имитировать определенные предпочтения и взгляды на жизнь. Если постараться, ему можно даже внешность и голос прикрутить. Чудеса науки.
Кайф, спасибо! 1) Можешь объяснить, на что влияет выбор vector stores? 2) Ты говорил, что нельзя закидывать мусор в качестве данных и лучше их отдавать частями. Ты пробовал закидывать книги и таблицы? Можешь ли дать советы, как это лучше делать?
1. Вот норм статья www.peritus.ai/post/things-to-consider-while-choosing-a-vector-database 2. Я на видео закинул пдф и сработало отлично. По поводу таблиц могу предположить, что решается либо трансформацией данных в текст, либо продвинутым токенизатором. Возможно gpt4 лучше поймет структурированные данные.
Спасибо за видео. Подскажи, пожалуйста, не попадались ли аналоги для работы с большими Excel - файлами? Этот "горшочек" даже не справляется с подсчётом строк в загруженной CSV.
Не попадались. Конкретно эта система с Эксель будет плохо работать потому что это просто умный поиск перед Chatgpt. Если рядом с экселькой ты положишь метаданные: то же количество строк, то она сможет найти эту информацию.
6:00 Большой спасибо за видео, было очень инетерсно. Не мог бы ты в одном из следующих видео разобрать тему с вот этой другой моделью? Если что, у меня хватит ОЗУ - 64 ГБ ДДР5 на домашнем и 128 ГБ ДДР4 на рабочем.
LLMStack скорее всего может работать с Local AI, по крайней мере я видел такую строчку в обзорном видео. Так что можно, думаю, скачать какую-нибудь модель с Hugging Face и работать локально. Думаю 32B модели будет вполне достаточно для этого, по крайней мере Wizard Vicuna 30b произвела на меня хорошие впечатления. Занимает на диске чуть больше 20Гб, а оперативной памяти нужно будет зарезервировать до 32Гб. Правда при этом инференс на таком процессоре как Intel Xeon E3-1230v2 занимает весьма много времени. Задержка между запросом и ответом может достигать минуты и более. Скорость генерации тоже не впечатляет.
Я могу ошибаться, но если где-то паршивый поиск, то нам, в любом случае, еще надо данные c этого источника собрать (при паршивом поиске) подготовить и разметить, прежде чем загнать в стор. Будет ли игра свеч стоит. И вопрос еще есть. Ты в начале говоришь что мы можем общаться с книгой. А как? У нас же никуда ограничения на размер context window не делись же? Мы книгу загоним и там за пару-тройку страниц у нас контекст и закончится же. Или я недопонял что-то на базовом уровне про этот инструмент?
@@Nandarion так вопрос в том как будет сохраняться "память" между чанками когда их суммарный размер превысит размер контекста модели. К тому же 250 токенов это длина одного твита.
@@Nandarion т.е. идея в том, чтобы скормить в чатгпт не всю свою книгу, а лишь подходящие главы? По сути в промт загружается отфильтрованная выжимка из книги и юзерский вопрос? При этом проблема, когда для полноценного ответа требуется бОльший кусок информации никак не решается? upd Например, у меня есть своя книга "Война и Мир" и я хочу найти в ней все слова-паразиты. Эта схема мне не поможет?
Здравствуйте, а как возможно по умному AI переписать статью с одной темы на другую соблюдая стиль и структуру,. Например сохранив объект, а заменив сам предмет и уже писать о нем , а не заменив слова? Меня интересует чтобы я загрузил файл курсовой работы переписать его. То что вы показали это ответы из файла.
Интересная идея сам давно хочу что-то подобное реализовать Ну не где-то там в телеграме Или Гекхак А на компьютере. Вроде есть портативные версии но играться в консоли или терминале уже надоело где бы найти Готовое решение например в exe файле чтобы можно было запустить указать ему на каких данных тренироваться В общем нормальный человек понятный интерфейс Без разных командных строк. Типа как докрутили стейблдиффюжин От автоматика.
Тут суть работы не в программировании (там 200 строк кода), а в настройке структуры и содержании документации. Мы у себя в компании как раз такое делаем. Сейчас вышли на точность ответов в 94%. Это реально круто и работает!
@@dmitrybryantsev6332 я вроде понимаю, но понимаю, что не повторю такое. А как бы научить этот весь колхоз разговаривать с данными в Obsidian? Этож будет абсолютное оружие разума )))
Челик удалил проект с гитхаба, но у него уже куча форков. Вот этот все еще с лицензией MIT github.com/trivikr/databerry/tree/c01b64779da0b336f42c3d441595033cadd669a0
@@SeniorSoftwareVlogger Да, уже нашёл, спасибо. Разобрал код и выяснил как он работает. К сожалению о приватности речи не идёт, да и запросы к нейросети придётся строить так, чтобы вытаскивался нужный документ с помощью названных в промте ключевых слов. Для меня этот вариант не подходит(
@@SeniorSoftwareVlogger ну я сейчас пытаюсь придумать "прожект-менеджера", который может создавать таски в борде, опрашивать программистов, что сделано, формировать отчеты и отвечать на уточняющие вопросы. для всего этого нужна долговременная память, векторная бд, или типа того. было бы прикольно, если бы бот мог не только считывать документы, но и дописывать в них историю развития проекта в каком-то нативном формате...
Прошу, объясните мне. Нужен лиц ключ чтоб это работало ? Или это может работать на моем сервере и больше мне ничего не нужно? Версия бота 3.5 подойдет даже.
Спасибо за видео, очень полезно. Никто случайно не сталкивался с тем, что при подключении агента к датасоурс в чате вместо ответа ошибка AxiosError: Request failed with status code 500. Судя по логу, проблема на стороне qdrant, но пока не смог найти решения. qdrant::actix::helpers error processing request: The replica set for shard 0 on peer does not have enough active replicas и как следствие = bad response на стороне клиента
Получилось стартануть? У меня в ошибку валиться databerry-base-api-1 Может есть решение? This error happened while installing a direct dependency of /home/node 2023-09-21 13:36:58 undefined " not found13:36:58 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev 2023-09-21 13:36:58 2023-09-21 13:36:58 Did you mean "pnpm prisma:migrate:dev"? 2023-09-21 13:36:59 undefined " not found13:36:59 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all 2023-09-21 13:36:59 2023-09-21 13:36:59 Did you mean "pnpm dev:all"? 2023-09-21 13:36:59 ###### READY TO ROCK ! 2023-09-21 13:42:00 ###### INITIALIZING PROJECT : not found13:36:59 /home/node/.dev/init.sh: 13: 2023-09-21 13:36:59 sleep: invalid time interval 'infinity ' 2023-09-21 13:36:59 Try 'sleep --help' for more information. : not found13:42:00 /home/node/.dev/init.sh: 2: : not found13:42:00 /home/node/.dev/init.sh: 3: 2023-09-21 13:42:00 /home/node/.dev/init.sh: 4: cd: can't cd to /home/node : not found13:42:00 /home/node/.dev/init.sh: 6: isn't supported by any available resolver.ORTED_BY_ANY_RESOLVER 2023-09-21 13:42:02 2023-09-21 13:42:02 This error happened while installing a direct dependency of /home/node : not found13:42:02 /home/node/.dev/init.sh: 8: 2023-09-21 13:42:04 undefined " not found13:42:04 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev 2023-09-21 13:42:04 2023-09-21 13:42:04 Did you mean "pnpm prisma:migrate:dev"? : not found13:42:04 /home/node/.dev/init.sh: 10: 2023-09-21 13:42:05 undefined " not found13:42:05 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all 2023-09-21 13:42:05 2023-09-21 13:42:05 Did you mean "pnpm dev:all"? : not found13:42:05 /home/node/.dev/init.sh: 13: 2023-09-21 13:42:05 ###### READY TO ROCK ! 2023-09-21 13:42:05 sleep: invalid time interval 'infinity ' 2023-09-21 13:42:05 Try 'sleep --help' for more information.
Странный подход. Получается чанки из документа для отправки в промт ищет векторная база данных. А если эта база не справится? Если встроенное сравнение векторов не вывезет? Да и объем чанка мал, контекста мало. Видется мне что сама LLM более мощный инструмент, она сама должна напрямую смотреть в документы. Если через апи OpenAI это не сделать то лучше сразу поднимать какой-то аналог локально и работать с ним. По мне это более правильный путь поиска по своим данным. Если не хватает ресурсов то можно попробовать уменьшенные оптимизированные модели, их вроде много вышло
Справляется отлично для умного бота службы поддержки, например. А то что вы описали это уже дообучение сети и вот так просто на своей машине сети таких масштабов пока нельзя дообучать.
зачем так заморачиваться с конвертацией pdf, jpg, ссылок на соц.сети и т.п. в текст и городить прочие костыли?)) не проще для этой цели воспользоваться claude ai, который с такими файлами спокойно работает?
Просто супер!!! Но чет получаю ошибку от /v1/embeddings - 429 Too Many Requests По локальной настройке - все настроил по реководству. - Ключ openai получил. - Добавил в pg записи о подписке своего юзера - Создал бакет в s3. (вижу, что в нем появляются новые объекты. - Создал Datastore и Agent - Решил попробовать на PDF книге сразу. В stdout в логах databerry-base-api-1 вижу эту ошибку. Создал обычный текстовый Datastore из 3 абзацев текста. Для него агента. Все равно эта ошибка. Единственное на что сейчас грешу, что ключ openai я получил. Но там у меня бесплатная версия. Может кто подсказать, в чем проблема?
Этих ботов сейчас везде встраивают. Даже в последней версии браузера Опера появились вкладки ChatGPT и их кастомного бота. Проблема в том, что они не работают (возможно из-за большого количества запросов). Интересно, ChatGPT на локальном компьютере можно запустить?
Интересная вещь. Скормив все посты какого-нибудь пользователя, то можно будет спросить бота представляет ли этот человек опасность или имеются ли в его постах какие-либо экстремистские или дискриминационные высказывания. Цифровой гулаг уже совсем скоро.
Забили бы вы уже на этоу политизированную помойку Chat GPT и работали бы с нормальными языковыми моделями которые не лезут в политику и не устраивают нацизм блокируя пользователей по национальности и месту жительства. Дизлайкать не стану ибо люблю твой канал, но ей богу уже в печенках сидит рекламирование этой гадости которая так по свински поступает.
@@SeniorSoftwareVlogger Так собственно и обращаюсь к вам как к профессионалу который бы протестировалы бы полный спектр нынешних моделей что бы выявить плюсы и минусы, сравнить с тем же чатом. Лично я на данный момент пользуюсь в работе Writesonic, Perplexity и ради развлечения и мониторю ещё 3 проекта , так как у них мне кажется есть неплохой потенциал это BAI Chat, YOU AI chat, AgentGPT (Лама на своей машине так же стоит, но её советовать не буду, это на любителя)
Perplexity powers its ‘answer engine’ with Azure OpenAI Service. Writesonic: As they say, where there's a will, there's a way; Samanyou discovered that Open AI had just launched GPT-3. Within a few days, he built an AI-powered landing page generator using GPT-3. The product went viral and became one of the top AI Writers.
@@SeniorSoftwareVlogger Я знаю что это такое :) Я с этим работаю. Но например я был бы заинтересован узнать какие ещё есть хорошие альтернативы тому же чату жпт, нельзя полагаться на один инструмент особенно когда он так политизирован.
@@AnshegarНе думаете ли вы, что любая информационная технология, которая становится массовой, обречена стать политизированной тем, кто управляет этой технологией? Я понимаю ваш посыл, но такова правда, что власть одних над другими это в первую очередь власть над информацией, которая вливается в из мозг. Википедия в зачатке была отличной идеей свободной энциклопедии, где каждый мог делать правки. Но осмелится ли кто-то сегодня сказать, что Википедия по прежнему свободна от влияния политики?
та просто GPT4all качаешь и не мучаешься. То что ты показываешь уже устаревший подход) Зачем мучаться с кодом, когда уже написали норм апликуху под все платформы.
Про это видео: t.me/seniorsoftwarevlogger/1350
Мы делаем стартап: t.me/startup_reports
теперь 300 страниц туда зафигарить можно 🙂
Большое, просто огромное спасибо за это видео. Побольше бы такого формата!
Как же кайфофо смотреть видео где знающий тему, рассказывает спокойно, по простому.
низкий поклон! этот выпуск был мега важен для моего проекта! спасибо!
Я ЭТОГО ИСКАЛ, ИСКАААЛ, СЛЫШИТЕ? Я ЭТОГО ИСКАААААЛ И НАШЕЛ. ТЕПЕРЬ СДЕЛАЮ ЭТО!
привет, у тебя случайно не осталось проекта из гитхаба?
Вся эта история мне напоминает опенинг древнего сериала "чудеса науки" где чуваки загружают информацию из журналов в компьютер и таким образом создают компьютерного джина в виде сексапильной тяночки. Я, будучи ребенком опытным в компьютерных делах, всегда морщился с этой заставки для лохов, считающих компьютер магической шайтан-коробкой. А теперь это реальность. Теперь ты буквально можешь загрузить в компютер книги, журналы, видео на твой вкус и получить советника, который не просто будет болтать с тобой, но даже будет имитировать определенные предпочтения и взгляды на жизнь. Если постараться, ему можно даже внешность и голос прикрутить. Чудеса науки.
Очень хорошо объяснил
Видео просто ОГОНЬ!
Прям в точку!!! Спасибо тебе за инфу!
Спасибо тебе за сервис, добрый человек.
Круто! Спасибо за урок! И спасибо за ламповое клацанье
жесть что за стикер огромный такой, я думал у меня реклама какая-то вылезла
Иисус... Не узнаю вас в гримме 😅, но в любом случае контент топчик, спасибо тебе ❤
Это то что я искал, спасибо 👍
Спасибо за видео!
everything is working smoothly
Хорооош 🤝 спасибо за инфу
Дима, спасибо!
Мощно!
Кайф, спасибо!
1) Можешь объяснить, на что влияет выбор vector stores?
2) Ты говорил, что нельзя закидывать мусор в качестве данных и лучше их отдавать частями. Ты пробовал закидывать книги и таблицы? Можешь ли дать советы, как это лучше делать?
1. Вот норм статья www.peritus.ai/post/things-to-consider-while-choosing-a-vector-database
2. Я на видео закинул пдф и сработало отлично. По поводу таблиц могу предположить, что решается либо трансформацией данных в текст, либо продвинутым токенизатором. Возможно gpt4 лучше поймет структурированные данные.
thank you master!
спасибо 🥰
Ты кто?(шутка конечн) Почему я Незналао тебе раньше! Спасибо тебе разложил по полочкам! Лайк, подписка и уважение за качественный контент❤
chatGPT использует langchain который возвращает подходящие чалки, далее они идут в запрос =)
embedding располагает слово в многовекторном пространстве, поэтом связи слов и их синонимы располагаются рядом
спасибо!
Спасибо за видео. Подскажи, пожалуйста, не попадались ли аналоги для работы с большими Excel - файлами? Этот "горшочек" даже не справляется с подсчётом строк в загруженной CSV.
Не попадались. Конкретно эта система с Эксель будет плохо работать потому что это просто умный поиск перед Chatgpt. Если рядом с экселькой ты положишь метаданные: то же количество строк, то она сможет найти эту информацию.
@@SeniorSoftwareVlogger спасибо!
6:00 Большой спасибо за видео, было очень инетерсно. Не мог бы ты в одном из следующих видео разобрать тему с вот этой другой моделью? Если что, у меня хватит ОЗУ - 64 ГБ ДДР5 на домашнем и 128 ГБ ДДР4 на рабочем.
Я там скорее всего напиздюнькал про ОЗУ, можно покопать в эту сторону.
@@SeniorSoftwareVlogger так в итоге chaindesk использует локальную LLM? или данные всё так же могут утечь в сеть
использует openai
LLMStack скорее всего может работать с Local AI, по крайней мере я видел такую строчку в обзорном видео. Так что можно, думаю, скачать какую-нибудь модель с Hugging Face и работать локально. Думаю 32B модели будет вполне достаточно для этого, по крайней мере Wizard Vicuna 30b произвела на меня хорошие впечатления. Занимает на диске чуть больше 20Гб, а оперативной памяти нужно будет зарезервировать до 32Гб. Правда при этом инференс на таком процессоре как Intel Xeon E3-1230v2 занимает весьма много времени. Задержка между запросом и ответом может достигать минуты и более. Скорость генерации тоже не впечатляет.
@@somerndid 150 тысяч тенге за две планки кингстона в 2022 году
А его на убунту можно развернуть? У меня все запускается, но на локалхост 3000 не заходит
А как запустить это чудо? инструкцию подробную бы
интересно было бы подвязать все на плагин для чатпт и на плагин для пичарма, чтобы связать свои проекты
Я могу ошибаться, но если где-то паршивый поиск, то нам, в любом случае, еще надо данные c этого источника собрать (при паршивом поиске) подготовить и разметить, прежде чем загнать в стор. Будет ли игра свеч стоит.
И вопрос еще есть. Ты в начале говоришь что мы можем общаться с книгой. А как? У нас же никуда ограничения на размер context window не делись же? Мы книгу загоним и там за пару-тройку страниц у нас контекст и закончится же. Или я недопонял что-то на базовом уровне про этот инструмент?
@@Nandarion так вопрос в том как будет сохраняться "память" между чанками когда их суммарный размер превысит размер контекста модели. К тому же 250 токенов это длина одного твита.
@@Nandarion т.е. идея в том, чтобы скормить в чатгпт не всю свою книгу, а лишь подходящие главы? По сути в промт загружается отфильтрованная выжимка из книги и юзерский вопрос? При этом проблема, когда для полноценного ответа требуется бОльший кусок информации никак не решается?
upd
Например, у меня есть своя книга "Война и Мир" и я хочу найти в ней все слова-паразиты. Эта схема мне не поможет?
Интересно, а что за переключалка вкладок у тебя такая?
это браузер Arc
Здравствуйте, а как возможно по умному AI переписать статью с одной темы на другую соблюдая стиль и структуру,. Например сохранив объект, а заменив сам предмет и уже писать о нем , а не заменив слова? Меня интересует чтобы я загрузил файл курсовой работы переписать его.
То что вы показали это ответы из файла.
Внедрить эту штуку в PKM систему и действительно получится второй мозг!
РКМ в какой области?
databerry на гитхабе удалили полностью, не сохранился ли архивчик? Можете выложить где нибудь?
В комментариях
Интересная идея сам давно хочу что-то подобное реализовать Ну не где-то там в телеграме Или Гекхак А на компьютере. Вроде есть портативные версии но играться в консоли или терминале уже надоело где бы найти Готовое решение например в exe файле чтобы можно было запустить указать ему на каких данных тренироваться В общем нормальный человек понятный интерфейс Без разных командных строк. Типа как докрутили стейблдиффюжин От автоматика.
Тут суть работы не в программировании (там 200 строк кода), а в настройке структуры и содержании документации. Мы у себя в компании как раз такое делаем. Сейчас вышли на точность ответов в 94%. Это реально круто и работает!
@@dmitrybryantsev6332 я вроде понимаю, но понимаю, что не повторю такое. А как бы научить этот весь колхоз разговаривать с данными в Obsidian? Этож будет абсолютное оружие разума )))
А локальные Azure OpenAI модельки вместо классического OpenAI API из коробки не поддерживает?
В каком инструменте вы работаете (Показан на 10:30)?
В смысле браузер? Это Arc.
Это все еще актуально? или с новой версией можно тоже самое делать через openai?
Отлично, как раз хотел такое, но те решения, что я использовал оказывались или дорогими или не удобными.
Спасибо большое, я даже не знал, как раз думал как найти подобную систему. А Вы знаете, он поддерживает агента для аордпрессовского сайта?
Там есть js агент, я думаю, что его можно внедрить на WP
а как туда запушить гитхаб репозиторий в эти датасеты?
Я думаю можно написать скрипт, который по одному файлу проиндексирует репу и расставит обратные URL ссылки
Дмитрий, а какой браузер используется в видео?
Arc
Можно подробные шаги добавления БД в PGadmin ?
t.me/c/1419874945/37622/37647
@@SeniorSoftwareVlogger Битая ссылка , можешь обновить привет!
Я что-то не понимаю? Мне нужен доступ к их репозиторию?
Ссылок никаких, ссылка в телеге ведёт на пустой гит..
Челик удалил проект с гитхаба, но у него уже куча форков. Вот этот все еще с лицензией MIT github.com/trivikr/databerry/tree/c01b64779da0b336f42c3d441595033cadd669a0
@@SeniorSoftwareVlogger Да, уже нашёл, спасибо.
Разобрал код и выяснил как он работает.
К сожалению о приватности речи не идёт, да и запросы к нейросети придётся строить так, чтобы вытаскивался нужный документ с помощью названных в промте ключевых слов.
Для меня этот вариант не подходит(
уже можно свои gpt делать на опенАИ. и загрузить туда свои данные до 10ГБ
Ага, только это платная тема, ты забыл добавить
@@lektorvt8060 о боже, 5 баксов за лям токенов. Ты нищеброд? что тогда делаешь в этой теме?
а бот может по мере развития проекта записывать данные в бд "для себя"? сейчас я вижу, что он может читать оттуда и вызывать внешние функции
Какую базу данных вы имеете ввиду? Бот это обычная программа. Она может записывать в любую СУБД любые данные, которые видит
@@SeniorSoftwareVlogger ну я сейчас пытаюсь придумать "прожект-менеджера", который может создавать таски в борде, опрашивать программистов, что сделано, формировать отчеты и отвечать на уточняющие вопросы. для всего этого нужна долговременная память, векторная бд, или типа того. было бы прикольно, если бы бот мог не только считывать документы, но и дописывать в них историю развития проекта в каком-то нативном формате...
Прошу, объясните мне. Нужен лиц ключ чтоб это работало ? Или это может работать на моем сервере и больше мне ничего не нужно? Версия бота 3.5 подойдет даже.
Нужен будет платный аккаунт для open ai API
Так это бесплатно что ли доступ к GPT4 доступ получается?
Спасибо за видео, очень полезно. Никто случайно не сталкивался с тем, что при подключении агента к датасоурс в чате вместо ответа ошибка AxiosError: Request failed with status code 500. Судя по логу, проблема на стороне qdrant, но пока не смог найти решения. qdrant::actix::helpers error processing request: The replica set for shard 0 on peer does not have enough active replicas и как следствие = bad response на стороне клиента
Возможно не создан bucket в minio
@@SeniorSoftwareVlogger да не, это все сделал по гайду, даже объекты в нем появились
Получилось стартануть? У меня в ошибку валиться databerry-base-api-1 Может есть решение?
This error happened while installing a direct dependency of /home/node
2023-09-21 13:36:58 undefined
" not found13:36:58 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev
2023-09-21 13:36:58
2023-09-21 13:36:58 Did you mean "pnpm prisma:migrate:dev"?
2023-09-21 13:36:59 undefined
" not found13:36:59 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all
2023-09-21 13:36:59
2023-09-21 13:36:59 Did you mean "pnpm dev:all"?
2023-09-21 13:36:59 ###### READY TO ROCK !
2023-09-21 13:42:00 ###### INITIALIZING PROJECT
: not found13:36:59 /home/node/.dev/init.sh: 13:
2023-09-21 13:36:59 sleep: invalid time interval 'infinity
'
2023-09-21 13:36:59 Try 'sleep --help' for more information.
: not found13:42:00 /home/node/.dev/init.sh: 2:
: not found13:42:00 /home/node/.dev/init.sh: 3:
2023-09-21 13:42:00 /home/node/.dev/init.sh: 4: cd: can't cd to /home/node
: not found13:42:00 /home/node/.dev/init.sh: 6:
isn't supported by any available resolver.ORTED_BY_ANY_RESOLVER
2023-09-21 13:42:02
2023-09-21 13:42:02 This error happened while installing a direct dependency of /home/node
: not found13:42:02 /home/node/.dev/init.sh: 8:
2023-09-21 13:42:04 undefined
" not found13:42:04 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "prisma:migrate:dev
2023-09-21 13:42:04
2023-09-21 13:42:04 Did you mean "pnpm prisma:migrate:dev"?
: not found13:42:04 /home/node/.dev/init.sh: 10:
2023-09-21 13:42:05 undefined
" not found13:42:05 ERR_PNPM_RECURSIVE_EXEC_FIRST_FAIL Command "dev:all
2023-09-21 13:42:05
2023-09-21 13:42:05 Did you mean "pnpm dev:all"?
: not found13:42:05 /home/node/.dev/init.sh: 13:
2023-09-21 13:42:05 ###### READY TO ROCK !
2023-09-21 13:42:05 sleep: invalid time interval 'infinity
'
2023-09-21 13:42:05 Try 'sleep --help' for more information.
Подари чату гпт свои данные и заплати ему
Даже пророк Иешуа уже на ютубе…
Обложку к видео сложно понять
А она же должна быть кликбейтной
Я Олег
Странный подход. Получается чанки из документа для отправки в промт ищет векторная база данных. А если эта база не справится? Если встроенное сравнение векторов не вывезет? Да и объем чанка мал, контекста мало. Видется мне что сама LLM более мощный инструмент, она сама должна напрямую смотреть в документы. Если через апи OpenAI это не сделать то лучше сразу поднимать какой-то аналог локально и работать с ним. По мне это более правильный путь поиска по своим данным. Если не хватает ресурсов то можно попробовать уменьшенные оптимизированные модели, их вроде много вышло
Справляется отлично для умного бота службы поддержки, например. А то что вы описали это уже дообучение сети и вот так просто на своей машине сети таких масштабов пока нельзя дообучать.
Я запустил все докер контейнеры [+] Running 8/8
✔ Container docker-minio-1 Running 0.0s
✔ Container docker-init_bucket-1 Started 0.0s
✔ Container docker-maildev-1 Running 0.0s
✔ Container docker-qdrant-1 Running 0.0s
✔ Container docker-pgdb-1 Running 0.0s
✔ Container docker-pgadmin-1 Running 0.0s
✔ Container docker-redis-1 Running 0.0s
✔ Container docker-redis-ui-1 Running 0.0s
Но как понимаю падает скрипт Dockerfile sh: 1: turbo: not found
ELIFECYCLE Command failed.
WARN Local package.json exists, but node_modules missing, did you mean to install? Мне нужно устанавливать nodejs/npm ?
Причины и следствия расставляйте правильно
Где скачать все это?
А как сделать чтоб он голосовым был?
А он умеет в многоязычность? Например если документы на испанском, а я по-английски спрашиваю?
отбой, досмотрел до 25:00
Тоисть юзание его будет платным?
некоторое количество денег потратить придется
привет Тарзан-Програман
Ииисус!
А как для локальной модели так сделать?)
Если конкретно с databerry, то надо будет немного покодить.
Всем привет, у кого есть код из проекта гитхаб из видео?
В комментариях
Память нужна GPU а не оперативка ;)
А что за браузер у автора?
Arc
Господин синьор! Мне, простому смертному, хотелось бы обратить ваше высочайшее внимание на то, что ТОКЕНИЗАЦИЯ И ЕМБЕДДИНГ - ЭТО РАЗНЫЕ ВЕЩИ, БЛЯТЬ!!!
сколько это стоит?
Привет, очень "сырой" сервис... Спасибо за информацию!)
зачем так заморачиваться с конвертацией pdf, jpg, ссылок на соц.сети и т.п. в текст и городить прочие костыли?)) не проще для этой цели воспользоваться claude ai, который с такими файлами спокойно работает?
Это нужно чтобы локально сузить контекст, который будет отправлен сети.
Просто супер!!!
Но чет получаю ошибку от /v1/embeddings - 429 Too Many Requests
По локальной настройке - все настроил по реководству.
- Ключ openai получил.
- Добавил в pg записи о подписке своего юзера
- Создал бакет в s3. (вижу, что в нем появляются новые объекты.
- Создал Datastore и Agent
-
Решил попробовать на PDF книге сразу. В stdout в логах databerry-base-api-1 вижу эту ошибку.
Создал обычный текстовый Datastore из 3 абзацев текста. Для него агента. Все равно эта ошибка.
Единственное на что сейчас грешу, что ключ openai я получил. Но там у меня бесплатная версия.
Может кто подсказать, в чем проблема?
databerry не обрабатывает код ошибки от openai api, когда много нужно проиндексирвоать сервис просто шлет все разом в api и отваливается с ошибкой
сколько денег на openai api уходит?
Зависит от использования. У них на сайте есть тарифы за количество токенов.
@@SeniorSoftwareVlogger я знаю про тарифы, имел ввиду сколько у вас в обычном режиме использования..
Я использую для других целей. Уходит баксов 10-20 в месяц
Можно ли так ему сворить целую книгу?
Да
Привет, попалось твое видео, расскажи про fractalGPT
выглядит как реклама
6:14
Этих ботов сейчас везде встраивают. Даже в последней версии браузера Опера появились вкладки ChatGPT и их кастомного бота. Проблема в том, что они не работают (возможно из-за большого количества запросов). Интересно, ChatGPT на локальном компьютере можно запустить?
капец, вылитый Толян Линкинсимпс, только с длинными волосами
Не придумывай
Интересная вещь. Скормив все посты какого-нибудь пользователя, то можно будет спросить бота представляет ли этот человек опасность или имеются ли в его постах какие-либо экстремистские или дискриминационные высказывания. Цифровой гулаг уже совсем скоро.
Да с этим и без того справлялись
Забили бы вы уже на этоу политизированную помойку Chat GPT и работали бы с нормальными языковыми моделями которые не лезут в политику и не устраивают нацизм блокируя пользователей по национальности и месту жительства. Дизлайкать не стану ибо люблю твой канал, но ей богу уже в печенках сидит рекламирование этой гадости которая так по свински поступает.
Поделись ссылками на нормальные языковые модели, пожалуйста?
@@SeniorSoftwareVlogger Так собственно и обращаюсь к вам как к профессионалу который бы протестировалы бы полный спектр нынешних моделей что бы выявить плюсы и минусы, сравнить с тем же чатом. Лично я на данный момент пользуюсь в работе Writesonic, Perplexity и ради развлечения и мониторю ещё 3 проекта , так как у них мне кажется есть неплохой потенциал это BAI Chat, YOU AI chat, AgentGPT (Лама на своей машине так же стоит, но её советовать не буду, это на любителя)
Perplexity powers its ‘answer engine’ with Azure OpenAI Service.
Writesonic: As they say, where there's a will, there's a way; Samanyou discovered that Open AI had just launched GPT-3. Within a few days, he built an AI-powered landing page generator using GPT-3. The product went viral and became one of the top AI Writers.
@@SeniorSoftwareVlogger Я знаю что это такое :) Я с этим работаю. Но например я был бы заинтересован узнать какие ещё есть хорошие альтернативы тому же чату жпт, нельзя полагаться на один инструмент особенно когда он так политизирован.
@@AnshegarНе думаете ли вы, что любая информационная технология, которая становится массовой, обречена стать политизированной тем, кто управляет этой технологией? Я понимаю ваш посыл, но такова правда, что власть одних над другими это в первую очередь власть над информацией, которая вливается в из мозг. Википедия в зачатке была отличной идеей свободной энциклопедии, где каждый мог делать правки. Но осмелится ли кто-то сегодня сказать, что Википедия по прежнему свободна от влияния политики?
не умеет объяснять. сумбурно, непонятно, без примеров
Иисус, это ты?
@Eldar Gerfanovсын иисуса, Столлмана)
ИИ сус )
Сколько еще раз стоит так пошутить, чтобы это действительно стало смешным?
Да!!!
НейроИИсус
ваше видео уже устарело, сейчас не нужно проходить такой гемор, у опенай есть уже решение
и?
это прям аналог ? Опен АИ также внутри документов индексирует и выдаёт ответ ?
та просто GPT4all качаешь и не мучаешься. То что ты показываешь уже устаревший подход)
Зачем мучаться с кодом, когда уже написали норм апликуху под все платформы.
ты точно смотрел видео?
Какая у тебя бесячая громкая клавиатура, невозможно слушать это печатанье
Какой сеньор называет /etc/hosts ЕЦТ??? )))) ору
Тот же, что говорит пэхапэ и веб.
@@SeniorSoftwareVlogger какая связь? Перестановка букв меняет значение слова полностью. В этом примере никакой перестановки нет.
Друган я это искал! Но нехрена не понял. Суть в чём! Нам бы по шаговое видео и было бы круто
Пиздеж чистой воды. В платной версии GPT есть возможность работать со своими данными
УЖЕ есть