Но сам чат очень слабый, это скорее прокачанный поисковик по локальным файлам. Лучший вариант это oobabooga и интерфейс к нему типа SillyTavern. Да конечно она скорее для РП предназначенная, но функционала в ней больше всего. Можно вырубить все РП штуки и толкать бота в нужном направлении, через авторские заметки и другие инструменты.
@@kvoloshenko Это же серверное решение. И там сами блоки малую часть модели вмещают и их нужно в кластеры собирать. На редите считали и там огромная стоимость для 70b модели вышла, больше ляма баксов.
Все ссылки см. здесь: t.me/AiExp01/81
GPU тут не использовалась, это видно было в диспетчере зпдач на первой вкладке
Спасибо)
Что думаешь по поводу разработки от NVidia ChatWithRTX?
У меня карта 3080 - работает ооооочень бодро.
Но сам чат очень слабый, это скорее прокачанный поисковик по локальным файлам. Лучший вариант это oobabooga и интерфейс к нему типа SillyTavern. Да конечно она скорее для РП предназначенная, но функционала в ней больше всего. Можно вырубить все РП штуки и толкать бота в нужном направлении, через авторские заметки и другие инструменты.
Не заработала
Заcтопорилась на with rtx
Возможно будет интереснее дождасться в продаже LPU (Language Processing Unit) типа Groq, см. t.me/AiExp01/83
@@kvoloshenko Это же серверное решение. И там сами блоки малую часть модели вмещают и их нужно в кластеры собирать. На редите считали и там огромная стоимость для 70b модели вышла, больше ляма баксов.
как установить в нее модель с huggingface?
см. инструкцию здесь: t.me/AiExp01/84