ИИ Агент на дешевой GPU. CPM30hx.
Мое закрытое сообщество https://amorev.ru/promo Мой ИИ-провайдер https://ai.wormsoft.ru. Мой Telegram-канал https://t.me/gmoreva Можно ли превратить старую видеокарту с 6 ГБ видеопамяти стоимостью всего 5 000 рублей в полноценного голосового AI-агента? Сегодня будем выжимать максимум из NVIDIA CMP 30HX! Это довольно медленная и бюджетная видеокарта, но я решил проверить, можно ли заставить её не просто запускать небольшие языковые модели, а выполнять полноценные агентские задачи с голосовым управлением. И мне удалось собрать довольно интересную систему! Помогал мне в этом Deepseek v4.1 Flash 1017. Главная идея — ускорить работу медленной LLM за счёт динамического наполнения KV-кэша прямо во время речи пользователя. Как это работает: 🎙️ Пока пользователь говорит, система в реальном времени распознаёт речь. ⚡ Параллельно происходит Prefill: поступающая информация постепенно добавляется в KV-кэш модели. 🧠 Когда пользователь заканчивает говорить, модель уже имеет практически готовый контекст и может сразу приступать к генерации ответа. 🔊 Ответ отправляется в TTS по мере генерации, поэтому голос начинает звучать практически сразу. 🔧 При необходимости агент может вызывать инструменты, например веб-поиск. Таймкоды: 00:00 Введение 00:26 5000р за видеокарту 00:59 Что хочу сделать с ней сегодня? И как 03:47 Смотрим ТЗ 06:04 Проверяем результат 08:24 Добавляем silero 09:01 Сколько это стоило? 10:17 Какой моделью мы писали эту систему? Deepseek v4.1 Flash 12:50 Проверяем Silero 15:01 Проверяем префиллинг кэша. Чиним 17:00 Тестируем обновленный префилл 17:51 Чиним тулкол и промежуточные итоги 20:00 Финальный тест 20:53 Включение уже после записи 23:01 Подведение итогов #deepseek #silero #ai #agent
Название:
ИИ Агент на дешевой GPU. CPM30hx.
Категория:
Технологии и интернет