Qwen3.8 на 12 ГБ: 262 000 токенов и 70 токенов/с? Не всё так просто
RTX 3060, 12 ГБ видеопамяти, Qwen3.8-27B, контекст 262 тысячи токенов и скорость почти 70 токенов в секунду. Судя по заголовкам, для локального ИИ наступили прекрасные времена. Вот только у этих цифр разное происхождение. В видео разбираю, откуда взялись оба результата, почему их нельзя собрать в одну конфигурацию на одной видеокарте с 12 ГБ и какие компромиссы там реально доступны: длинный контекст, высокая скорость или больше видеопамяти. ТАЙМКОДЫ 0:00 Двести шестьдесят две тысячи токенов 1:07 Два теста, которые плохо смотрятся в одном заголовке 2:27 Шестнадцать слоёв вместо шестидесяти четырёх 3:39 Куда исчезли двенадцать гигабайт кеша 4:44 Все 27 миллиардов приходят на работу 6:12 Стол, на котором не осталось места 6:58 Двенадцать гигабайт. Почти. 8:35 История одной красивой цифры: 64,4 10:01 Почему у RTX 3080 всё ещё есть преимущество 11:41 MTP: меньше проходов, больше токенов 13:03 Когда вместо видеопамяти работает DDR4 13:54 RTX 3060 и 96 тысяч токенов: рабочий компромисс 16:05 Две видеокарты: 24 гигабайта без покупки одной дорогой 17:39 Пятьдесят токенов - пока контекст не заполнен 19:01 Шестнадцать гигабайт и результаты, которые трудно повторить 20:34 Три проверки перед запуском 23:14 Если контекст важнее скорости 23:57 Если важнее скорость 25:01 Имеет ли смысл переходить на 16 или 24 гигабайта 26:23 За что платим в итоге ВАЖНО Все цифры взяты из публичных пользовательских тестов и расчётов по опубликованным характеристикам. Это не лабораторные бенчмарки, а конфигурации из разных строк таблиц, которые нельзя напрямую сравнивать. Результат на ноутбучной RTX 3080 Ti с 16 ГБ получен на модифицированной сборке llama.cpp и независимо не проверялся. Если вы уже запускали Qwen3.8-27B на 12 гигабайтах, особенно с контекстом больше 96 тысяч токенов, напишите в комментариях: видеокарта, квантизация, объём RAM, длина контекста и реальная скорость. Такие результаты гораздо полезнее очередных обещаний рекордной производительности. #Qwen38 #локальныйИИ #RTX3060 #llamacpp #LLM
Название:
Qwen3.8 на 12 ГБ: 262 000 токенов и 70 токенов/с? Не всё так просто
Категория:
Разное