Здравствуйте, _ilya_, Вы писали:

__>Но качество — хуже Qwen3.6 35B (которая в 1 "слабую" видюху с большим контекстом не лезет в Q4 увы).
это MoE модель же, поэтому её можно разбросать между ОЗУ и VRAM (гугли)

__>Мой тест на логику 27B не прошла, а 35B прошла как и более серъезные модели (но они уже на 120B+).
ну вообще в кодинге по идее (по официальным бенчам, и не только) 27B dense чуть круче, чем 35B MoE

__>Если впихивать и задействовать RAM, скорость в 4 раза медленнее e 35B чем у MOE 27B.
ты чё т гонишь, MoE это как раз qwen3.5:35b-a3b — а qwen3.5:27b это dense (плотная модель)

__>Но работает хоть и медленнее, зато точнее.
ну обычно ваще главное это pp512 рекомендуется от 250 t/s и выше, но на любительских проектах часто может хватать и от 120 t/s (input)

Здравствуйте, _ilya_, Вы писали:

__>Но качество — хуже Qwen3.6 35B (которая в 1 "слабую" видюху с большим контекстом не лезет в Q4 увы).
это MoE модель же, поэтому её можно разбросать между ОЗУ и VRAM (гугли)

__>Мой тест на логику 27B не прошла, а 35B прошла как и более серъезные модели (но они уже на 120B+).
ну вообще в кодинге по идее (по официальным бенчам и не только) 27B dense чуть круче, чем 35B MoE

__>Если впихивать и задействовать RAM, скорость в 4 раза медленнее e 35B чем у MOE 27B.
ты чё т гонишь, MoE это как раз qwen3.5:35b-a3b — а qwen3.5:27b это dense (плотная модель)

__>Но работает хоть и медленнее, зато точнее.
ну обычно ваще т главное это pp512 рекомендуется от 250 t/s и выше, но на любительских проектах часто может хватать и от 120 t/s (input)