Здравствуйте, rm2, Вы писали:

rm2>Что такое "домашняя открытая машина"? Речь не о компах менеджеров и секретарш, речь о машинах опытных программистов, которые вполне себе могут обеспечить безопасность собственных компьютеров.
домашняя открытая машина — компьютер, который администрируется самим программистом дома и где он сможет устанавливать какое хочет железо и софт. В этом случае "секретность" являются иллюзией чуть менее чем полностью, так как периметра безопасности просто нет.

Здравствуйте, spb5030, Вы писали:

S>Купил таки =)

Тихо завидую. У меня в два раза меньше VRAM, но тоже играюсь потихонечку.

Чем планируешь заняться на этой игрушке?

Это билет в 70b. Наверно получится и сильно квантизованную 120b+ запустить.

Здравствуйте, _ilya_, Вы писали:

__>96GB сейчас — "ни рыба ни мясо", непонятно куда пойдет. По пропускной это как 2x3090, раз в 5 которые дешевле но в 2 раза меньше памяти, непонятно что на 96GB запускать.

Объем VRAM — это определяющий параметр в ИИ сейчас. 96 Гб достаточно для уверенного запуска моделей 70b и неуверенного 120b в сильном квантовании.

Ну и есть надежда прикупить вторую такую. А у нее еще и NVKink есть. А 192 Гб — это пропуск в 120b+. Это уже весьма умные модели. Уже 35b достаточны для кодинга. Но им нужно всё разжёвывать. А 120+ способны к анализу.

У меня на работе доступна gptoss122b. Она медленная, за ее использование довольно быстро банят и у нее не большой контекст (128К токенов). Но анализ у нее не плох. Я использую свою домашнюю 35b модель для кодинга, а 122b для анализа результатов и составления плавно. Получается не плохо.

Если бы можно было запускать "дома" 122b было вообще шикарно!

Здравствуйте, VladD2, Вы писали:


VD>У меня на работе доступна gptoss122b. ... за ее использование довольно быстро банят ...

Своеобразная однако доступность

Здравствуйте, paucity, Вы писали:

P>Своеобразная однако доступность

Согласен. Но как есть. Все лучшем чем совсем ничего. Ну оно со временем разбанивает. Типа эдакая защита от перегрузки. На промта 2-3 хватает. Потом бан. Через минут 5-10 можно оно само продолжает работать.

По этому предпочитаю использовать свою личную связку из 4090+3090Ti и qwen3.6-35b-a3b. Да она тупее, но никаких проблем с банами и тормозов нет. А 122b использую для контроля. Ну и глазками смотрю и пинаю тупенькую qwen3.6-35b-a3b. Тупизна еще не так страшна как её безудержное желание сделать то, что ее не просили. Сегодня пришлось её долго уговаривать отказаться от идеи нормализации пробелов в raw-литералах C#. Пока не объяснил ей, что и так она упорно пыталась исправить проблему которой нет и тупо херила уже написанный код. С ней приходится всегда сташиться (в системе контроля версий) перед продолжением работы.