N>Если код разрабатывается на твоей домашней машине, то почему ты не можешь подключить облачные модели? Если на удаленной, принадлежащей конторе, то как воткнуть туда железки нвидиа?
Код — секретный. Какие облака? Нужны локальные агенты, и железо которое их может вытянуть. И не обрезанные модели, а полноценные.
Здравствуйте, rm2, Вы писали:
rm2>Код — секретный. Какие облака? Нужны локальные агенты, и железо которое их может вытянуть. И не обрезанные модели, а полноценные.
Контора позволяет разрабатывать "секретный код" на домашней открытой машине?
Здравствуйте, Nuzhny, Вы писали:
N>3. Зачастую хватает локальной. Может быть не все замечают, как движется прогресс, но теперь небольшая локальная модель с поиском в интернете и другими инструментами работает не хуже, чем большая облачная 3-4 летней давности. А многие за большую платили и радовались, она им конкретно помогала.
На ноутбуке это сколько надо RAM/VRAM? Или сразу на макбук с насколько хватиь денег тратиться?
N>В частности могу сказать, что тот же qwen-coder вполне неплохо пишет небольшие функции, скрипты, код на Питоне.
В связке с каким агентом, какого размера модель?
Здравствуйте, novitk, Вы писали:
N>Контора позволяет разрабатывать "секретный код" на домашней открытой машине?
Что такое "домашняя открытая машина"? Речь не о компах менеджеров и секретарш, речь о машинах опытных программистов, которые вполне себе могут обеспечить безопасность собственных компьютеров.
Ну и учитывая, что речь не о военке, в внутренней закрытой от интернета локалки — нет смысла.
Здравствуйте, Артём, Вы писали:
Аё>На ноутбуке это сколько надо RAM/VRAM? Или сразу на макбук с насколько хватиь денег тратиться?
У меня 32 Гб и 4070 с 6 Гб. Для маленькой модельки хватает.
Аё>В связке с каким агентом, какого размера модель?
Не, никаких агентов, мне они приводят код в состояние, при котором я слабо понимаю, что и как он делает. Когда приходится много отлаживаться, код надо контролировать, а не отдавать его на откуп непонятно кому. Вот отдать на написание отдельную функцию с каким-нибудь алгоритмом — это можно.
O>А какого рода эксперименты?
Сейчас — дообучение и использование внешней базы данных по конкретной тематике. Цель — в данной теме приблизить свою модель по качеству ответов к универсальным моделям гигантов.
O>Есть интересные проекты, которыми можете похвастаться?
Проектов как продуктов для пользователя нет и пока не планируются.
O>И как оно по перформансу, с такой видяхой обучать сеть лучше, чем на всяких google collab gpu?
Ммм.. сомневаюсь, там же наверняка кластеры?
Но для моделей, умещающихся в эту видяху, приемлимо.
Ф>Потом попробуй замкнуть цепь с пиковым током в 1 кА за 500 нс — тоже массу интересных ощущений получишь. Я в прошлом году начал — до сих пор замыкаю. Сейчас вот "гайки" с ППГ из чипа и дипа жду. Да, я дошёл до ручки — начал закупаться в чипе и дипе: перерыл весь российский али-экспресс, написал пяти продавцами — никто мне не хочет нужные "гайки" продать.
В электронике не профи, поэтому рад за вас, но сам вряд ли оценю.
Ф>Можешь у своей нейронки спросить, что за "гайки" и зачем они.
Изначально подумал про тиристорные ключи. Оказалось, было близко =)
N>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли?
Потому что интересна сама технология и возможность покопаться в кишках, а не только результат от её использования. Тут да, если забить на приватность и цензуру, можно и решение от дяди взять.
Здравствуйте, spb5030, Вы писали:
N>>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли? S>Потому что интересна сама технология и возможность покопаться в кишках, а не только результат от её использования. Тут да, если забить на приватность и цензуру, можно и решение от дяди взять.
+1
С твоей мотивацией понятно. Просто сложилось впечатление, что этим здесь на КЫВТ подобным занимается чуть ли не каждый, а в США я никого лично не знаю. Вероятно нужно было сделать поправку на реалии СВО.
Здравствуйте, novitk, Вы писали:
N>Здравствуйте, spb5030, Вы писали:
N>>>Обьясните мне дураку, а чем оно лучше чем облачные модели? То есть для для контор использование в локалки еще можно понять, но дома то нахрена все эти костыли? S>>Потому что интересна сама технология и возможность покопаться в кишках, а не только результат от её использования. Тут да, если забить на приватность и цензуру, можно и решение от дяди взять. N>+1 N>С твоей мотивацией понятно. Просто сложилось впечатление, что этим здесь на КЫВТ подобным занимается чуть ли не каждый, а в США я никого лично не знаю. Вероятно нужно было сделать поправку на реалии СВО.
Ну.. хз. Заиметь пару-тройку хороших ВПНов и зарубежную карту для оплаты -- явно проще и дешевле, чем поднять локальную нейронку. Не первую попавшуюся, а ту, которая будет хоть какую-то конкуренцию составлять облачным решениям.
Здравствуйте, novitk, Вы писали:
N>Спасибо, но я купил Pro уже давно. Просто до GSD пятичасовой нормы обычно хватало, как и у тебя.
Норму хавки в тюрьме будут понижать, скорее "не заметно" за счет качества — обнулять качество (такое просто элементарно у модели понижать качество играясь параметрами). Вложено в пирамиду триллионы, онож должно далее окупаться. Или сдохнуть как пирамида недвижки.
Все подписки это демпинг, и он скоро закончится.
Здравствуйте, _ilya_, Вы писали:
__>Все подписки это демпинг, и он скоро закончится.
Это открытый вопрос, на самом деле. Рост цен сдерживают открытые модели, которые по качеству сравнимы с коммерческими предыдущего поколения и конкуренция.
Текущий цикл ИИ-прорывов выходит на плато и нет видимых причин для существенного роста цен.
