Здравствуйте, Shmj, Вы писали:
S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения. S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?
В этом случае речь не идет о "до-обучении".
Одной книги для до-обучения LLM будет бесконечно мало.
Решение из коробки — использовать RAG, это промышленный подход.
Делаешь "агента" на базе твоей LLM, загружаешь ему в источники твою книгу. Если она до 10мб, должно быть норм.
Она индексируется и падает в вектор стор, много токенов жрать не будет. У модели будет функция "поиск по книге", которую она будет при необходимости использовать.
Запросы делаешь к агенту, а не просто к LLM. Это поддерживают все из коробки.
Реальное до-обучение моделей типа Claude или GPT в домашних условиях абсолютно нереально IMHO.
Здравствуйте, Shmj, Вы писали:
S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?
Я считаю, что смысла нет, так как нейронки и так ответят на вопрос.
Здравствуйте, Shmj, Вы писали:
S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения.
А где ты берёшь информацию на каких именно книгах обучались сети, а на каких нет? И кто давал дозволения, а кто нет?
Многие и рады были бы испытать когнитивный диссонанс, но нечем.
Здравствуйте, Shmj, Вы писали:
S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения.
S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?
Нет смысла доучивать умные модели, потому что не умея, ты скорее всего просто испортишь их алайнмент. Т.е. книги они твои знать будут, а отвечать нормально разучатся.
Есть другая теория о "бесконечном контексте". Основная идея — это дать агенту в руки поиск и он тебе сможет находить.
Имея доступ к твоей библиотеке агент легко сможет найти и прочитать твою книгу и ответить на твой вопрос по ней из текущего контекста, а не из каши-малаши из памяти. Да он не будет потом помнить о ней, но разве это так уж необходимо?
Здравствуйте, Shmj, Вы писали:
S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения.
S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?
Плохая постановка. Какие книги? Какие вопросы?
FineTuning — это дорогой и ненадежный способ для людей которые обладают соответствующей квалификацией и умеющих подбирать гиперпараметры. Не рекомендую от слова совсем.
Цитирование — это совсем не самая сильная сторона моделей. Даже если модель обучена профессионалами — не советую верить цитатам. И даже наличию таких цитат.
Если это вопросы по художественной литературе, то это суммирование книги или различных частей, и уже его запихивать в контекст (промпт).
Если это по технической литературе, то на ум сразу приходит Obsidian + skill Андрея Карпаты + любой агент OpenClaw или Claude Code. https://habr.com/ru/news/1018876/ Строится wiki по которой удобно бегать, и в которой статьи тематически разбиты. Затем проиндексировать RAG, или даже полнотекстом.
