Здравствуйте, Shmj, Вы писали:
S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения. S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?
В этом случае речь не идет о "до-обучении".
Одной книги для до-обучения LLM будет бесконечно мало.
Решение из коробки — использовать RAG, это промышленный подход.
Делаешь "агента" на базе твоей LLM, загружаешь ему в источники твою книгу. Если она до 10мб, должно быть норм.
Она индексируется и падает в вектор стор, много токенов жрать не будет. У модели будет функция "поиск по книге", которую она будет при необходимости использовать.
Запросы делаешь к агенту, а не просто к LLM. Это поддерживают все из коробки.
Реальное до-обучение моделей типа Claude или GPT в домашних условиях абсолютно нереально IMHO.