Здравствуйте, Shmj, Вы писали:

S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения.
S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?

В этом случае речь не идет о "до-обучении".
Одной книги для до-обучения LLM будет бесконечно мало.

Решение из коробки — использовать RAG, это промышленный подход.

Делаешь "агента" на базе твоей LLM, загружаешь ему в источники твою книгу. Если она до 10мб, должно быть норм.
Она индексируется и падает в вектор стор, много токенов жрать не будет. У модели будет функция "поиск по книге", которую она будет при необходимости использовать.
Запросы делаешь к агенту, а не просто к LLM.

Реальное до-обучение моделей типа Claude или GPT в домашних условиях абсолютно нереально IMHO.

Здравствуйте, Shmj, Вы писали:

S>Такой вопрос. Вот есть пиратская библиотека. По идее на этих книгах сети не обучены, т.к. авторы не давали дозволения.
S>Имеет ли смысл эти книги преобразовать в обучающий сет (как?) и дообучить сетку, чтобы можно было задавать вопросы по книге и получать ответы?

В этом случае речь не идет о "до-обучении".
Одной книги для до-обучения LLM будет бесконечно мало.

Решение из коробки — использовать RAG, это промышленный подход.

Делаешь "агента" на базе твоей LLM, загружаешь ему в источники твою книгу. Если она до 10мб, должно быть норм.
Она индексируется и падает в вектор стор, много токенов жрать не будет. У модели будет функция "поиск по книге", которую она будет при необходимости использовать.
Запросы делаешь к агенту, а не просто к LLM. Это поддерживают все из коробки.

Реальное до-обучение моделей типа Claude или GPT в домашних условиях абсолютно нереально IMHO.