Здравствуйте, Евгений Музыченко, Вы писали:

ЕМ>Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты.

Sphinx достаточно универсален и позволяет индексировать всё что угодно. Он индексирует те документы, которые вы ему предоставляете. Вам нужно лишь скачать данные и предоставить их Sphinx'у для индексации.
Т.е. вопрос не в поисковой машине, а в инструменте для обхода ссылок и скачивания документов (web crawler'е) и хранилище документов.

Точно так же построены и поисковики общего назначения, кстати. Там три основных компонента — web crawler, хранилище и поисковый индекс.