Solrはこれを行うことができます。これを使用すると、クロールするデータソースを定義でき、データを解釈します。 Solrは無料でオープンソースです。

Solrは非常に高速な検索エンジン（Lucene）を備えており、大量のデータをインポートできます。 XML 、 JSON 、 HTML などの「フィールドのような」データ用に最適化されていますが、テキストを含むすべてのもの（Word、PDFなど）のコンバーターがあります。など）

インデックスを作成するイントラネットサイト（<100.000）がいくつか必要で、データベースにアクセスできる場合は、データインポートハンドラーを次のように設定する必要があります。

それ以外の場合は、データをサーバーに送信する独自​​のものをコーディングする必要があります。

これは開発ツールおよび not エンドユーザーのプログラム。いくつかのインターフェースを作成する必要があります。 （私の経験では、非常に簡単です）

さまざまなフィールド（ meta 、 title 、 url 、 content 、 language 、 filetype ...）このフィールドを具体的に検索できます。検索を絞り込むことができます。ダウン。たとえば、イントラネット内のすべてのサイトに作成者がいて、そのフィールドにアクセスしてインデックスを作成できる場合、この作成者からのすべてのドキュメントを検索できますが、彼に関するすべてのドキュメントは無視してください。また、あいまい検索（「seach」で「search」を見つける）もサポートしています。

あるプロジェクト（および多くの場合、基盤となる検索エンジンLucene）でSolrを使用し、非常に感銘を受けました。 。データ処理エンジンの高い柔軟性は信じられないほどです。検索部分は非常に高速なので、いつかリストに追加して、その仕組みを理解できます:)

必要なのが検索クローラー&検索インターフェースだけである場合、Solrの構成オーバーヘッドは必要なものではない可能性があります。しかし、30.000.000のドキュメントを噛み砕くツールが必要な場合は、これが最適なツールです。私がそれを使用したプロジェクトでは（上記の量のドキュメントで）、Solrの検索時間よりもネットワークの待ち時間に問題がありました。インデックスを複製し、検索要求を他の要求に分散する負荷分散Solrインスタンスを使用できます。そしてそしてそして...このツールのさまざまな最適化の量は驚異的です。もちろん、これには、あまり直感的ではない可能性のある必要な構成が少し含まれています。

上記のように、 Solr は Lucene のラッパーです。サイトの作成を行うための CMS がすでにあるので、利用できる Luceneプラグインがすでにある可能性があります。

Duckduckgoは、インターネットクローラーおよび検索エンジンです。

ソースコードは次のとおりです： https://github.com/duckduckgo

コンパイルして、イントラネットWebサイトのみをクロールするように構成し、イントラネット内のサーバーでホストすることができます。

とはいえ、Webインターフェイスのクロールはあまり効率的ではありません。コンテンツが実際に保存されている場所に戻ることができる場合は、（たとえばSolrを使用して）はるかに優れています。これにより、さまざまなアクセス権を持つユーザーにさまざまな結果を表示することもできます（たとえば、履歴書を検索できるのは人事担当者のみです）。

Sphiderまたは（より良い） Sphider Plus

これまでのところ、どちらも素晴らしいと思います。 Sphider Plusが1000倍優れていることを除けば、ほとんど同じです。オリジナルを「ライト」バージョンと考えてください。これは本当にレックです。 Sphider plusの場合、これが主に説明する機能セットです。

• PHP5または6が必要です。
• データベース（MySQL-IIRCは他のいくつかのデータベースも使用できます） DBエンジン）

要件に一致する機能：

• インデックスを作成するファイルの最大数はありません
• HTMLにインデックスを付け、ビルドを通じてコンバーターでは、PDF、DOCX、XLSX、ODT、ODS、CSV、XLSファイルのインデックスを作成できます。
• かなりリーズナブルな価格（25 EURO）
• 強力な管理インターフェース
• かなりの自動化（つまり、CRONによる自動インデックスの再作成など）

利用可能なサイトもクロールする必要があるようですね。私が設定した無料のWebクローラーはHeritrixです。これはオープンソースであり、InternetArchiveの「WaybackMachine」が実行されるものです。

https://webarchive.jira.com/wiki/display/Heritrix/Heritrix

次に、検索の実際のインデックス作成を行うために、Solrのようなものと組み合わせる必要があると思います。