いくつかのインデックスで、それぞれ約10GBのデータをelasticsearchクラスターにインポートしています。
同時に、私たちは既存のインデックスの検索に関心を持っています。それらのいくつかは小さい-〜100mb、いくつかは大きい-〜10gbです。
インデックス作成を最適化するために、次のことを行い
ますbulk。-最適化されたバルクサイズでAPIを使用します。
-更新間隔を-1;に設定します。
-レプリケーション係数を0;に設定します。
現在、マージスロットリングがどのように役立つかを理解しようとしています。既存のインデックスに対してのみ検索する場合、検索とセグメントのマージはどのように関連していますか？
この記事によると、マージスロットリングを無効にすることができます。
-それは、マージがディスクI / Oを「食べる」ことを意味しますか？
-それは、マージがまったく行われず_forcemerge、インデックス作成が行われた後、手動で行う必要があることを意味しますか？このような場合、最大オープンファイル記述子について心配する必要がありますか？
これらの記事とプルリクエストによると、マージ設定にはまったく触れないでください。
ここで非常に混乱しています、どんな助けでも大歓迎です。
ここでの議論によると：
ES 2.x以降、IOスロットルはLuceneによって自動的に処理されます。つまり、マージされたセグメントへのバイトの書き込み時に20MB /秒のスロットルで開始されます。次に、マージが遅れるとそのレートが増加し、それ以外の場合は減少します。これは、時間の経過とともに、マージがインデックス作成の速度に追いつくために必要なだけのIO帯域幅を吸収することを意味します。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加