Cassandra
現在、5ノードのレプリケーション3で1年以上使用しています。
現在のバージョン1.2.12
をCassandra
介してレコードを削除するプログラムを作成しましたhector/Java
。
古いOS(OpenSuSE
)では、約2500 ops / secの書き込みパフォーマンスがありました。現在、ノードをにアップグレードしていUbuntu 12.04 LTS
ます。(Cassandra
触れられていません、それはそれ自身のRAIDシステムを持っています)。そのため、Deleteing-Programmを新しいOSを持つ他のノードに移動します。このノードでは、書き込みパフォーマンスは約ですが70 ops/sec
、これは許容できません。
私たちは、同じ使用しているJRE
両方のマシンで同じのprogramm-コード。
/etc/security/limits.conf
同じだ。
遅いマシンでJavaコードをプロファイリングすると、ボトルネックは次のようになります。 org.apache.thrift.transport.TIOStreamTransport.read()
カサンドラの操作を遅くするOS設定があるかどうか誰かが知っていますか?ご協力いただきありがとうございます。
更新:(3日目)
kernel 3.5
パフォーマンスが低いマシンでも問題ないことに気づきました...検索を続けてくださいkernel 3.8
パフォーマンスの悪いマシン更新:(4日目)
「OS / kernel-suspicion」が間違っていました/同じカーネルバージョンのubuntuマシンが2台あります/ 1つは高速でもう1つは低速です
...ファイアウォールなし...ネットワークのチェック:P
更新:(5日目)
いくつかのクロステストを実行しました(各ノードを相互に接続しますAllOneConsistencyLevelPolicy
)。Cassandra Kernel 3.8+
-serversへの接続を使用したcassandra-clientsでさらに問題が発生しましたkernel <=3.5
。
次にどこを検索すればよいかわかりません...ブレーンストーミングを歓迎します;)
まだ遅い...への接続だけlocalhost
が(常に)高速です。この現象は、2つの異なるデータセンター(2つの異なるプロバイダー)の2つの異なるクラスターで発生します。したがって、ネットワークインフラストラクチャとは何の関係もない可能性があります。
Cassandrasには、2番目のデータセンター(2.0.6)にも異なるバージョンがあります。
だから私はまだそれがカーネルの問題だと思います...この問題を抱えている人は他に誰もいませんか?
それを見つけました...私たちは非rootユーザーとしてcassandraを実行しています。ubuntuには、開いているファイルの数を制限する追加の「スイッチ」があります。次のスレッドでした。
https://askubuntu.com/questions/162229/how-do-i-increase-the-open-files-limit-for-a-non-root-user
引用:[...]
また/etc/pam.d/common-session*
、次の行を編集して最後に追加する必要があります。
session required pam_limits.so
[...]
トリックをしました。
リソース制限とRAID構成が両方で同じであることを確認してください。先読みは、特に一般的に誤って構成された設定です。このページの「setra」を参照してください:http://www.datastax.com/documentation/cassandra/2.0/webhelp/cassandra/install/installRecommendSettings.html
非rootユーザーとして実行されているCassandraを使用するUbuntu専用:
また/etc/pam.d/common-session*
、次の行を編集して最後に追加する必要があります。
session required pam_limits.so
cp。https://askubuntu.com/questions/162229/how-do-i-increase-the-open-files-limit-for-a-non-root-user
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加