hbaseを必要とするhadoopプログラムを実装しています。Hadoop2.5.1とHBase0.20.6を使用しています(最初は0.94.8を使用しましたが、問題が発生した後、元のソースコードのドキュメントに記載されているため、0.20.6に変更してみましたが、残念ながら解決しませんでした問題。)
'javac'を使用してコードをコンパイルし、jarファイルを実行した後、ジョブはマップ67%でスタックしました(%は入力に基づいて変化します)。
https://dl.dropboxusercontent.com/u/51053996/Pics/map_stuck.jpg
コードの一部にコメントを付けて問題を調査してみたところ、HTableの開始がどういうわけか行であることがわかりました。
https://dl.dropboxusercontent.com/u/51053996/Pics/htable.jpg
それが関係しているかどうか私にはわからないいくつかの手がかりがまだあります:
'sudo'を使用して "hadoop jar ..."を実行しようとしたときの権限の問題(ただし、 "sudo -u hduser hadoop fs -chown ...や-chmod ...などのコマンドを発行してこれを修正しました)
https://dl.dropboxusercontent.com/u/51053996/Pics/hbase_permission.jpg
start-hbaseの後に実行されている「jps」:H ..プロセスを表示できるように「sudojps」を発行する必要があります(そうでない場合は、hadoopのみが表示されます)。hadoopを実行すると、HMasterなどの一部のプロセスが表示されなくなります。
https://dl.dropboxusercontent.com/u/51053996/Pics/jps.jpg
どんな助けでも本当にありがたいです:)
私はこの問題を解決しました。互換性を非常に注意深く再確認しながら、HadoopとHBaseの両方を再インストールすることによって(apacheの公式Webサイトでそれらを検索できます)。私の場合、Hadoop2.5.1とHBase0.98.11を使用しています。
これが後で誰かを助けるかもしれないことを願っています。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加