以前のテストユーザーは、接続が失われたエッジサーバーに常駐していました。そのため、エッジサーバーを再構築し、稼働させようとしましたが、以下のエラーが発生し続けます。
Job initialization failed:
org.apache.hadoop.security.AccessControlException:
org.apache.hadoop.security.AccessControlException: Permission denied:
user=test-user, access=EXECUTE,
inode="system":hadoop:test-user:rwx------ at
sun.reflect.GeneratedConstructorAccessor20.newInstance(Unknown Source)
at
sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at
org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:95)
at
org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:57)
at
org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.<init>(DFSClient.java:3371)
at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:743) at
org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:182)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:557) at
org.apache.hadoop.fs.FileSystem.create(FileSystem.java:538) at
org.apache.hadoop.fs.FileSystem.create(FileSystem.java:445) at
org.apache.hadoop.fs.FileSystem.create(FileSystem.java:437) at
org.apache.hadoop.security.Credentials.writeTokenStorageFile(Credentials.java:169)
at
org.apache.hadoop.mapred.JobInProgress.generateAndStoreTokens(JobInProgress.java:3802)
at
org.apache.hadoop.mapred.JobInProgress.initTasks(JobInProgress.java:970)
at org.apache.hadoop.mapred.JobTracker.initJob(JobTracker.java:4237)
at
org.apache.hadoop.mapred.FairScheduler$JobInitializer$InitJob.run(FairScheduler.java:301)
at
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:724) Caused by:
org.apache.hadoop.ipc.RemoteException:
org.apache.hadoop.security.AccessControlException: Permission denied:
user=report_generator, access=EXECUTE,
inode="system":hadoop:report_generator:rwx------ at
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:199)
at
org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkTraverse(FSPermissionChecker.java:155)
hadoop:test-user:rwx------権限とは、hadoopユーザーのみがこれらのファイルにアクセスできることを意味します。test-userメッセージには、グループではなく、ユーザです。また、指定されたパスにアクセスできるグループはありません
test-userが独自のグループにない場合はchown、パスに移動する必要があります。そうでない場合は、できますchmod 770。
別のアカウントの最後に同様のエラー
hadoop:report_generator:rwx------
そして、これらのユーザーとグループは、最初にネームノードに存在し、次にエッジノードに存在する必要があります
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加