我正在hortonworks上使用Storm在Hbase和Hive中进行实时数据提取,并且我开发了Storm拓扑以从kafka代理接收数据,该拓扑已提交,我可以看到我kafkaspout
和我的两个螺栓,但是,我不知道为什么我kafkaSpout
不使用来自Kafka Brokers的消息,但是当我可视化拓扑时:0%
数据已被占用!!
我也有一个错误hdfsbolt
:
java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at
我的@ip是 192.168.1.78
我想我必须修复属性文件,但我不知道如何:
#Broker host
kafka.zookeeper.host.port=localhost
#Kafka topic to consume.
kafka.topic=TOPICINFORMATIONSCLIENTS
#Location in ZK for the Kafka spout to store state.
kafka.zkRoot=/infos_clients_sprout
#Kafka Spout Executors.
spout.thread.count=1
#hdfs bolt settings
hdfs.path=/infos-cliens-v4
hdfs.url=hdfs://sandbox.hortonworks.com:8020
hdfs.file.prefix=infosClients
#data will be moved from hdfs to the hive partition
#on the first write after the 1st minute.
hdfs.file.rotation.time.minutes=1
#hbase bolt settings
hbase.persist.all.events=false
PLZ Help me
您的用户是
风暴
但是写入的目录由HDFS拥有。因此,请更改该目录的用户权限,并使用
wn
命令。
首先使用Java代码检查是否可以连接到Hbase。然后在Storm拓扑中测试相同的逻辑。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句