属性文件在hortonworks上配置风暴拓扑和kafka

品牌品牌

我正在hortonworks上使用Storm在Hbase和Hive中进行实时数据提取,并且我开发了Storm拓扑以从kafka代理接收数据,该拓扑已提交,我可以看到我kafkaspout和我的两个螺栓,但是,我不知道为什么我kafkaSpout不使用来自Kafka Brokers的消息,但是当我可视化拓扑时:0%数据已被占用!!

我也有一个错误hdfsbolt

java.lang.RuntimeException: Error preparing HdfsBolt: Permission denied: user=storm, access=WRITE, inode="/infos-cliens-v4/staging/infosClientshdfsBolt-4-0-1462472414665.txt":hdfs:hdfs:drwxr-xr-x at

我的@ip是 192.168.1.78

我想我必须修复属性文件,但我不知道如何:

#Broker host
  kafka.zookeeper.host.port=localhost
    #Kafka topic to consume.
    kafka.topic=TOPICINFORMATIONSCLIENTS
    #Location in ZK for the Kafka spout to store state.
    kafka.zkRoot=/infos_clients_sprout
    #Kafka Spout Executors.
    spout.thread.count=1

    #hdfs bolt settings
    hdfs.path=/infos-cliens-v4
    hdfs.url=hdfs://sandbox.hortonworks.com:8020
    hdfs.file.prefix=infosClients
    #data will be moved from hdfs to the hive partition
    #on the first write after the 1st minute.
    hdfs.file.rotation.time.minutes=1

    #hbase bolt settings
    hbase.persist.all.events=false


    PLZ Help me
拉姆·加迪亚拉姆(Ram Ghadiyaram)

您的用户是

风暴

但是写入的目录由HDFS拥有。因此,请更改该目录的用户权限,并使用

wn

命令。

首先使用Java代码检查是否可以连接到Hbase。然后在Storm拓扑中测试相同的逻辑。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在风暴群集上运行多个拓扑的问题

来自分类Dev

如何在同一实例上运行多个风暴拓扑?

来自分类Dev

如何开发(本地)和(远程)部署风暴拓扑?

来自分类Dev

从同一个kafka主题(使用kafka-spout)读取的不同群集上运行的两个独立的风暴拓扑给出错误

来自分类Dev

风暴动态拓扑

来自分类Dev

风暴拓扑未提交

来自分类Dev

风暴拓扑未提交

来自分类Dev

更改zookeeper中的Kafka主机名条目并在风暴拓扑重启时保持它

来自分类Dev

使 apache 风暴拓扑使用来自 kafka 的最新偏移量

来自分类Dev

使用Maven部署风暴拓扑

来自分类Dev

在风暴集群模式下加载属性文件

来自分类Dev

使用壳螺栓构建风暴拓扑

来自分类Dev

如何以编程方式杀死风暴拓扑?

来自分类Dev

UnsupportedClassVersionError-AMQPSpout:风暴拓扑未运行

来自分类Dev

在本地模式下运行多个风暴拓扑

来自分类Dev

确认时风暴拓扑性能下降

来自分类Dev

在风暴群集上部署拓扑时出错

来自分类Dev

Mule部署和配置属性文件

来自分类Dev

风暴集群配置

来自分类Dev

Apache Storm-带风暴集群的地图拓扑

来自分类Dev

风暴:发生异常时,如何自动重新提交拓扑?

来自分类Dev

Spring配置文件和属性占位符异常

来自分类Dev

xml 到 javaconfig:配置文件和属性

来自分类Dev

Apache Camel Kafka:如何在Producer配置上设置属性“ delivery.request.ms”

来自分类Dev

Ubuntu和Windows 7上的Thunderbird配置文件

来自分类Dev

在Windows上配置gvim交换,撤消和备份文件

来自分类Dev

我们可以在spring XML配置文件中使用apachecamel设置Kafka属性吗

来自分类Dev

Kafka KStream-拓扑设计

来自分类Dev

Kafka KStream-拓扑设计

Related 相关文章

热门标签

归档