无法使用 ELK 将 Filebeat 连接到 logstash 以进行日志记录

胡萝卜

嗨,我一直在使用弹性堆栈进行自动日志记录。我的意思filebeat是从路径读取日志,输出设置为通过端口的 logstash 5044logstash 配置有一个输入监听5044和输出推送到 localhost:9200。问题是我无法让它工作,我不知道发生了什么。以下是文件:

我的 filebeat.yml路径:etc/filebeat/filebeat.yml

#=========================== Filebeat prospectors =============================

filebeat.prospectors:

# Each - is a prospector. Most options can be set at the prospector level, so
# you can use different prospectors for various configurations.
# Below are the prospector specific configurations.

- input_type: log

# Paths that should be crawled and fetched. Glob based paths.
paths:
- /mnt/vol1/autosuggest/logs/*.log
#- c:\programdata\elasticsearch\logs\*
<other commented stuff>
#----------------------------- Logstash output --------------------------------
output.logstash:
# The Logstash hosts
hosts: ["10.10.XX.XX:5044"]

# Optional SSL. By default is off.
<other commented stuff>

我的 logstash.yml路径:etc/logstash/logstash.yml

<other commented stuff>
path.data: /var/lib/logstash
<other commented stuff>
path.config: /etc/logstash/conf.d
<other commented stuff>

# ------------ Metrics Settings --------------
#
# Bind address for the metrics REST endpoint
#
http.host: "10.10.XX.XX"
#
# Bind port for the metrics REST endpoint, this option also accept a range
# (9600-9700) and logstash will pick up the first available ports.
#
# http.port: 9600-9700
<other commented stuff>
path.logs: /var/log/logstash
<other commented stuff>

我的 logpipeline30aug.config 文件路径:/usr/share/logstash

input {
  beats {
  port => 5044
  }
}

filter {
  grok {
match => { "message" => "\A%{TIMESTAMP_ISO8601:timestamp}%{SPACE}%{WORD:var0}%{SPACE}%{NOTSPACE}%{SPACE}(?<searchinfo>[^#]*)#(?<username>[^#]*)#(?<searchQuery>[^#]*)#(?<latitude>[^#]*)#(?<longitude>[^#]*)#(?<client_ip>[^#]*)#(?<responseTime>[^#]*)" }
  }
}

output {
   elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "logstash30aug2017"
      document_type => "log"
   }
}

请注意: Elasticsearch、logstash、filebeat 都安装在具有 ip: 的同一台机器上10.10.XX.XX,我已经检查了防火墙,这肯定不是问题。

我检查了logstash、filebeat 服务都在运行。Filebeat能够在配置时将数据推送到elasticsearch,并且logstash在配置时能够将数据推送到elasticsearch。


也许这是我执行过程的方式的问题。我做了一个bin/logstash -f logpipeline30aug.configin/usr/share/logstash来启动它,然后我/etc/init.d/filebeat start从根目录做一个

请注意:由于 stackoverflow 格式问题,格式可能会受到影响

有人可以帮忙吗?我从 3 天以来一直在尝试一切,我也浏览了文档

白人11

您的 filebeat.yml 看起来无效。

输出部分缺少缩进:

output.logstash:
  hosts: ["10.10.XX.XX:5044"]

通常,检查配置文件的正确性以确保它们没问题。

例如,对于 filebeat,您可以运行:

filebeat -c /etc/filebeat/filebeat.yml -configtest

如果您有任何错误,它会解释该错误是什么,以便您可以修复它。

您也可以对其他 ELK 服务使用类似的方法

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用logstash(ELK)轮询日志

来自分类Dev

使用Filebeat和Logstash记录的Docker应用

来自分类Dev

Filebeat 无法连接到 Logstash,因为证书不包含任何 IP SAN

来自分类Dev

filebeat 无法连接到elasticsearch

来自分类Dev

使用filebeat,logstash和elasticsearch将json格式的日志发送到kibana?

来自分类Dev

Filebeat将日志发送到所有Logstash实例

来自分类Dev

如果它们包含特定字段,如何限制 Filebeat 仅将日志发送到 ELK?

来自分类Dev

使用 ELK 和 Filebeat 在不同服务器之间传送日志时出错

来自分类Dev

filebeat直接将日志发送到弹性搜索而不是logstash

来自分类Dev

Filebeat和Logstash:日志数据未通过

来自分类Dev

将RabbitMQ连接到Logstash的RCP

来自分类Dev

使用Filebeat或Logstash打开gzip文件

来自分类Dev

使用Logstash从Filebeat解析XML数据

来自分类Dev

Logstash 使用 filebeat 名称覆盖主机

来自分类Dev

Logstash无法将日志放入elasticsearch

来自分类Dev

无法将SonarQube连接到LDAP目录进行用户映射

来自分类Dev

Logstash-FileBeat多行设置将太多消息分组

来自分类Dev

Filebeat>是否可以通过不带Logstash的Filebeat将数据发送到Elasticsearch

来自分类Dev

Filebeat:将不同的日志从Filebeat发送到不同的Logstash管道

来自分类Dev

如何从kubernetes卸载ELK filebeat?

来自分类Dev

无法从Logstash Docker容器连接到Kafka Docker容器

来自分类Dev

Logstash 无法连接到 MySQL 数据库

来自分类Dev

Logstash:使用Filebeat时如何从路径获取字段?

来自分类Dev

与简单的python日志记录+现有的数据库日志表组合相比,使用ELK进行日志管理有什么优势?

来自分类Dev

如何在Filebeat / ELK中为不同的日志定义单独的索引?

来自分类Dev

ELK - 如何在 logstash 中使用不同的源

来自分类Dev

将 Azure 日志转发到 ELK

来自分类Dev

无法使用Docker将Java程序连接到MySQL

来自分类Dev

无法使用SSL将lftp连接到IIS FTP

Related 相关文章

  1. 1

    使用logstash(ELK)轮询日志

  2. 2

    使用Filebeat和Logstash记录的Docker应用

  3. 3

    Filebeat 无法连接到 Logstash,因为证书不包含任何 IP SAN

  4. 4

    filebeat 无法连接到elasticsearch

  5. 5

    使用filebeat,logstash和elasticsearch将json格式的日志发送到kibana?

  6. 6

    Filebeat将日志发送到所有Logstash实例

  7. 7

    如果它们包含特定字段,如何限制 Filebeat 仅将日志发送到 ELK?

  8. 8

    使用 ELK 和 Filebeat 在不同服务器之间传送日志时出错

  9. 9

    filebeat直接将日志发送到弹性搜索而不是logstash

  10. 10

    Filebeat和Logstash:日志数据未通过

  11. 11

    将RabbitMQ连接到Logstash的RCP

  12. 12

    使用Filebeat或Logstash打开gzip文件

  13. 13

    使用Logstash从Filebeat解析XML数据

  14. 14

    Logstash 使用 filebeat 名称覆盖主机

  15. 15

    Logstash无法将日志放入elasticsearch

  16. 16

    无法将SonarQube连接到LDAP目录进行用户映射

  17. 17

    Logstash-FileBeat多行设置将太多消息分组

  18. 18

    Filebeat>是否可以通过不带Logstash的Filebeat将数据发送到Elasticsearch

  19. 19

    Filebeat:将不同的日志从Filebeat发送到不同的Logstash管道

  20. 20

    如何从kubernetes卸载ELK filebeat?

  21. 21

    无法从Logstash Docker容器连接到Kafka Docker容器

  22. 22

    Logstash 无法连接到 MySQL 数据库

  23. 23

    Logstash:使用Filebeat时如何从路径获取字段?

  24. 24

    与简单的python日志记录+现有的数据库日志表组合相比,使用ELK进行日志管理有什么优势?

  25. 25

    如何在Filebeat / ELK中为不同的日志定义单独的索引?

  26. 26

    ELK - 如何在 logstash 中使用不同的源

  27. 27

    将 Azure 日志转发到 ELK

  28. 28

    无法使用Docker将Java程序连接到MySQL

  29. 29

    无法使用SSL将lftp连接到IIS FTP

热门标签

归档