使用Logstash存储在Elasticsearch中时是否需要@timestamp字段?

约翰

我有以下设置:我有一个Java工具,它将JSON消息发送到RabbitMQ。他们看起来像这样:

{
"a": 0,
"b": 1,
"c": 2
}

现在,我使用Logstash读取RabbitMQ队列并将其存储到Elasticsearch中,以便可以使用Kibana分析数据。存储在Elasticsearch中的JSON看起来像这样:

{
"a": 0,
"b": 1,
"c": 2,
"@version": "1",
"@timestamp": "2014-01-22T19:05:19.136Z"
}

我认为@timestamp字段对我正在做的事情没有任何用处。当我使用cURL在Elasticsearch中存储相同的JSON时,只有@version字段存在,而@timestamp字段不存在。有什么方法可以配置Logstash不保存@timestamp?

本林

当Logstash读取消息时,Logstash将消息视为Event事件将带有时间戳和消息日志。因此,@ timestamp字段是必需的。

因此,如果要删除@timestamp字段,将导致错误。Logstash无法将事件输出到elasticsearch。

Exception in thread "LogStash::Runner" org.jruby.exceptions.RaiseException: (NoMethodError) undefined method `tv_sec' for nil:NilClass
    at RUBY.sprintf(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/event.rb:239)
    at org.jruby.RubyString.gsub(org/jruby/RubyString.java:3062)
    at RUBY.sprintf(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/event.rb:225)
    at RUBY.receive(file:/tmp/logstash-1.2.1-flatjar.jar!/logstash/outputs/elasticsearch.rb:153)

到目前为止,并非所有@前缀字段都会导致错误,仅删除@timestamp会导致此错误。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在Logstash中为新字段设置Elasticsearch Analyzer

来自分类Dev

如果使用MYSQL,则在单个字段中是否需要使用唯一键?

来自分类Dev

在“ if”中退出脚本时是否需要“ else”?

来自分类Dev

使用Elasticsearch在返回的文档中按字段进行存储

来自分类Dev

是否需要Elasticsearch类型?

来自分类Dev

当需要Node.js中的模块时,是否必须使用“。”。

来自分类Dev

使用.NET Core时是否需要AssemblyInfo?

来自分类Dev

使用Firebase时是否需要实现SwipeToRefresh?

来自分类Dev

使用反射时,是否应将字段及其名称存储在Map中?

来自分类Dev

如何知道字段是否是Elasticsearch中的数组?

来自分类Dev

Logstash:使用Filebeat时如何从路径获取字段?

来自分类Dev

使用React Relay时是否需要始终提取id字段

来自分类Dev

需要知道我是否在PL / SQL中的存储过程中正确使用了IF语句

来自分类Dev

使用appendFileSync时是否需要指定目录?

来自分类Dev

存储在数据库中时,是否需要清除旧的node.js会话?

来自分类Dev

Logstash Elasticsearch输出使用输入文件中的已解析字段

来自分类Dev

使用Entity Framework时是否需要迁移?

来自分类Dev

使用乘客时Django中的模板是否需要公开?

来自分类Dev

使用反射时,是否应将字段及其名称存储在Map中?

来自分类Dev

Logstash数据在Elasticsearch中显示为“消息”字段

来自分类Dev

在LogStash中写入@timestamp

来自分类Dev

检查是否需要字段?

来自分类Dev

如果我们想在 Hibernate 中存储日期,是否需要 TemporalType = Timestamp?

来自分类Dev

是否可以通过logstash中的先前值更改字段

来自分类Dev

LogStash Ruby 用于划分字段并存储到新字段中

来自分类Dev

使用@EnableWebSecurity 时,configureGlobal(..) 是否需要@Autowired?

来自分类Dev

在 Azure 表存储中使用 Timestamp 作为 RowKey 是否合理?

来自分类Dev

执行更新元素时是否需要考虑 Azure 表存储中的 Etag?

来自分类Dev

使用logstash时在文档中将@timestamp作为epoch-millis

Related 相关文章

  1. 1

    在Logstash中为新字段设置Elasticsearch Analyzer

  2. 2

    如果使用MYSQL,则在单个字段中是否需要使用唯一键?

  3. 3

    在“ if”中退出脚本时是否需要“ else”?

  4. 4

    使用Elasticsearch在返回的文档中按字段进行存储

  5. 5

    是否需要Elasticsearch类型?

  6. 6

    当需要Node.js中的模块时,是否必须使用“。”。

  7. 7

    使用.NET Core时是否需要AssemblyInfo?

  8. 8

    使用Firebase时是否需要实现SwipeToRefresh?

  9. 9

    使用反射时,是否应将字段及其名称存储在Map中?

  10. 10

    如何知道字段是否是Elasticsearch中的数组?

  11. 11

    Logstash:使用Filebeat时如何从路径获取字段?

  12. 12

    使用React Relay时是否需要始终提取id字段

  13. 13

    需要知道我是否在PL / SQL中的存储过程中正确使用了IF语句

  14. 14

    使用appendFileSync时是否需要指定目录?

  15. 15

    存储在数据库中时,是否需要清除旧的node.js会话?

  16. 16

    Logstash Elasticsearch输出使用输入文件中的已解析字段

  17. 17

    使用Entity Framework时是否需要迁移?

  18. 18

    使用乘客时Django中的模板是否需要公开?

  19. 19

    使用反射时,是否应将字段及其名称存储在Map中?

  20. 20

    Logstash数据在Elasticsearch中显示为“消息”字段

  21. 21

    在LogStash中写入@timestamp

  22. 22

    检查是否需要字段?

  23. 23

    如果我们想在 Hibernate 中存储日期,是否需要 TemporalType = Timestamp?

  24. 24

    是否可以通过logstash中的先前值更改字段

  25. 25

    LogStash Ruby 用于划分字段并存储到新字段中

  26. 26

    使用@EnableWebSecurity 时,configureGlobal(..) 是否需要@Autowired?

  27. 27

    在 Azure 表存储中使用 Timestamp 作为 RowKey 是否合理?

  28. 28

    执行更新元素时是否需要考虑 Azure 表存储中的 Etag?

  29. 29

    使用logstash时在文档中将@timestamp作为epoch-millis

热门标签

归档