如何从Logstash索引到Elasticsearch中时对文档进行重复数据删除

我将Logstash 1.4.1和ES1.01一起使用,并希望根据计算出的校验和替换已经索引的文档。我当前在Logstash中使用“指纹”过滤器,该过滤器根据指定的算法创建“指纹”字段。现在,我要完成的任务是ES根据相同的指纹值替换现有的文档

例如,假设我有一个指纹字段值为“ 2c9a6802e10fbcff36177e0b88993f90868fa6fa”的文档。现在-如果要对具有相同指纹值的文档建立索引,我希望它替换索引中已经存在文档。

我尝试将以下内容添加到“ elasticsearch-template.json”模板文件中,该文件假定由Logstash ES输出插件使用:

...
  "mappings" : {
    "_default_" : {
       "_id" : {"index": "not_analyzed", "store" : false, "path" : "fingerprint" },
       "_all" : {"enabled" : true},
       "dynamic_templates" : [ {
...

但这不起作用。我在这里做错了什么?

干杯

约翰·彼得罗恩

我将在您的logstash elasticsearch输出部分中使用document_id参数:

document_id

Value type is string
Default value is nil

索引的文档ID。用于覆盖具有相同ID的Elasticsearch中的现有条目。

https://www.elastic.co/guide/zh-CN/logstash/current/plugins-outputs-elasticsearch.html#plugins-outputs-elasticsearch-document_id

我认为该条目应如下所示:

document_id => "%{fingerprint}"

它使用logstash的sprintf格式将字符串替换为字段内容:

https://www.elastic.co/guide/zh-CN/logstash/current/event-dependent-configuration.html#sprintf

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在Hive中对文件进行重复数据删除并保持原始排序顺序?

来自分类Dev

如何在ElasticSearch中保留来自Logstash的重复数据删除邮件计数?

来自分类Dev

索引列表上的Elasticsearch聚合发生故障并且已进行重复数据删除

来自分类Dev

Elasticsearch重复数据删除

来自分类Dev

如何从GridView中删除重复数据?

来自分类Dev

在OSX Lion中使用命令行对文件进行重复数据删除

来自分类Dev

如何使用logstash将数组数据类型从mongodb索引到elasticsearch

来自分类Dev

如何使用BTRFS对数据进行重复数据删除?

来自分类Dev

如何使用BTRFS对数据进行重复数据删除?

来自分类Dev

如何在pytorch中对矩阵的每一行中的值进行重复数据删除?

来自分类Dev

在Mysql中对链接表进行重复数据删除

来自分类Dev

在JavaScript中对数组进行重复数据删除

来自分类Dev

在Mysql中对链接表进行重复数据删除

来自分类Dev

如何在find命令中对-exec表达式进行重复数据删除?

来自分类Dev

如果数据已索引到Elasticsearch中,删除原始数据是否很好?

来自分类Dev

如果数据已被索引到Elasticsearch中,删除原始数据会很好吗?

来自分类Dev

索引时对文档进行排序会改善Elasticsearch的搜索性能吗?

来自分类Dev

使用python进行重复数据删除

来自分类Dev

Elasticsearch:在文本字段中根据搜索字符串的索引值对文档进行排序

来自分类Dev

如何检测然后删除RPGLE阵列中的重复数据?

来自分类Dev

如何从PDO数组结果中删除重复数据

来自分类Dev

如何删除数组中的重复数据?

来自分类Dev

如何删除交叉过滤器中的重复数据?

来自分类Dev

如何将重复数据删除到数组中

来自分类Dev

如何在只删除连续重复项的字符串中进行重复数据删除

来自分类Dev

将数据索引到Elasticsearch中时出现批量API错误

来自分类Dev

将 Nutch 抓取数据索引到 Elasticsearch 时出错

来自分类Dev

如何在 apache 梁/数据流中跨重叠滑动窗口进行重复数据删除

来自分类Dev

如何使用python从列表中读取数据并将特定值索引到Elasticsearch中?

Related 相关文章

  1. 1

    如何在Hive中对文件进行重复数据删除并保持原始排序顺序?

  2. 2

    如何在ElasticSearch中保留来自Logstash的重复数据删除邮件计数?

  3. 3

    索引列表上的Elasticsearch聚合发生故障并且已进行重复数据删除

  4. 4

    Elasticsearch重复数据删除

  5. 5

    如何从GridView中删除重复数据?

  6. 6

    在OSX Lion中使用命令行对文件进行重复数据删除

  7. 7

    如何使用logstash将数组数据类型从mongodb索引到elasticsearch

  8. 8

    如何使用BTRFS对数据进行重复数据删除?

  9. 9

    如何使用BTRFS对数据进行重复数据删除?

  10. 10

    如何在pytorch中对矩阵的每一行中的值进行重复数据删除?

  11. 11

    在Mysql中对链接表进行重复数据删除

  12. 12

    在JavaScript中对数组进行重复数据删除

  13. 13

    在Mysql中对链接表进行重复数据删除

  14. 14

    如何在find命令中对-exec表达式进行重复数据删除?

  15. 15

    如果数据已索引到Elasticsearch中,删除原始数据是否很好?

  16. 16

    如果数据已被索引到Elasticsearch中,删除原始数据会很好吗?

  17. 17

    索引时对文档进行排序会改善Elasticsearch的搜索性能吗?

  18. 18

    使用python进行重复数据删除

  19. 19

    Elasticsearch:在文本字段中根据搜索字符串的索引值对文档进行排序

  20. 20

    如何检测然后删除RPGLE阵列中的重复数据?

  21. 21

    如何从PDO数组结果中删除重复数据

  22. 22

    如何删除数组中的重复数据?

  23. 23

    如何删除交叉过滤器中的重复数据?

  24. 24

    如何将重复数据删除到数组中

  25. 25

    如何在只删除连续重复项的字符串中进行重复数据删除

  26. 26

    将数据索引到Elasticsearch中时出现批量API错误

  27. 27

    将 Nutch 抓取数据索引到 Elasticsearch 时出错

  28. 28

    如何在 apache 梁/数据流中跨重叠滑动窗口进行重复数据删除

  29. 29

    如何使用python从列表中读取数据并将特定值索引到Elasticsearch中?

热门标签

归档