여러 줄 로그를 구문 분석하는 동안 logstash 구성 문제

마르코

내 logstash 구성으로 구문 분석하려는 아래 여러 줄 로그가 있습니다.

2020-05-27 11:59:17 ----------------------------------------------------------------------
2020-05-27 11:59:17 Got context
2020-05-27 11:59:17 Raw context:
                    [email protected]
                    NAME=abc.def
                    PAGER=+11111111111111
                    DATE=2020-05-27
                    AUTHOR=
                    COMMENT=
                    ADDRESS=1.1.1.1
                    ALIAS=abc.example.com
                    ATTEMPT=1
2020-05-27 11:59:17 Previous service hard state not known. Allowing all states.
2020-05-27 11:59:17 Computed variables:
                    URL=abc.example.com
                    STATE=UP                
2020-05-27 11:59:17 Preparing flexible notifications for abc.def
2020-05-27 11:59:17  channel with plugin sms
2020-05-27 11:59:17  - Skipping: set
2020-05-27 11:59:17  channel with plugin plain email        
2020-05-27 11:59:20 --------------------------------------------------------------------

이것은 내 logstash 구성입니다.

    input {
      stdin { }
    }

    filter {

            grok {
                match => { "message" => "(?m)%{GREEDYDATA:data}"}
            }
            if [data] {
                  mutate {
                     gsub => [
                         "data", "^\s*", ""
                     ]
                  }
                  mutate {
                      gsub => ['data', "\n", " "]
                  }
             }
}

    output {
      stdout { codec => rubydebug }
    }

Filebeat 구성 :

  multiline.pattern: '^[[:space:]][A-Za-z]* (?m)'
  multiline.negate: false
  multiline.match: after

내가 달성하고 싶은 것 : 여러 줄 로그는 먼저 여러 줄 패턴과 일치하고 다음과 같은 줄로 분할됩니다.

  Message1:  2020-05-27 11:59:17 ----------------------------------------------------------------------

  Message2: 2020-05-27 11:59:17 Got context

  Message3:  2020-05-27 11:59:17 Raw notification context:
                        [email protected]
                        NAME=abc.def
                        PAGER=+11111111111111
                        DATE=2020-05-27
                        AUTHOR=
                        COMMENT=
                        ADDRESS=1.1.1.1
                        ALIAS=abc.example.com
                        ATTEMPT=1

그런 다음 이러한 로그 행이 구문 분석되면 다시 구분 기호로 분할되고 kv 필터를 사용하여 단일 메시지 번호 3에서 ALIAS = abc.example.com과 같은 각 키 값 쌍을 읽을 수 있습니다.

이것을 달성하는 방법을 조언 해 줄 수 있습니까?

엘라 디아 나이

여러 줄 코덱을 사용하여 파일에서 읽을 것을 제안합니다 (표준 입력을 사용하는 경우 필터 섹션에서 정의 할 수도 있음). 각 새 줄에 타임 스탬프 접두사를 사용하여 패턴을 제공합니다.

그런 다음 grok 필터에서 KV 필터사용하여 다음 과 같이 필드와 값을 분할합니다.

input {
    file {
        path => "C:/work/elastic/logstash-6.5.0/config/test.txt"
        start_position => "beginning"
        codec => multiline {
            pattern => "^%{TIMESTAMP_ISO8601}"
            negate => true
            what => "previous"
        }
    }
}
filter {
    kv {
        field_split => "\r\n"
        value_split => "="
        source => "message"
    }
}

output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "test"
    }
}

Kibana의 결과는 다음과 같습니다.

여기에 이미지 설명 입력

이:

여기에 이미지 설명 입력

편집 : 당신은 당신이 공백을 포함한 전체 가치를 보지 못했다고 언급했습니다. 귀하가 제공 한 새로운 STATE로 내 솔루션을 다시 테스트했으며 정상적으로 작동합니다.

여기에 이미지 설명 입력

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

Logstash 여러 줄이 Oracle 로그를 제대로 구문 분석하지 않음

분류에서Dev

Logstash : 로그 파일에서 ElasticSearch로 복잡한 여러 줄 JSON 구문 분석

분류에서Dev

logstash를 사용하여 여러 파일 구문 분석

분류에서Dev

logstash를 사용하여 여러 로그 파일을 구문 분석하는 방법은 무엇입니까?

분류에서Dev

cocoapods를 사용하여 AFNetworking에 대한 종속성을 추가하는 동안 구문 분석 문제

분류에서Dev

BizTalk를 사용하여 여러 줄로 된 FlatFile 구문 분석

분류에서Dev

여러 줄 파일에서 줄을 구문 분석하는 동안 awk에서 변수 설정

분류에서Dev

XML 개체를 구문 분석하는 동안 XMLReader 문제

분류에서Dev

logstash는 동적으로 json을 구문 분석하여 출력에 새 필드를 추가합니다.

분류에서Dev

여러 줄 출력을 별도의 변수로 구문 분석하는 방법

분류에서Dev

Python : html 코드를 구문 분석하는 동안 줄을 건너 뛰고 공백 제거

분류에서Dev

AWS ELB 로그를 구문 분석하도록 Logstash를 구성하는 방법은 무엇입니까?

분류에서Dev

Logstash가 여러 명명 된 캡처 그룹을 구문 분석하지 않음

분류에서Dev

Python으로 XML 구문 분석 : 태그를 삭제하는 동안 속성 내에 텍스트 유지

분류에서Dev

동적 페이지를 여는 동안 구문 분석 오류

분류에서Dev

Xpath를 사용하여 XML을 구문 분석하는 동안 중단됨

분류에서Dev

Bash : 여러 줄을 한 줄 명령으로 구문 분석

분류에서Dev

Gson 라이브러리로 구문 분석하는 동안 setLenient (true) 오류

분류에서Dev

여러 줄 문자열을 배열로 구문 분석

분류에서Dev

여러 문자열 줄을 숫자로 구문 분석

분류에서Dev

클래스 유형 인수를 지정하는 동안 구문 분석 문제

분류에서Dev

Python : 후행 슬래시를 추가하는 동안 URL 구문 분석 문제

분류에서Dev

여러 줄의 텍스트를 쉼표 구분 기호가있는 한 줄로 구문 분석

분류에서Dev

여러 줄 정규식을 사용하여 sed 또는 grep으로 TOML의 작은 부분 만 구문 분석

분류에서Dev

dom4j를 사용하여 XML을 구문 분석하는 동안 속성 값이 null입니다.

분류에서Dev

Logstash grok 구문 분석 오류 구문 분석 로그 파일

분류에서Dev

sscanf를 사용하여 한 줄에있는 긴 단어 줄 구문 분석

분류에서Dev

nom으로 여러 줄 주석 구문 분석

분류에서Dev

Powershell 명령 줄 문자열을 수동으로 구문 분석하는 방법

Related 관련 기사

  1. 1

    Logstash 여러 줄이 Oracle 로그를 제대로 구문 분석하지 않음

  2. 2

    Logstash : 로그 파일에서 ElasticSearch로 복잡한 여러 줄 JSON 구문 분석

  3. 3

    logstash를 사용하여 여러 파일 구문 분석

  4. 4

    logstash를 사용하여 여러 로그 파일을 구문 분석하는 방법은 무엇입니까?

  5. 5

    cocoapods를 사용하여 AFNetworking에 대한 종속성을 추가하는 동안 구문 분석 문제

  6. 6

    BizTalk를 사용하여 여러 줄로 된 FlatFile 구문 분석

  7. 7

    여러 줄 파일에서 줄을 구문 분석하는 동안 awk에서 변수 설정

  8. 8

    XML 개체를 구문 분석하는 동안 XMLReader 문제

  9. 9

    logstash는 동적으로 json을 구문 분석하여 출력에 새 필드를 추가합니다.

  10. 10

    여러 줄 출력을 별도의 변수로 구문 분석하는 방법

  11. 11

    Python : html 코드를 구문 분석하는 동안 줄을 건너 뛰고 공백 제거

  12. 12

    AWS ELB 로그를 구문 분석하도록 Logstash를 구성하는 방법은 무엇입니까?

  13. 13

    Logstash가 여러 명명 된 캡처 그룹을 구문 분석하지 않음

  14. 14

    Python으로 XML 구문 분석 : 태그를 삭제하는 동안 속성 내에 텍스트 유지

  15. 15

    동적 페이지를 여는 동안 구문 분석 오류

  16. 16

    Xpath를 사용하여 XML을 구문 분석하는 동안 중단됨

  17. 17

    Bash : 여러 줄을 한 줄 명령으로 구문 분석

  18. 18

    Gson 라이브러리로 구문 분석하는 동안 setLenient (true) 오류

  19. 19

    여러 줄 문자열을 배열로 구문 분석

  20. 20

    여러 문자열 줄을 숫자로 구문 분석

  21. 21

    클래스 유형 인수를 지정하는 동안 구문 분석 문제

  22. 22

    Python : 후행 슬래시를 추가하는 동안 URL 구문 분석 문제

  23. 23

    여러 줄의 텍스트를 쉼표 구분 기호가있는 한 줄로 구문 분석

  24. 24

    여러 줄 정규식을 사용하여 sed 또는 grep으로 TOML의 작은 부분 만 구문 분석

  25. 25

    dom4j를 사용하여 XML을 구문 분석하는 동안 속성 값이 null입니다.

  26. 26

    Logstash grok 구문 분석 오류 구문 분석 로그 파일

  27. 27

    sscanf를 사용하여 한 줄에있는 긴 단어 줄 구문 분석

  28. 28

    nom으로 여러 줄 주석 구문 분석

  29. 29

    Powershell 명령 줄 문자열을 수동으로 구문 분석하는 방법

뜨겁다태그

보관