Kafka 헤더 필드를 추가하는 Kafka Connect SMT

로저 알 킨스

요청에 헤더 필드를 추가 할 SMT를 찾거나 작성해야합니다. 요청에 일부 유형 필드가 누락되어 추가하고 싶습니다.

내가 본 모든 SMT 내에 헤더를 정확히 어떻게 추가합니까? 아래와 같은 레코드 변환이지만 필드를 변경하거나 추가하려는 헤더는 어떻게됩니까?

   private R applySchemaless(R record) {

   final Map<String, Object> value = requireMap(operatingValue(record), PURPOSE);
  // record.headers.add(Header)  but how do I define the header
  // or record.headers.add(String, Schema) but I am not sure how to define Schema? 
  final Map<String, Object> updatedValue = new HashMap<>(value);

  updatedValue.put(fieldName, getRandomUuid());
  

  return newRecord(record, null, updatedValue);
  
}
닉 페그

이것은 작동합니다

Headers headers = new ConnectHeaders();
headers.add(myKey, myValue, mySchema);
headers.forEach(h -> record.headers().add(h));

ConnectHeaders 정보는 여기에서 찾을 수 있습니다 - https://kafka.apache.org/25/javadoc/org/apache/kafka/connect/header/Headers.html

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

Kafka Streams kafka 헤더를 얻는 방법

분류에서Dev

Spring Cloud Stream Kafka는 하나의 바인딩에만 헤더를 추가합니다.

분류에서Dev

Kafka Connect JSONConverter "스키마에 '유형'필드가 있어야합니다."를 해결하는 방법

분류에서Dev

Kafka 소비자 내부에서 메시지 헤더를 가져 오는 방법

분류에서Dev

Spring Integration and Kafka : 메시지 헤더를 기반으로 메시지를 필터링하는 방법

분류에서Dev

Kafka Connect-존재하는 경우에만 이름 바꾸기 필드를 변환합니다.

분류에서Dev

Kafka Connect MQTT 커넥터가있는 ClassNotFoundException

분류에서Dev

Kafka Connect를 사용하여 새 문서를 만드는 대신 기존 문서에서 Elasticsearch 필드를 업데이트합니다.

분류에서Dev

Kafka-메타 데이터 기록에 커스텀 헤더 추가

분류에서Dev

kafka-connect-elasticsearch : 문서 삭제를 보내는 방법?

분류에서Dev

Kafka와 Koa-kafka.connect ()를 생성 할 수 없습니다.

분류에서Dev

Amazon MSK와 Kafka Connect

분류에서Dev

개인 데이터를 난독 화하기 위해 Kafka 소스 커넥터에서 사용자 지정 SMT를 작성하는 방법

분류에서Dev

Kafka Mongo Sink 커넥터, JSON 배열 내부에 보관 된 날짜에 SMT 타임 스탬프 변환기를 사용하는 방법

분류에서Dev

Kafka connect-변환기-중첩 필드 블랙리스트

분류에서Dev

별도의 Schema Registry 및 Kafka Connect Docker 이미지를 사용하여 AWS에서 Kafka 설정

분류에서Dev

메시지에 접두사를 추가하는 Kafka

분류에서Dev

Kafka Connect에서 JDBC 싱크 커넥터를 사용하여 레코드를 삭제할 수없는 이유

분류에서Dev

Kafka 및 Kafka Connect 배포 환경

분류에서Dev

Kafka Connect : 데이터를 데이터베이스 테이블에 싱크 할 때 avro 스키마의 모든 필드가 무시할 수 있습니까?

분류에서Dev

Kafka-Connect JDBC 싱크가 upsert 중에 null ID를보고합니다.

분류에서Dev

WorkerSinkTask 오류를 발생시키는 Kafka Connect JDBC 싱크 커넥터

분류에서Dev

Kafka Connect-오프셋 및 플러시를 커밋하지 못했습니다.

분류에서Dev

Kafka Connect SinkTask를 확장하고 주어진 오프셋에서 소비 시작

분류에서Dev

헤더를 추가하는 Jquery Filer

분류에서Dev

kafka 리더를 사용할 수 없음-kafka-reassign-partitions

분류에서Dev

Kafka 2.0-Kafka Connect Sink-Kafka 생산자 만들기

분류에서Dev

Beam / Cloud Dataflow : Running Stream에 Kafka (또는 PubSub) 주제를 추가하는 방법

분류에서Dev

Kafka Connect JDBC와 Debezium CDC

Related 관련 기사

  1. 1

    Kafka Streams kafka 헤더를 얻는 방법

  2. 2

    Spring Cloud Stream Kafka는 하나의 바인딩에만 헤더를 추가합니다.

  3. 3

    Kafka Connect JSONConverter "스키마에 '유형'필드가 있어야합니다."를 해결하는 방법

  4. 4

    Kafka 소비자 내부에서 메시지 헤더를 가져 오는 방법

  5. 5

    Spring Integration and Kafka : 메시지 헤더를 기반으로 메시지를 필터링하는 방법

  6. 6

    Kafka Connect-존재하는 경우에만 이름 바꾸기 필드를 변환합니다.

  7. 7

    Kafka Connect MQTT 커넥터가있는 ClassNotFoundException

  8. 8

    Kafka Connect를 사용하여 새 문서를 만드는 대신 기존 문서에서 Elasticsearch 필드를 업데이트합니다.

  9. 9

    Kafka-메타 데이터 기록에 커스텀 헤더 추가

  10. 10

    kafka-connect-elasticsearch : 문서 삭제를 보내는 방법?

  11. 11

    Kafka와 Koa-kafka.connect ()를 생성 할 수 없습니다.

  12. 12

    Amazon MSK와 Kafka Connect

  13. 13

    개인 데이터를 난독 화하기 위해 Kafka 소스 커넥터에서 사용자 지정 SMT를 작성하는 방법

  14. 14

    Kafka Mongo Sink 커넥터, JSON 배열 내부에 보관 된 날짜에 SMT 타임 스탬프 변환기를 사용하는 방법

  15. 15

    Kafka connect-변환기-중첩 필드 블랙리스트

  16. 16

    별도의 Schema Registry 및 Kafka Connect Docker 이미지를 사용하여 AWS에서 Kafka 설정

  17. 17

    메시지에 접두사를 추가하는 Kafka

  18. 18

    Kafka Connect에서 JDBC 싱크 커넥터를 사용하여 레코드를 삭제할 수없는 이유

  19. 19

    Kafka 및 Kafka Connect 배포 환경

  20. 20

    Kafka Connect : 데이터를 데이터베이스 테이블에 싱크 할 때 avro 스키마의 모든 필드가 무시할 수 있습니까?

  21. 21

    Kafka-Connect JDBC 싱크가 upsert 중에 null ID를보고합니다.

  22. 22

    WorkerSinkTask 오류를 발생시키는 Kafka Connect JDBC 싱크 커넥터

  23. 23

    Kafka Connect-오프셋 및 플러시를 커밋하지 못했습니다.

  24. 24

    Kafka Connect SinkTask를 확장하고 주어진 오프셋에서 소비 시작

  25. 25

    헤더를 추가하는 Jquery Filer

  26. 26

    kafka 리더를 사용할 수 없음-kafka-reassign-partitions

  27. 27

    Kafka 2.0-Kafka Connect Sink-Kafka 생산자 만들기

  28. 28

    Beam / Cloud Dataflow : Running Stream에 Kafka (또는 PubSub) 주제를 추가하는 방법

  29. 29

    Kafka Connect JDBC와 Debezium CDC

뜨겁다태그

보관