Kafka 커넥터가 일시 중지되었고 다시 시작할 때 로그에 이러한 오류가 발생했습니다.
[2020-02-19 19:36:00,219] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter)
************
************
[2020-02-19 19:36:00,216] ERROR WorkerSourceTask{id=wem-postgres-source-0} Failed to flush, timed out while waiting for producer to flush outstanding 2389 messages (org.apache.kafka.connect.runtime.WorkerSourceTask)
미해결 메시지 수가 변경되어이 오류가 여러 번 발생했습니다. 그런 다음 멈 췄고 다시 보지 못했습니다.
여기에서 조치를 취해야합니까? 아니면 Connect가 오프셋을 재 시도하고 커밋했으며 이것이 오류가 중지 된 이유입니까?
감사
이 오류는 버퍼링 된 메시지가 많고 시간 초과에 도달하기 전에 플러시 할 수 없음을 나타냅니다. 이 문제를 해결하려면
offset.flush.timeout.msKafka Connect 작업자 구성에서 구성 매개 변수를 늘리거나producer.buffer.memoryKafka Connect 작업자 구성을 줄여서 버퍼링되는 데이터의 양을 줄일 수 있습니다 . 이것은 상당히 큰 메시지가있을 때 최상의 옵션이됩니다.이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
몇 마디 만하겠습니다