Snažím sa prenášať dáta pomocou služby Kafka-Connects HDFS konektorom. Samostatné a distribuované režimy fungujú dobre, ale ich zápis do HDFS iba raz (založený na veľkosti flush) a neskôr neskôr. Prosím, pomôžte, ak mi nejaká vec chýba.
Confluent 2.0.0 & Kafka 0.9.0
odpovede:
2 pre odpoveď č. 1Stále som sa stretol s touto otázkou
Vlastnosti pripojenia-hdfs-drez
"Logs.dir": "/ hdfs_directory / data / log"
"Request.timeout.ms": "310000"
"Offset.flush.interval.ms": "5000"
"Heartbeat.interval.ms": "60000"
"Session.timeout.ms": "300000
"Max.poll.records": "100"