Ich habe ein merkwürdiges Verhalten bei der Arbeit mit dem Confluent JDBC-Connector. Ich bin mir ziemlich sicher, dass es nicht mit Confluent Stack zusammenhängt, sondern mit Kafka-connect Framework selbst.
Also definiere ich %code% Eigenschaft als Standard %code% und führe meinen Sink Connector aus. Offensichtlich erwarte ich, dass Connector Offsets in der angegebenen Datei behält (es existiert nicht im Dateisystem, aber es sollte automatisch erstellt werden, oder?). Dokumentation sagt:
%code% Die Datei, in der Connector-Offsets gespeichert werden. Durch das Speichern von Offsets auf der Festplatte kann ein eigenständiger Prozess auf einem einzelnen Knoten gestoppt und gestartet werden und dort fortgesetzt werden, wo er zuvor unterbrochen wurde.
Aber Kafka verhält sich ganz anders.
Ist es ein Bug oder, wahrscheinlicher, ich verstehe nicht, wie man mit diesen Konfigurationen arbeitet? Ich verstehe den Unterschied zwischen zwei Ansätzen, um Offsets beizubehalten, und der Dateispeicher ist für meine Bedürfnisse bequemer.
Die Eigenschaft %code% gilt nur für Mitarbeiter, die im eigenständigen Modus ausgeführt werden. Wenn Sie sehen, dass Kafka Offsets in einem Kafka-Thema beibehalten hat, werden Sie im verteilten Modus ausgeführt. Sie sollten Ihren Connector mit dem bereitgestellten Skript %code% starten. Es gibt eine Beschreibung der verschiedenen Modi hier . Anweisungen zum Ausführen in den verschiedenen Modi sind hier .