Ich habe über den Apache Hadoop gelesen. Sie sagten, dass in HDFS Aufgaben jeder Prozess sind, dh Mapper oder Reducer. Und sie nannten zusammen Jobs.
Sie haben zwei Dinge, JOBTRACKER und TASKTRACKER , tasktracker befindet sich auf jedem Knoten, der Mapper- oder Reducer-Aufgaben verwaltet.
Jobtracker ist derjenige, der alle Task-Tracker verwaltet.
Bis jetzt verstehe ich alle Concpts theoretisch und alle Dinge sind in vielen Blogs gut erklärt.
Ich habe jedoch einen Zweifel, wie Tasktracker Jobtracker darüber informiert, dass eine bestimmte Aufgabe fehlgeschlagen ist. Wie sie miteinander kommunizieren. Verwenden sie irgendeine andere Software wie Apache AVRO?
Bitte erklären Sie mir den internen Mechanismus.
Auf der Suche nach Ihrer freundlichen Antwort.
Antworten:
2 für die Antwort № 1AVRO hat damit nichts zu tun. Es ist nur ein Serialisierungsframework, das die Leute normalerweise verwenden, wenn sie der Meinung sind, dass die Serialisierung von Hadoop ihnen nicht viel hilft. Andernfalls ist es nur ein weiteres Mitglied des Hadoop-Ökosystems.
Wenn Sie zu Ihrer ursprünglichen Frage kommen, ist dies erledigtdurch Herzschläge, wie @thiru_k oben angegeben hat. Aber neben der Anzahl der verfügbaren Slots enthält Heartbeat-Signale auch einige andere Informationen, wie Jobstatus, Ressourcennutzung usw. Aufgaben, deren Fortschritt für eine Weile nicht gemeldet wird, werden als "hängen" oder "getötet" markiert. Ich empfehle Ihnen, fortzufahren durch dies VerknüpfungEs wird alle Ihre Fragen beantworten.
1 für die Antwort № 2
Die TaskTrackers senden Heartbeat-Nachrichten ander JobTracker, normalerweise alle paar Minuten, um den JobTracker davon zu überzeugen, dass er noch am Leben ist. Diese Meldung informiert den JobTracker auch über die Anzahl der verfügbaren Slots, sodass der JobTracker immer auf dem neuesten Stand ist, an welche Stellen im Cluster die Arbeit delegiert werden kann