Ich habe gehört, dass Hadoop Leistungsprobleme bekommen kann, wenn Sie umfangreiche Abfragen ausführen, weil zu viele Knoten beteiligt sein können.
Kann jemand diese Aussage verifizieren oder verfälschen?
Vielen Dank! BR
Antworten:
0 für die Antwort № 1Der Namensknoten weist Leistungsprobleme auf, wenn Sie hinzufügen zu viele Dateien da es alle Dateispeicherorte im Speicher speichern muss. Sie können dies optimieren, indem Sie regelmäßig größere Archive erstellen. Beispielsweise werden tägliche Datenbank-Dumps zu monatlich / jährlich komprimierten Archiven, die noch in einem verarbeitbaren Format vorliegen
HDFS-Datenknoten sind nur ein Dateisystem und eine Skalalinear. Das Hinzufügen weiterer NodeManager-Knoten hat insgesamt keine negativen Folgen. Es wurde berichtet, dass YARN bis zu 1000 Knoten umfasst. Ich würde die Verwendung von eigenständigen Clustern vorschlagen, wenn Sie tatsächlich mehr benötigen.
Wie bei jedem verteilten System müssen Sie das Netzwerk-Switching und die Systemüberwachung optimieren, dies sind jedoch betriebliche Leistungsprobleme, die nicht spezifisch für Hadoop sind