DSE kann nicht mit SPARK_ENABLED = 1 gestartet werden - apache-spark, cassandra, datastax, datastax-enterprise

Wir betreiben 6 Knoten Cluster mit:

HADOOP_ENABLED=0
SOLR_ENABLED=0
SPARK_ENABLED=0
CFS_ENABLED=0

Jetzt möchten wir Spark allen hinzufügen. Es scheint, dass "Hinzufügen" nicht der richtige Begriff ist, da dies nicht fehlschlagen würde. Wie auch immer, die Schritte, die wir gemacht haben: 1. entleerte einen der Knoten 2. änderte / etc / default / dse in SPARK_ENABLED = 1 und HADOOP_ENABLED = 0 3. Sudo-Dienst nach Neustart

Und bekam folgendes im Protokoll:

FEHLER [main] 2016-05-17 11:51:12,739 CassandraDaemon.java:294 - Schwerwiegende Ausnahme während der Initialisierung org.apache.cassandra.exceptions.ConfigurationException: Knoten kann nicht gestartet werden, wenn das Rechenzentrum von Snitch (Analytics) vom vorherigen Rechenzentrum (Cassandra) abweicht = wahr

Es gibt zwei verwandte Fragen, die bereits beantwortet wurden:

1. Solr-Aspekt der DSE-Suche kann nicht gestartet werden
2. DSE-Funkenclusterfehler bei zwei Knoten beim Einrichten des zweiten Knotens. Warum?

Leider ist das Löschen der Daten auf dem Knoten keine Option. Warum sollte ich das tun? Ich brauche die Daten, um intakt zu sein.

Die Verwendung von "-Dcassandra.ignore_rack = true -Dcassandra.ignore_dc = true" ist in der Produktion etwas unheimlich. Ich verstehe nicht, warum DSE einen anderen DC erstellen möchte und warum kann es nicht einfach den vorhandenen DC verwenden?

Ich weiß das nach datastax 's docsollte die Last mit unterschiedlichen DCs für verschiedene Workloads partitionieren. In unserem Fall möchten wir nur SPARK-Jobs auf denselben Knoten ausführen, auf denen Cassandra den gleichen DC ausführt.

Ist das möglich?

Vielen Dank!

Antworten:

Die anderen Antworten sind richtig. Das Problem hier versucht, Sie zu warnen, dass Sie diesen Knoten zuvor als in einem anderen DC identifiziert identifiziert haben. Dies bedeutet, dass es wahrscheinlich nicht die richtigen Daten für Schlüsselbereiche mit der Netzwerktopologiestrategie hat. Wenn Sie beispielsweise einen NTS-Schlüsselbereich mit nur einer Replik in "Cassandra" hätten und den DC in "Analytics" geändert hätten, könnten Sie versehentlich geändert werden Alle Daten verlieren.

Diese Warnung und die dazugehörige Flagge zeigen Ihnen, dass Sie etwas tun, was Sie tun sollte nicht tun in einem Produktionscluster.

Die wirkliche Lösung für dieses Problem besteht darin, Ihre dc 's explizit mit GossipingFileSnitch zu benennen und sich nicht auf SimpleSnitch zu verlassen, dessen Namen auf der DSE-Workload basieren.

Wechseln Sie in diesem Fall zu GPFS und setzen Sie den DC-Namen auf Cassandra.