Próbuję wybrać topologię skupiska iskier apache w różnych miejscach. Czy iskra ma własne możliwości świadomości?
Załóżmy na przykład klaster z pracownikami w Oregonie i Penang.
Teraz przy składaniu wniosku, który ładujedane z Oregon przetwarzają je i zapisują z powrotem w Oregonie. Czy pracownicy z Oregonu będą preferowani (jeśli są wolni)? Haven „t znalazł dokumentację dotyczącą tego tematu.
Odpowiedzi:
2 dla odpowiedzi № 1Jak opisano tutaj https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-data-locality.html
Spark polega na lokalizacji danych, czyli umieszczaniu danychlub bliskość danych źródło, które sprawia, że zadania Sparka są wrażliwe na lokalizację danych. Dlatego ważne jest, aby Spark pracował w klastrze Hadoop YARN jeśli dane pochodzą z HDFS. System danych może sam być geo-świadomy, np. Cassandra: Czy Spark korzysta z lokalizacji danych? http://www.slideshare.net/RussellSpitzer/spark-cassandralocality