Ho un cluster standalone Apache Spark 1.6.1 su una singola macchina con le seguenti specifiche:
- CPU: Core i7-4790 (numero di core: 4, numero di thread: 8)
- RAM: 16 GB
Non ho impostato nulla in modo che Spark possa prendere i valori di default, che per core è "tutti i core disponibili", in base a ciò, la domanda è:
Perché Spark rileva 8 core, quando ne ho solo 4?
risposte:
1 per risposta № 1Presumo che l'impostazione all available cores
significa che anche Spark sta usando Virtual cores
E poiché la CPU supporta Hyperthreading, sono disponibili 8 core virtuali.
Se si desidera utilizzare solo nuclei fisici, presumo che ci sia un'impostazione specifica per questo.