Posiadam samodzielny zestaw klastrowy Apache Spark 1.6.1 na jednej maszynie o następujących specyfikacjach:
- Procesor: Core i7-4790 (liczba rdzeni: 4, liczba wątków: 8)
- RAM: 16 GB
Nic nie ustawiłem, więc Spark może przyjąć wartości domyślne, które dla rdzeni to "wszystkie dostępne rdzenie", na podstawie tego, pytanie brzmi:
Dlaczego Spark wykrywa 8 rdzeni, kiedy mam tylko 4?
Odpowiedzi:
1 dla odpowiedzi № 1Zakładam to ustawienie all available cores oznacza, że Spark również używa Virtual cores
A ponieważ twój procesor obsługuje technologię Hyperthreading, ma 8 wirtualnych rdzeni.
Jeśli chcesz używać tylko rdzeni fizycznych, zakładam, że jest to określone ustawienie.