Description: les données sont dans la base de données SQL Server et nous devons analyser ces données à l'aide du Big Data

toute aide à cet égard serait appréciée

Réponses:

Votre question est très large, je vais donc donner une solution très générique:

Si vous n'avez besoin de faire une analyse qu'une seule fois, voici ce que je recommanderais:

Mettre en place un cluster dans le cloud, cela vous permet d'obtenir une énorme capacité pour un temps très court (et donc un coût très faible).

Vous pouvez essentiellement configurer un petit nœud maître et 3 nœuds esclaves avec environ 5 To chacun.

S'il s'avère à mi-chemin que vous manquez un peu d'espace disque, ne vous embêtez pas pour des nœuds plus gros mais ajoutez simplement un ou quelques nœuds de données au cluster.

Analyse structurelle / quotidienne

Si la configuration d'un cluster dans le cloud n'est pas faisable ou souhaitable, vous pouvez le configurer sur votre propre matériel.

Pour cela, il est très important de réfléchir à la façon dontla taille va se développer (et si vous voulez acheter pour une croissance potentielle). Il est également important de comprendre qu'au fil du temps, vous devrez peut-être des opérations plus complexes, ou vous risquez d'obtenir une duplication des données en raison de la nature de votre analyse.

Si je devais recommander une configuration pour 3 To de données de départ, je choisirais quelque chose de plus lourd que ce que je recommandais auparavant.

Par exemple, en supposant une croissance légère mais significative: 2 nœuds maîtres et 5 nœuds esclaves de 10 To chacun.