Descrição: Os dados estão no banco de dados do SQL Server e precisamos analisar esses dados com a ajuda de big data

qualquer ajuda a este respeito seria apreciada

Respostas:

Sua pergunta é muito ampla, portanto darei uma solução muito genérica:

Se você só precisa fazer uma análise uma vez, aqui está o que eu recomendaria:

Configurar um cluster na nuvem, isso permite que você obtenha grande capacidade por um tempo muito curto (e, portanto, um custo muito pequeno).

Você basicamente pode configurar um pequeno nó mestre e 3 nós escravos com cerca de 5 TB cada.

Se a metade do caminho estiver faltando um pouco de espaço em disco, não se preocupe em usar nós maiores, mas apenas adicione um ou alguns nós de dados ao cluster.

Análise estrutural / diária

Se a configuração de um cluster na nuvem não for viável ou desejável, você poderá configurá-lo em seu próprio hardware.

Para isso, é muito importante pensar em comoo tamanho vai se desenvolver (e se você quer comprar para crescimento potencial). Também é importante perceber que com o tempo você pode precisar de operações mais complexas ou pode obter duplicação de dados devido à natureza de sua análise.

Se eu fosse recomendar uma configuração para 3 TB de dados iniciais, eu iria para algo mais pesado do que o que eu recomendei antes.

Por exemplo, assumindo um crescimento leve, mas significativo: 2 nós mestres e 5 nós escravos com 10 TB cada.