Eu adoraria poder importar / acrescentar dados da json api diretamente para um banco de dados do SQL Server em execução no Amazon AWS para que eu possa analisá-los. A fonte de dados que quero importar, a cada hora, é:
https://api.coinmarketcap.com/v1/ticker/
Eu tenho o banco de dados do SQL Server em funcionamentoAmazon. Infelizmente, é aqui que meu conhecimento atinge uma parede de tijolos. Eu sou um analista, não um desenvolvedor e realmente não tenho certeza do que devo procurar ou estudar para ajudar a mover esses dados para o banco de dados.
Alguém pode aconselhar qual seria a maneira mais fácil de extrair e carregar esses dados? Eu entendo que os dados podem precisar se transformar um pouco também.
Em termos de requisitos; Eu precisaria de tudopara executar a partir da instância da Amazon - meu próprio PC não estará disponível 24 horas por dia, 7 dias por semana, portanto, haveria intervalos de tempo se executado a cada hora. Eu ficaria bem em criar um gatilho, se necessário.
Se isso não for algo fácil demais paraexplique, então qualquer tipo de indicação breve seria apreciada, para que eu possa explicar mais facilmente o que eu quero em um site freelancer para alguém classificá-lo para mim
Obrigado!
Respostas:
2 para resposta № 1Uma maneira de fazer isso
Console da AWS
- Criar uma função do AWS Lambda - É uma maneira de executar código sob demanda sem ter um servidor funcionando o dia todo (mais barato!).
- Use Python, JavaScript (NodeJS), Java ou C # para escrever seu código de função Lambda.
- Você pode atribuir um gatilho à sua função lambda para executar a cada hora.
Lógica de função AWS Lambda
- Estabeleça uma conexão com o banco de dados usando uma biblioteca de conectores para o tipo de banco de dados que você está usando e a linguagem de programação escolhida.
- Envie uma solicitação ao endpoint de interesse para obter seus dados.
- Faça todas as transformações de dados necessárias.
- Em seguida, salve-o no banco de dados usando SQL.