Mi riferisco a un post simile che ho trovato molto utile. Mostra come possiamo caricare una colonna intera in un file avro in una tabella BigQuery contenente un campo data / ora. Compatibilità delle date e dei tempi di Avro con BigQuery?
Io ho una domanda simile. C'è un modo per caricare un valore intero in un file avro in una colonna di data in bigquery?
Dal momento che avro non supporta datatype data, ho provato a mantenere la data come campo stringa nell'avro e ho provato a caricarlo nel campo data in BigQuery. Ma questo non funziona.
Se sapessi come BigQuery memorizza le date internamente forse potrei provare a convertire la mia data in quel valore e poi caricarla in BQ.
Qualche suggerimento su come posso farlo?
risposte:
1 per risposta № 1Non è possibile caricare la colonna intero da Avro in DATE colonna in BigQuery direttamente. È possibile caricare il file Avro nella tabella intermedia che avrà una colonna intera e quindi eseguire la query SQL che traduce questo intero in DATE utilizzando DATE_FROM_UNIX_DATE funzione (https://cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators#date_from_unix_date)