Quiero importar datos de la base de datos a HDFS en un formato de parquet y luego rellenar la tabla de la sección. No puedo usar sqoop import --hive-import porque sqoop mueve datos de la --target-dir a la colmena metastore dir.
Por lo tanto, estoy obligado a crear el esquema de la colmena sqoop create-hive-table, convierte la mesa de la colmena en parquet SET FILEFORMAT parquet, cambie la ubicación de la tabla de la sección para que apunte al archivo adecuado en HDFS y finalmente importe los datos a la tabla usando sqoop import --as-parquet-file
Me enfrento a un problema en la sección: no puedo obtener una vista previa de los datos de mi tabla debido a este error:
Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.LongWritable
1) ¿Cómo puedo solucionar este problema?
2) ¿Hay una mejor solución para hacer este caso de uso?
Respuestas
0 para la respuesta № 1¿Cuál es tu versión de colmena? Si tu version es 1.0.0, es un error. Por favor sigue esto enlazar
Este error está arreglado en colmena 1.2.0 versión