/ / Доступ до Oracle NoSQL від Hive - oracle, hadoop, hive, hiveql, oracle-nosql

Доступ до Oracle NoSQL від Hive - oracle, hadoop, hive, hiveql, oracle-nosql

Я наступний цей (досить старий) підручник для доступу до локальної Oracle NoSQL DB із Hive за допомогою StorageHandler.

Я успішно:

  • Видобуто Hadoop 2.7.2 під /home/hadoop/hadoop
  • Вилучено вулик 1.2.1 під /home/hadoop/hive
  • Встановити наступні змінні середовища:

    export HADOOP_HOME=/home/hadoop/hadoop
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_YARN_HOME=$HADOOP_HOME
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export KVHOME=/home/hadoop/kv
    export KVROOT=/tmp/kv-metadata
    export HIVE_HOME=/home/hadoop/hive/
    export HIVE_AUX_JARS_PATH=$KVHOME/lib/kvclient.jar
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin
    
  • Запустіть Oracle NoSQL DB:

    java -jar $KVHOME/lib/kvstore.jar kvlite -root $KVROOT -host localhost &
    
  • Створено MOVIE таблиця в базі Oracle

Однак, коли я біжу hive і введіть

hive> CREATE EXTERNAL TABLE IF NOT EXISTS MOVIE( id INT, original_title
STRING,    overview STRING, poster_path STRING, release_date STRING,
vote_count INT,       runtime INT, popularity DOUBLE, genres STRING)
STORED BY "oracle.kv.hadoop.hive.table.TableStorageHandler"
TBLPROPERTIES  ( "oracle.kv.kvstore"="kvstore",
"oracle.kv.hosts"="localhost:5000",
"oracle.kv.hadoop.hosts"="localhost",
"oracle.kv.tableName"="MOVIE");

Я отримую таку помилку:

FAILED: Execution Error, return code 1 from
org.apache.hadoop.hive.ql.exec.DDLTask.
org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.initSerdeParams
(Lorg/apache/hadoop/conf/Configuration;Ljava/util/Properties;Ljava
/lang/String;)Lorg/apache/hadoop/hive/serde2
/lazy/LazySimpleSerDe$SerDeParameters;

Очевидно, здається помилка, пов'язана з компонентом SerDe.

Я також намагався використовувати Hive 2.0, але це також не працює.

Будь-яка підказка про те, що відбувається?

Відповіді:

0 для відповіді № 1

Це відома проблема, пов'язана з HIVE-9500, що представляє несумісні зміни в загальнодоступному інтерфейсі LazySimpleSerDe. Перехід на вулик 1.0.1 вирішив проблему.