/ / Chyba pri spustení, návratový kód 1 zo súboru org.apache.hadoop.hive.ql.exec.DDLTask. com / mongodb / util / JSON - json, mongodb, hadoop, úľ

Chyba spustenia, návratový kód 1 zo súboru org.apache.hadoop.hive.ql.exec.DDLTask. com / mongodb / util / JSON - json, mongodb, hadoop, úľ

Snažím sa pripojiť MongoDb s Hadoopom. Mám Hadoop-1.2.1 nainštalovaný v mojom Ubuntu 14.04. Nainštaloval som MongoDB-3.0.4 a tiež som ho stiahol a pridal mongo-hadoop-hive-1.3.0.jar, mongo-java-driver-2.13.2.jar poháre v úľovej relácii. Stiahol som si mongo-connector.sh (nájdené v tomto site) a zahrnoval ho pod Hadoop_Home / lib.

Mám nastavené vstupné a výstupné zdroje:

hive> set MONGO_INPUT=mongodb://[user:password@]<MongoDB Instance IP>:27017/DBname.collectionName;
hive> set MONGO_OUTPUT=mongodb://[user:password@]<MongoDB Instance IP>:27017/DBname.collectionName;
hive> add JAR brickhouse-0.7.0.jar;
hive> create temporary function collect as "brickhouse.udf.collect.CollectUDAF";

Moja zbierka v MongoDb je toto:

> db.shows.find()
{ "_id" : ObjectId("559eb22fa7999b1a5f50e4e6"), "title" : "Arrested Development", "airdate" : "November 2, 2003", "network" : "FOX" }
{ "_id" : ObjectId("559eb238a7999b1a5f50e4e7"), "title" : "Stella", "airdate" : "June 28, 2005", "network" : "Comedy Central" }
{ "_id" : ObjectId("559eb23ca7999b1a5f50e4e8"), "title" : "Modern Family", "airdate" : "September 23, 2009", "network" : "ABC" }
> 

Teraz sa snažím vytvoriť stôl Úľa

CREATE EXTERNAL TABLE mongoTest(title STRING,network STRING)
> STORED BY "com.mongodb.hadoop.hive.MongoStorageHandler"
> WITH SERDEPROPERTIES("mongo.columns.mapping"="{"title":"name",”airdate”:”date”,”network”:”name”}")
> TBLPROPERTIES("mongo.uri"="${hiveconf:MONGO_INPUT}");

Keď spustím tento príkaz, hovorí

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. com/mongodb/util/JSON

Potom som pridal hive-json-serde.jar a hive-serdes-1.0-SNAPSHOT.jar sklenené nádoby a pokúsili sa znovu vytvoriť stôl. Chyba však zostáva rovnaká. Ako môžem odstrániť túto chybu?

odpovede:

3 pre odpoveď č. 1

V skutočnosti som ich pridal mongo-hadoop-core-1.3.0.jar , mongo-hadoop-hive-1.3.0.jar a mongo-java-driver-2.13.2.jar v priečinku Hadoop_Home / lib. Potom som bol schopný získať dáta z MongoDb na Úľ bez akýchkoľvek chýb.


1 pre odpoveď č. 2

Existujú inteligentné ponuky, ktoré analyzátor vidí - "

 ”airdate”:”date”,”network”:”name”

Mali by byť

 "airdate":"date","network":"name"