RDBMSからCassandraへの移行 - cassandra、sybase、rdbms、datastax

5 TBのイメージデータをRDBMSからcassandraに移行する必要があります。私はsqoopを試しましたが、遅すぎます。誰もが移行のためのツールを提案してください。

ありがとう

回答：

システム間の大量のデータ移動にはsparkを使用します。 それは分散されていて弾力的です。

val jdbcDF = sqlContext.load("jdbc", Map(
"url" -> "jdbc:postgresql:dbserver",
"dbtable" -> "schema.tablename"))

http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#jdbc-to-other-databases

jdbcDF.write.format("org.apache.spark.sql.cassandra").
options(keyspace="ks", table="tablename").
save(mode="append")

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

オープンソースのApache SparkまたはDataStaxを使用できます。企業。 Datastax Enterpriseは、完全な分散処理とSparkとCassandra間のデータローカリティのために、各ノードにインストールされたApache Cassandra + Apache Spark +その他多くのものを提供します。 私はDataStaxの従業員です。