आरडीबीएमएस से कैसंद्रा तक प्रवासन - कैसंद्रा, सिबेस, rdbms, डेटास्टैक्स

मुझे RDBMS से कैसेंड्रा तक 5 टीबी इमेज डेटा माइग्रेट करने की आवश्यकता है। मैं squp की कोशिश की है, लेकिन यह बहुत धीमी है। किसी को भी प्रवास के लिए किसी भी उपकरण का सुझाव दे सकते हैं

धन्यवाद

उत्तर:

सिस्टम के बीच बड़े डेटा चाल के लिए स्पार्क का उपयोग करें। यह वितरित और लचीला है।

val jdbcDF = sqlContext.load("jdbc", Map(
"url" -> "jdbc:postgresql:dbserver",
"dbtable" -> "schema.tablename"))

http://spark.apache.org/docs/1.6.2/sql-programming-guide.html#jdbc-to-other-databases

jdbcDF.write.format("org.apache.spark.sql.cassandra").
options(keyspace="ks", table="tablename").
save(mode="append")

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

आप ओपन सोर्स Apache Spark या DataStax का उपयोग कर सकते हैंEnterprise। डेटास्टैक्स एंटरप्राइज अपाचे कैसेंड्रा + अपाचे स्पार्क + को स्पार्क और कैसेंड्रा के बीच सही वितरित प्रसंस्करण और डेटा इलाके के लिए प्रत्येक नोड पर स्थापित कई अन्य सामान प्रदान करता है। मैं एक DataStax कर्मचारी हूँ।