Чи є спосіб перетворити Avro структура до SchemaRDD? Я бачу приклад JavaRDD в https://issues.apache.org/jira/browse/SPARK-2736, але не зміг знайти нічого, щоб створити SchemaRDD.
Існує посилання, яке показує, як перетворити SchemaRDD в Avro, але я хотів би знати, чи є щось, що міститься в Spark 1.1
https://issues.apache.org/jira/browse/SPARK-3350
Відповіді:
0 для відповіді № 1Так, є окремий пакет, який дозволяє вам це зробити: https://github.com/databricks/spark-avro
В даний час це дозволяє вам робити як Avro -> SparkSQL і SparkSQL -> Avro.
Малоймовірно, що він буде доданий до самого Spark, щоб зберегти обсяг проекту під контролем, але є багато корисних пакунків Spark, розроблених поза Spark. http://spark-packages.org/