Scala: Напишете произволни стойности на JSON и запишете в файл, след което анализирайте в Spark - json, scala, file, random

Бих искал да напиша десет (или милиардни) събития в JSON и да ги запазя като файлове.

Пиша в тетрадка Databricks в Скала. Искам JSON низът да има произволно генерирани стойности за полета като "въглехидрати":

{"Username": "patient1", "Carbs": 92, "Bolus": 24, "Basal": 1.33, "Date": 2017-06-28, "Timestamp": 2017-06-28 21:59:...}

Успешно използвах следното, за да запиша датата в масив () и след това да я запазя като JSON файл.

val dateDF = spark.range(10)
.withColumn("today", current_date())

Но какъв е най-добрият начин да запишете случайни стойности в масив и след това да запишете масива като JSON файл?

Отговори:

Можете да конвертирате RDD в dataframe и след това запишете като json формат като

dataframe.write.mode("append").json(path)