/ / Ako získať názov stĺpca vo funkcii mapy Spark? - python, apache-spark, dataframe, pyspark

Ako získať názov stĺpca v funkcii mapy Spark? - python, apache-spark, dátový rámec, pyspark

Mám široký stôl ako dátový rám Spark(pyspark) a pre každú bunku potrebujem transformovať údaje tak, aby boli vo formáte column_name: column_name: value. Snažím sa použiť funkciu mapy, ale nie som schopný získať názov stĺpca v nej. Ani to nefunguje:

map_dummy(c, v):
return c+":"+c+":"+v

metadata.select(*(map_dummy(c, col(c)) for c in metadata.columns)).show()

Máte predstavu, ako môžem transformovať údaje do formátu, ktorý chcem?

odpovede:

1 pre odpoveď č. 1

Môžete to urobiť pomocou vstavaných funkcií:

metadata.select(concat(lit(c), lit(":"), lit(c), lit(":"), c)  for c in metadata.columns)).show()

Kde concat je funkcia z PySpark SQL modulu