Mám široký stôl ako dátový rám Spark(pyspark) a pre každú bunku potrebujem transformovať údaje tak, aby boli vo formáte column_name: column_name: value. Snažím sa použiť funkciu mapy, ale nie som schopný získať názov stĺpca v nej. Ani to nefunguje:
map_dummy(c, v):
return c+":"+c+":"+v
metadata.select(*(map_dummy(c, col(c)) for c in metadata.columns)).show()
Máte predstavu, ako môžem transformovať údaje do formátu, ktorý chcem?
odpovede:
1 pre odpoveď č. 1Môžete to urobiť pomocou vstavaných funkcií:
metadata.select(concat(lit(c), lit(":"), lit(c), lit(":"), c) for c in metadata.columns)).show()
Kde concat je funkcia z PySpark SQL modulu