我有一个像下面的字典对象。
data_dict={1016070000000: [[15245438, 1198], [53273831, 1198]], 10160700000201: [53273831, 1197]}
我想将其转换为如下所示的数据框。
ID cola colb
1016070000000 15245438 1198
1016070000000 53273831 1198
10160700000201 53273831 1197
我试图这样转换
spark.createDataFrame(data_dict.items()).show()
但是它给了我错误。您能否让我知道如何将这个字典轻松地转换成数据框？
将嵌套字典转换为嵌套列表，如下所示：
data_dict = {
1016070000000: [[15245438, 1198], [53273831, 1198]],
10160700000201: [53273831, 1197]
}
data = []
for k, v in data_dict.items():
if isinstance(v[0], list):
for row in v:
data.append([k,row[0],row[1]])
else:
data.append([k,v[0],v[1]])
df = spark.createDataFrame(data).toDF('ID', 'cola', 'colb')
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句