pandas和spark dataframe互相转换实例详解
这篇文章主要介绍了pandas和spark dataframe互相转换实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
from pyspark.sql import SparkSession
# 初始化spark会话
spark = SparkSession \
.builder \
.getOrCreate()
spark_df = spark.createDataFrame(pandas_df)
spark的dataframe转pandas的dataframe
import pandas as pd
pandas_df = spark_df.toPandas()
由于pandas的方式是单机版的，即toPandas()的方式是单机版的，所以参考breeze_lsw改成分布式版本：
import pandas as pd
def _map_to_pandas(rdds):
return [pd.DataFrame(list(rdds))]
def topas(df, n_partitions=None):
if n_partitions is not None: df = df.repartition(n_partitions)
df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
df_pand = pd.concat(df_pand)
df_pand.columns = df.columns
return df_pand
pandas_df = topas(spark_df)
您可能感兴趣的文章:pyspark.sql.DataFrame与pandas.DataFrame之间的相互转换实例Pandas实现DataFrame按行求百分数(比例数)如何更改 pandas dataframe 中两列的位置pandas按行按列遍历Dataframe的几种方式pandas中遍历dataframe的每一个元素的实现在pandas中遍历DataFrame行的实现方法Python pandas.DataFrame 找出有空值的行pandas DataFrame的修改方法(值、列、索引)详解pandas DataFrame的查询方法（loc,iloc,at,iat,ix的用法和区别）
