pyspark的windows7环境搭建

安装步骤

注意：本篇的所有资源可通过百度网盘提供，减少寻找和下载时间

链接：https://pan.baidu.com/s/1v53Vt5NZEPZigCXE6rjDGQ 
提取码：64pi 

这里选择version 1.8.，配置环境变量JAVA_HOME,PATH,CLASSPATH

参考链接：Java JDK8下载地址，Java安装及环境配置

注意java的版本不能太高，否则后面java安装会报错。

(1).从 Scala官网下载目录下载 Scala 二进制包，本教程将下载 2.11.8版本

下载后，双击 msi 文件，一步步安装即可，安装过程使用默认的安装目录即可。

(2).右击【我的电脑】--【属性】--【高级系统设置】--【环境变量】

设置 SCALA_HOME 变量：单击新建，变量名输入：SCALA_HOME，变量值输入：C:\scala，即 Scala 的安装目录

注意安装目录名称不能有空格。
设置 Path 变量：找到Path，单击编辑。变量值添加如下的路径： %SCALA_HOME%\bin;%SCALA_HOME%\jre\bin;

注意：后面的分号 ； 不要漏掉。
设置 Classpath 变量：找到ClassPath，单击编辑。变量值添加：.;%SCALA_HOME%\bin;%SCALA_HOME%\lib\dt.jar;%SCALA_HOME%\lib\tools.jar.;

(3).检查软件是否安装成功

cmd中输入 scala，看到如下结果，说明安装成功。

(3).通过Anaconda navigator的Environments安装py4j库

这里默认已经安装好了Anaconda

pyspark依赖于py4j，导入之前必须确保已安装py4j库

(4).添加系统环境变量
新建系统变量，变量名输入：PYTHONPATH，变量值输入：%SPARK_HOME%\python\lib\py4j;%SPARK_HOME%\python\lib\pyspark

cmd中输入 pyspark，看到如下结果，说明安装成功。

环境搭建 环境 pyspark windows