idea中通过spark访问hive
IDEA中使用Spark SQL 连接Hive
作者：studyhardatEnglish
折腾了两个小时，好久没有弄了，记录一下
一、复制hive-site.xml
复制hive-site.xml到idea工程中的resource目录下
二、在windows中安装hadoop并配置环境变量
1、解压hadoop
2、修改hadoop etc/hadoop中的
hadoop-env.cmd、mapred-env.sh、yarn-env.sh的java_home路径
3、配置hadoop的环境变量
HADOOP_HOME D:\modules\hadoop-2.7.7
PATH 里添加%HADOOP_HOME%\sbin和%HADOOP_HOME%\bin
4、hadoop的bin文件下添加工具文件
链接：https://pan.baidu.com/s/1h09SDObjlHy9ns4qAOO7eg
提取码：edxm
二、
连接测试代码
object TestHive {
def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("TestHive").setMaster("local[*]")
val spark = SparkSession.builder().enableHiveSupport().config(conf).getOrCreate()
spark.sql("show databases").collect().foreach(println)
println("test")
}
}
作者：studyhardatEnglish
