张杰部落格
博客信息

spark-sql读取映射hbase数据的hive外部表需要的jar包

发布时间:『 2018-01-19 16:39』  博客类别:Hadoop/Spark  阅读(997) 评论(0)

之前在业务处理中建立的一个hive映射hbase数据的外部表,通过hive查询成功,但是通过spark-sql去查询报了缺包异常。

解决方式

前提是你已经可以通过spark-sql读取hive的数据了。 
解决方式非常简单。

1.拷贝如下jar包到${spark_home}/jars(spark2.0之前是${spark_home}/lib):

  • hbase-protocol-*.jar

  • hbase-client-*.jar

  • hbase-common-*.jar

  • hbase-server-*.jar

  • hive-hbase-handler-*.jar

  • metrics-core-*.jar

  • htrace-core-*.jar

2.将hbase的配置文件 hbase-site.xml 拷贝到${spark_home}/conf目录下。

解决!!!



关键字:   无
评论信息
暂无评论
发表评论
验证码: 
Powered by IMZHANGJIE.CN Copyright © 2015-2022 粤ICP备14056181号