Hive 为 SparkSQL 加载 Hive 数据表,需要在 Spark 的 conf 下放置 hive-site.xml 让 Spark 能顺利访问到 Hive。同时 hive 应开启 metastore。
shell
bin/hive –service metatore
Hive Metastore 用于向外部开放 Hive 内部的表结构和访问元数据的接口。
Hive Source 的配置方法:
xml
<source type="hive"
table_name="user_concat_testx"
catalog="hive"
database="default"
hive_conf_dir="/Users/zhenqin/software/hive/conf"
sql="select * from user_concat_test"/>
Table_name 为 Hive SQL 的查询结果的虚表名称,可视作视图; Sql 为一段 hive 表的查询,可加 where 条件,可以是 join结果;