Skip to content

Hive 为 SparkSQL 加载 Hive 数据表,需要在 Spark 的 conf 下放置 hive-site.xml 让 Spark 能顺利访问到 Hive。同时 hive 应开启 metastore。

shell
bin/hive –service metatore

Hive Metastore 用于向外部开放 Hive 内部的表结构和访问元数据的接口。

Hive Source 的配置方法:

xml
<source type="hive" 
        table_name="user_concat_testx"
        catalog="hive"
        database="default"
        hive_conf_dir="/Users/zhenqin/software/hive/conf"
        sql="select * from user_concat_test"/>

Table_name 为 Hive SQL 的查询结果的虚表名称,可视作视图; Sql 为一段 hive 表的查询,可加 where 条件,可以是 join结果;