Skip to content

用于把source 和 Transform 的表(虚表)输出到 Parquet File。

配置方法:

xml
<target type="parquetfile" 
       table_name="cust_id_agmt_id_t"
       path="file:///Users/zhenqin/temp/output4 "
       partition="1" 
       compression="gzip"
       savemode="overwrite" />

字段说明:

  1. Partition 为控制输出分区数,防止小文件过多;
  2. Compression 为压缩格式,无参数则无需压缩。压缩支持见【target压缩】;
  3. Savemode 为 overwrite 空覆盖写入,当写入目标已存在和删除再写入。否则根据 Spark 的特性任务会失败;
  4. Path 为输出到的目的地,支持 file:// 和 hdfs://;