用于把source 和 Transform 的表(虚表)输出到 Parquet File。
配置方法:
xml
<target type="parquetfile"
table_name="cust_id_agmt_id_t"
path="file:///Users/zhenqin/temp/output4 "
partition="1"
compression="gzip"
savemode="overwrite" />
字段说明:
- Partition 为控制输出分区数,防止小文件过多;
- Compression 为压缩格式,无参数则无需压缩。压缩支持见【target压缩】;
- Savemode 为 overwrite 空覆盖写入,当写入目标已存在和删除再写入。否则根据 Spark 的特性任务会失败;
- Path 为输出到的目的地,支持 file:// 和 hdfs://;