Skip to content

用于将 DataFlow的结果输出到 ElasticSearch 系统中。

xml
<target type="elasticsearch"
        table_name="cust_id_agmt_id_t"
        partition="1"
        target_table_name="test_collection/1"
        nodes="localhost"
        port="9200"
        columns_mapping="commodity_id,commodity_name,picture_url,price"/>

ElasticSearch target 是通过吧结果集序列化为 json 的形式入库,因此需注意字段映射的类型应和 index 的 mapping 字段类型能有效对应。

  1. Target_table_name/index_name: 为 ElasticSearch 内部索引名称;
  2. Columns_mapping: 为字段映射,类型为 spark row,如果和结果集类型不一致,应该在转换中通过函数或者 cast(field as type) 转换类型;
  3. Nodes:是一个或多个elasticsearch 的节点地址;
  4. Port: 是 elasticsearch 的服务端口号,默认:9200;