产品概述:
DataOps 低代码数据开发平台是一个可视化、高性能、易管控的数据集成、开发、调度、监控的一体化平台。通过 DataOps 可以完成对各种类型数据源的采集、探查、访问、过滤、清洗、转换、加载等 ETL 过程。同时 DataOps 也提供易用的数据分析架构,实现基于 SparkSQL/FlinSQL 的数据融合开发、数据聚合分析等场景。最终实现异构数据的有机整合,在数据集成、开发的过程中,借助 DataOps 强大的模型开发能力,在实施过程中进行开发过程的规范化、代码自动化、模式统一化、代码和质量可控化、调度管理统一化和监控可视化。
DataOps 提供如下核心的功能:
l 可视化开发环境:为可快速搭建数据中台基础平台,可见即可得的开发环境。
l 批流一体化数据融合开发:建立批流一体化的数据开发及智能化的作业部署,在线调试作业。
l 数据开发协作:从一套平台满足多个团队数据开发,高效的团队协作。不同团队权限隔离,操作互补影响。
l 统一调度管理:提供灵活的、多角度的模型作业调度机制,通过简单、灵活、易用的配置管理模式,减轻作业、任务运维管理工作量。通过智能调度系统设计,作为核心大脑支撑每日百万级的任务的平稳运行。系统自动解析任务流依赖关系,规避了在任务繁多依赖关系复杂的情况下通过人工设计任务工作流可能产生的错误情况,让用户专注业务逻辑处理上面,提高数据建设效率。
l 数据分析基座:提供数据开发、运行、监控的在线统一管理,从保障应用系统和数据安全出发,从技术和管理两方面提供事前预防、事中控制和事后追溯能力。利用平台的易用性能力,为业务快速提供中台级别的数据指标体系。
产品特点和优势:
1.3.1. 打造数据低开平台
1.3.2. 异构数据源数据集成
1.3.3. 可视化智能化开发平台
1.3.4. 批流一体化融合开发
1.3.5. 元数据自动采集管理
1.3.6. 智能数据流向分析
1.3.7. 百万级 ETL 作业调度
1.3.8. 智能化监控和预警