数据血缘

数据血缘是指数据的全生命周期中，数据从产生、处理、加工、融合、流转到最终消亡，数据之间自然形成一种关系。 其记录了数据产生的链路关系，这些关系与人类的血缘关系比较相似，所以被成为数据血缘关系。 比如，数据A经过ETL处理生成了数据B： 那么我们就说数据A与B有着血缘关系，且数据A是数据B的上游数 ...
2025-03-10 大数据相关

大数据基础

基本概念 数据仓库： 抽取或导入结构化/半结构化数据，主要用于OLAP数据分析，支持管理决策。 Data Mesh数据网格： 采用DDD领域驱动设计思想。 数据治理拆分到各业务领域（类似微服务的服务拆分），分而治之，分别产出业务领域的数据产品。 Data Fabric: 元数据驱 ...
2024-12-22 大数据相关

DolphinScheduler

DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。 适用于企业级场景，提供了一个可视化操作任务，工作流和全生命周期数据处理过程的解决方案。 DolphinScheduler旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。 ...
2024-11-10 大数据相关

Hive

Hive 是一个构建在 Hadoop 之上的数据仓库。 它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能。 用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 数据类型 CREATE TABLE students( name ...
2024-11-10 大数据相关

Doris

Doris是由百度大数据研发，是一个现代化的MPP大规模并行处理的分析型数据库产品。 仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。 Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。 Apache Doris 可以满足多种数据分 ...
2024-11-10 大数据相关

DataX

DataX 是阿里云 DataWorks数据集成 的开源版本。 在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。 DataX 实现了包括 MySQL、Oracle、OceanBase、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(O ...
2024-06-23 大数据相关

Flink

Apache Flink作为一款高吞吐量、低延迟的针对流数据和批数据的分布式实时处理引擎。 和Storm/Spark Streaming一样，定位于流式处理系统。 官网地址：https://flink.apache.org/ 官方文档（1.14.2版本）：https://nightl ...
2024-06-23 大数据相关

Hadoop

Hadoop是Apache软件基金会下一个开源分布式计算平台。 以HDFS、MapReduce，Hadoop2.0加入了YARN，Yarn是资源调度框架，能够细粒度的管理和调度任务。 还能够支持其他的计算框架，比如Spark为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 H ...
2024-06-23 大数据相关

Spark

Apache Spark是用于大规模数据处理的统一分析引擎。 基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性。 允许用户将Spark部署在大量硬件之上，形成集群。 官网地址：http://spark.apache.org/ 文档查看地址：https://sp ...
2024-06-23 大数据相关

SQOOP

Apache Sqoop（SQL-To-Hadoop）项目旨在协助RDBMS（Relational Database Management System：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。 用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数据导入到 Hadoop ...
2024-06-23 大数据相关