数据抽取(Extraction):从不同源头系统中获取所需数据的步骤。比如从mysql中拿取数据就是一种简单的抽取动作,从API接口拿取数据也是。
数据转换(Transformation):清洗、整合和转化原始数据以适应目标存储或分析系统的阶段。从mysql中拿到数据之后对数据进行处理,像对数据的一些修改,删除,新增都算是,学过编程的同学应该很容易理解。
数据加载(Loading):将经过处理的数据载入到数据仓库或其他目标平台的过程。这个就更简单了,就是将数据加载到目标系统里去,这个系统可以是一个接口,可以是一个数据库,可以是一个平台。
结构化处理:通过ETL将非结构化或半结构化数据转化为便于挖掘的结构化数据。
其中非结构化或半结构化数据是指那些不符合传统关系数据库严格定义格式的数据类型。非结构化数据通常没有预定义的数据模型,如文本文件、电子邮件、社交媒体帖子、图片、音频和视频等,这些数据的内部结构各异,难以直接通过数据库表格进行管理和分析。而半结构化数据则具有某种层次性或自我描述性的结构,但不遵循固定模式,例如XML、JSON文件,它们包含标签或者键值对形式的数据,比非结构化数据更易于处理,但仍需要特殊的方法和技术来提取和解析其中的有效信息。
从Excel和MySQL中抽取数据然后清洗转换、分离,分别输出到两个数据库里
比如增加一个test字段,设定缺省值,后面节点就可以拿到该字段的值,新增的字段并不会修改数据库
双流合并基础配置,需注意关联条件配置,最后两个是对字段名的数量进行设置,选择想要的字段
在实际应用中,ETLCloud展现了其高效的数据抽取能力,无论是从关系型数据库如MySQL,还是非结构化数据源如Excel文件,都能轻松实现数据提取。其灵活的数据转换功能强大,支持诸如去重、异常值检测、特征构建等深度预处理操作,极大地优化了数据集的质量和挖掘效率。