行业,氛围,是否同频都很重要??
想要什么样的生活,就要进入什么样的圈子??
3个月后,一定会感激现在认真努力的你,未来可期!
翻看笔记,多做笔记,多做练习!
认真听讲中!
小组成员积极讨论交流中!
知识点:大数据ETL数据工程师是什么?从本意了讲,就是将大量数据抽出来,进行转化和加载的工程师。从专业角度讲,ETL软件开发工程师简称ETL工程师,是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员,也叫数据库工程师。而ETL是负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。
ETL是数据仓库中的非常重要的一环。它是承前启后的必要的一步。相对于关系数据库,数据仓库技术没有严格的数学理论基础,它更面向实际工程应用。所以从工程应用的角度来考虑,按着物理数据模型的要求加载数据并对数据进行一些系列处理,处理过程与经验直接相关,同时这部分的工作直接关系数据仓库中数据的质量,从而影响到联机分析处理和数据挖掘的结果的质量。
说到数据仓库呢?数据仓库它就是一个独立的数据环境,需要通过抽取过程将数据从联机事务处理环境、外部数据源和脱机的数据存储的介质导入到数据仓库中;在技术上,ETL主要涉及到关联、转换、增量、调度和监控等几个方面;数据仓库系统中数据不要求与联机事务处理系统中数据实时同步,所以ETL可以定时进行。但多个ETL的操作时间、顺序和成败对数据仓库中信息的有效性至关重要。
预览时标签不可点收录于话题#个上一篇下一篇