北京pk10直播开奖下载 北京pk10怎么去一尾 北京pk10投注倍数计划 天天北京pk10计划官网 北京pk10一天240 北京pk10销售停止时间 北京pk10彩票视频 北京pk10杀号计划网页 北京pk10谁能控制结果 北京pk10谁挣到钱了 北京pk10漏洞投注技巧 北京pk10谁控制的娱乐 北京pk10四码倍投计算 北京pk10时时彩 北京pk10玩法介绍 北京pk10中奖金额 北京pk10手机挂机软件 北京pk10前五单式缩水软件 北京pk10有好方法吗 北京pk10漏洞刷 北京pk10六码怎么倍投 北京pk10名号走势 北京pk10平台送彩金 北京pk10冠军怎么看 北京pk10触犯法律吗 北京pk10代理加盟费 北京pk10冠亚和方法 北京pk10微信群软件 北京pk10数据excel 2017北京pk10投注软件

数据层交换和高性能并发处理(开源ETL大数据治理工具--KETTLE使用及二次开发 )
  完毕
收藏课程
9999+

数据层交换和高性能并发处理(开源ETL大数据治理工具--KETTLE使用及二次开发 )

ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据?#27835;?#30340;载入过程,目前流行的数据进入仓库的过程有两种形式,一种是进入数据库后再进行清洗和转换,另...

适?#20808;?#32676;:高级
课时数量:15课时
用到技术:KETTLE、spoon使用
涉及项目:源码?#27835;觥?#20108;次开发、流程设计

本课程为VIP6会员免费专享区课程,专享区包括300+门北风网原创实战课程,价值15万元以上,不断更新,VIP6会员可?#25105;?#20813;费学习,点此查看专享区内所有课程。
  • 课程顾问贴心解答

    为你推荐精品课程,无论就业还是升职加薪,毫无压力。

  • 名企定制紧随大流

    ?#21487;?#25171;造紧贴企业需求的实用性课程。

  • 系统教学把控效果

    集学、测、练为一体的学习系统为你科学的安排学习进度,提高效率。

  • 一线大师1对1指导

    课程研发团队内一线资深讲师一对一指导,?#32844;?#25163;教学,直到学会。

  • 点播答疑完美结合

    每周2-3次直播解答,保证学?#27604;?#24120;学习问题能得到解决。

  • ?#21487;?#23450;制学习计划

    告别杂乱的学习方式,我们会根据你的情况定制学习计划。

 ETL是什么?#35838;?#20160;么要使用ETL?KETTLE是什么?#35838;?#20160;么要学KETTLE?

 

ETL是数据的抽取清洗转换加载的过程,是数据进入数据仓库进行大数据?#27835;?#30340;载入过程,目前流行的数据进入仓库的过程有两种形式,一种是进入数据库后再进行清洗和转换,另外一条路线是首先进行清洗转换再进入数据库,我们的ETL属于后者。
 
大数据的利器大家可能普遍说是hadoop,但是大家要知道如果我们不做预先的清洗和转换处理,我们进入hadoop后仅通过mapreduce进行数据清洗转换再进行?#27835;觶?#22403;圾数据会导致我们的?#25490;?#21344;用量会相当大,这样无形中提升了我们的硬件成本(硬盘大,内存小处理速度会很慢,内存大cpu性能低速度?#19981;?#21463;影响),因此虽然hadoop理论上解决了烂机器拼起来解决大问题的问题,但是?#29575;瞪先?#26524;我们有更好的节点速度必然是会普遍提升的,因此ETL在大数据环境下仍然是必不可少的数据交换工具。
 
市场上流行的ETL很多,比如informatica等,但是开源的比较完善的却不是很多,而其中比较有名的要说是pentaho开源的kettle了,该工具被广泛用,并且开源的产品我们从中不仅可以学到ETL的简单应用,并且可以学习到ETL的原理以及通过源码学到更多的东西。
 
亮点一:KETTLE应用广泛,仅仅学会使用就可以找到一份不错的工作。
 
亮点二:本课程不仅讲解简单实用,同时讲解二次开发并且配有开发模板,提升工作质量。
 
亮点三:渗透了大数据的一些处理方法,与目前流行的hadoop配合使用。
 
亮点?#27169;悍治鯧ETTLE源码,即使对ETL兴趣不大,至少可以了解国外开源项目的一些源码,并且KETTLE本身也使用了很多开源项目,因此可?#28304;?#35813;工具上学到更多东西。
  
通过课程可以学到什么:
1.ETL过程原理
2.数据流引擎的原理
3.元数据和数据进行动态数据交换的设计
4.并发运算的原理
 
课时安排?#28023;?5课时)
1.ETL简介—开源KETTLE(1课时)
>介绍KETTLE在大数据应用的位置和作用。
>主要讲解ETL是什么,KETTLE进行简单介绍,并且使用例子进行KETTLE的使用介绍。
>介绍KETTLE流程的部署。
 
2.KETTLE使用(1课时)
>详细介绍KETTLE的spoon使用
>KETTLE的trans和job入门
>KETTLE的日志和调试工具使用
 
3. KETTLE之Step流程设计(3课时)
>编写例子介绍KETTLE常用的转换、清洗组件
>主要完成以下插件:
输入插件:
文本文件输入、生成记录、表输入、Fixed file input、Get data from XML
输出插件:
XML输出、?#22659;?#25554;入/更新、文本文件输出、更新、表输出
转换插件:
Add a checksum、Replace in string、Set field value、Unique rows(HashSet)、增加常量、增加序?#23567;?#23383;段选择、拆分字段
Flow插件:
Abort、Switch/case、空操作、过滤记录
脚本插件:
Modified Java Script Value、执行SQL脚本
查询插件:
File exists、Table exists、调用DB存储过程
 
4. KETTLE之Job流程设计(2课时)
>编写例子介绍KETTLE常用的作业组件
>主要完成以下插件:
通用插件:
START、DUMMY、Transformation、Success
文件管理插件:
Copy Files、Compare folders、Create a folder、Create file、Delete files、Delete folders、File Compare、Move Files、Wait for file、Zip file、Unzip file
条件插件:
Check Db connections、Check files locked、Check if a folder is empty、Check if files exist、File Exists、Table exists、Wait for
脚本插件:
Shell、SQL
Utility插件:
Ping a host、Truncate tables
文件传输插件:
Upload files to FTPS、Get a file with FTPS、FTP Delete
>Kettle与Hadoop的联合使用
 
5. KETTLE之流程性能调优与监控(1课时)
>介绍KETTLE的流程监控功能
>介绍KETTLE的性能优化方法
 
6. KETTLE之嵌入开发(1课时)
>编写程序介绍KETTLE的流程如何嵌入到我们的java应用中
主要包括java嵌入trans以及job流程
 
7. KETTLE之?#36828;?#20041;Step、Job插件制作(3课时)
>编写Step和Job模板,并给大家作为二次开发的基础工程使用,提高大家的开发效率。
>编写程序说明Step和Job插件的开发方法。
 
8. KETTLE之数据同步方案(1课时)
>介绍5种数据同步方案,并且这5种方案都是支持异构数据同步的。
包括全量快速同步方案和增量同步方案
 
9. KETTLE之分区、集群以及原理(1课时)
>介绍KETTLE的分区原理,并且讲解配置使用。
>介绍KETTLE的集群原理,并且讲解配置使用,以及监控方法。
 
10. KETTLE之源码?#27835;?#19982;二次开发(1课时)
>介绍KETTLE的SRC导入ECLIPSE方法,以及打包和运行方法。
>?#27835;鯧ETTLE的包结构以及运行流程,讲解KETTLE的运?#24615;?#29702;。
 
北京pk10和值多少算小
开心假期官网 时时彩开奖图 马德里竞技官网 Playboy黄金试玩 21世界古墓奇兵 热那亚官网 川崎前锋vs大阪飞脚 喜福牛年注册 幸运28走势图大神 北京pk10走势图分析 多玩英雄联盟视频站 莱加内斯vs韦斯卡