ETL工作应该做些什么？

初级会员 注册时间: 2008-07-11 22:24:46 文章: 9 离线

我现在正在使用Informatic Powercenter进行ETL的运维工作，之前也参与了一部分ETL的开发工作。
在开发的过程中，由于已经是别人设计好的模式，我只是按照这个模式去做了，到后来我感觉就是把Powercenter这个工具熟悉了一遍。但是现在在做运维的时候，我遇到了一些问题，我不知道ETL这个工作到底应该做些什么了，在我看来，只有源和目的，对于ETL来说，我看到的只有E和L了，我不知道自己该做些什么了。我并不希望自己被困在某个工具上，而是在对于ETL的思想理解上能有所提高。
希望能跟大家探讨一下，无论是开发和维护，ETL工作究竟应该能够做些什么，怎样才能提高，关注重点是应该放在数据仓库和它的数据上，还是关心ETL本身，或是其他什么。希望大家能够分享一下经验，帮助我提高，谢谢！

我觉得你对数据仓库,etl等概念还不是理解的很透.建议在网上搜一些相关的文章,但是最好是买本数据仓库的书啦,系统的了解一下数据仓库的整个结构.

初级会员 注册时间: 2008-07-11 22:24:46 文章: 9 离线

谢谢我正在看Bill Inmon的数据仓库

能说一下ETL的开发和维护具体工作都做哪些吗？

zjbc100 wrote:谢谢我正在看Bill Inmon的数据仓库

能说一下ETL的开发和维护具体工作都做哪些吗？

简单得说就是从业务系统(source)导数据到数据仓库(target)中去.

其中数据源可能是异构的(sql server,oracle,sybase,flat file.....),etl一个重要目的就是整合所有所有日常业务应用的数据.

导的过程中还有清洗和转换的过程,比如去除脏数据,统一度量单位,统一数据字典或源数据,根据业务规则拆分或合并数据等等.

另外oltp建模思想和olap是不一样的,那么从altp模型到olap模型的转换也是由etl完成的.

维护工作就相对简单,保证每天的load顺利执行完成, 如果出错了要进行相应处理即可.

初级会员 注册时间: 2008-05-02 01:49:03 文章: 23 离线

数据整合优化