咨询一下，大家的ETL设计是如何考虑的？

初级会员 注册时间: 2008-05-14 04:26:52 文章: 13 离线

了解了几个朋友的设计思路，都是在源生成文件，传输问题到DW服务器，导入。不知道大家是如何设计ETL的，每一步的技术实现是什么？最好有详细的设计学习一下。谢谢。

考虑到不一定有数据库访问权限，网络性能，尽量将对业务系统影响降到最低等多种因素，在源生成文件，传输问题到DW服务器，导入,是一个普遍的做法。不过也有其他的，如直接从业务数据库抽数据到数据仓库的staging area中的。用哪种方式还是主要看需求和环境，数据量等。

每一步的技术实现是什么？这个问题太大。

初级会员 注册时间: 2008-05-14 04:26:52 文章: 13 离线

不好意思，前面问的太宽泛了。
1、在源生成文件，大家一般是如何生成的？用ETL工具还是脚本？
2、文件生成以后如何通知ETL工具来获取文件到DW服务器？
3、文件获取文件到DW服务器后，如何通知ETL做Load？
这些工作能完全用Informatica来实现吗？

1.生成文件，小数据量随便怎么弄都可以，大数据量sybase and ms sql server有bcp命令， oracle有sql loader命令行工具。
其次还可以用shell script等。这些命令都是命令行命令，在etl工具中都有调命令行的组件，把此组件拖到mapping中调用相应命令即可。

2。这个可以通过etl工具来做，如datastage中有wait for file stage，用来监测某个文件在某目录下是否生成。如生成了，则进行下面工作流。

3。做load其实就是运行job，mapping。具体怎么load，就是在mapping中设计的。

这些都是最基本的需求，imformatica都可以做。

这篇文章被编辑了 2 次. 最近一次更新是在 2008-08-06 01:31:46

lynx286 wrote:
其次还可以用shell script等。这些命令都是命令行命令，在etl工具中都有调命令行的组件，把此组件拖到mapping中调用相应命令即可。

麻烦说下在INFA中这个组件是什么怎么用想知道

初级会员 注册时间: 2008-05-14 04:26:52 文章: 13 离线

感谢lynx286 !

能提供一下具体的在Informatica里面如何做到吗？
1、“在etl工具中都有调命令行的组件，把此组件拖到mapping中调用相应命令即可”。
2、“这个可以通过etl工具来做，如datastage中有wait for file stage，用来监测某个文件在某目录下是否生成。如生成了，则进行下面工作流”。

我今天研究了一中午，没有搞定。
谢谢。

论坛CTO 注册时间: 2008-04-23 08:51:09 文章: 58 来自: 不透露 离线

凌云 wrote:感谢lynx286 !

能提供一下具体的在Informatica里面如何做到吗？
1、“在etl工具中都有调命令行的组件，把此组件拖到mapping中调用相应命令即可”。
2、“这个可以通过etl工具来做，如datastage中有wait for file stage，用来监测某个文件在某目录下是否生成。如生成了，则进行下面工作流”。

我今天研究了一中午，没有搞定。
谢谢。

1.这个组件是session这个级别的，在mapping里面是没有调用系统命令的组件的，除非你自己写程序，让session调，在建session,除了session不是有很多控件可以选吗，选择command这个组件。
2.任何ETL工具都可以用一个流程来控制ETL process,比如你可以把生成文件做成一个job,跑etl程序跑一个job,后来一个job需要等待前面一个job跑成功之后才能执行，这些都是你可以做到的，具体怎么做，你可以根据项目自行研究。

初级会员 注册时间: 2008-08-21 08:57:49 文章: 3 离线

。。。