增量与全量？

初级会员 注册时间: 2008-05-07 00:50:50 文章: 5 离线

请问，１、infa中增量抽取和全量抽取大家是怎么组织的？放到一个mapping中通过条件判断还是分别做两个mapping？
　　　　２、增量抽取Source Q中利用where条件减少数据量，增量条件一般是保存到db table中，然后读取还是从参数文件中读？

这个方法比较多的吧
我是放到一个MAPPING里在SQ里面使用BDATE,EDATE来实现按日期增量全量时就把BDATE,EDATE放大就可以了

论坛CTO 注册时间: 2008-04-23 08:51:09 文章: 58 来自: 不透露 离线

zdcku wrote:这个方法比较多的吧
我是放到一个MAPPING里在SQ里面使用BDATE,EDATE来实现按日期增量全量时就把BDATE,EDATE放大就可以了

对的，其实增量的mapping是包含全量的，主要是看你做全量的时候，是否想保留以前的数据，或者是更新以前的数据,一般情况下不会做多个mapping,除非你全量数据过大，控制主要还是用参数文件，比较方便.

初级会员 注册时间: 2008-05-06 19:11:34 文章: 14 离线

不是很懂学习先

初级会员 注册时间: 2008-05-07 00:50:50 文章: 5 离线

有没有办法在mapping中动态的给Source Qualifer传入参数就进行数据过滤？因为是动态的，所以用参数文件不行。

论坛CTO 注册时间: 2008-04-23 08:51:09 文章: 58 来自: 不透露 离线

infa wrote:有没有办法在mapping中动态的给Source Qualifer传入参数就进行数据过滤？因为是动态的，所以用参数文件不行。

你当然不能光依靠informatica本身,你可以采用unix shell脚本来动态改变参数文件, 或者用windows脚本.

初级会员 注册时间: 2008-05-07 00:50:50 文章: 5 离线

这样岂不是太麻烦了？每一个mapping全量和增量的参数都是不同的，而且我有几十个汇总mapping,这样的参数文件维护起来很麻烦吧？
你们的增量汇总都是用参数文件来维护增量时间范围？

初级会员 注册时间: 2008-05-07 00:50:50 文章: 5 离线

补充一下：这样的参数文件还不如参数表了，我维护一个参数表，每次wf跑之前，跑一个procedure,把需要的时间参数刷到参数表中，然后直接在SQL里面写关联。
如果infa要这样处理，我觉得有点弱智了。

论坛CTO 注册时间: 2008-04-23 08:51:09 文章: 58 来自: 不透露 离线

infa wrote:补充一下：这样的参数文件还不如参数表了，我维护一个参数表，每次wf跑之前，跑一个procedure,把需要的时间参数刷到参数表中，然后直接在SQL里面写关联。
如果infa要这样处理，我觉得有点弱智了。

infa这里是有点弱，你增量和全量使用什么来区分的,增量和全量一般来说都是用时间来分的,何来你几十个mapping的参数都不同

论坛CTO 注册时间: 2008-04-23 08:51:09 文章: 58 来自: 不透露 离线

killandylove wrote:

infa wrote:补充一下：这样的参数文件还不如参数表了，我维护一个参数表，每次wf跑之前，跑一个procedure,把需要的时间参数刷到参数表中，然后直接在SQL里面写关联。
如果infa要这样处理，我觉得有点弱智了。

infa这里是有点弱，你增量和全量使用什么来区分的,增量和全量一般来说都是用时间来分的,何来你几十个mapping的参数都不同

我理解了，你是说时间范围都不同吧,呵呵，这个办法太好办了，你可以把参数定义为时间范围长度:
比如，你首先选个基础时间(年\月\日),然后你把参数定义为一个时间范围长度,比如variabe1=20(月),在你SQL q里面用数据库的时间函数来控制增量全量,那么你维护一个文件，就是简单的一命令

PARA_DATE("BDATE" ,"EDATE" ,"BMONTH","EMONTH")
比如这个简单的日期参数表
每天增量使B/EDATE相等都为业务日期
全量就修改它在一个范围内后面的类似
维护其实很简单的只要维护DATE 其余的月半年年等我是用INFA来算出来的
就是对应这个表有个入口
PARA_DATE_IN(BDATE,EDATE)
然后PARA_DATE_IN用INFA计算得到PARA_DATE所有需要的参数值

infa wrote:有没有办法在mapping中动态的给Source Qualifer传入参数就进行数据过滤？因为是动态的，所以用参数文件不行。

参数文件也可以动态的可以用INFA自动生成参数文件来实现"动态"

初级会员 注册时间: 2008-05-07 00:50:50 文章: 5 离线

了解

初级会员 注册时间: 2008-05-12 02:30:40 文章: 1 离线

看看版主的高见