各位有没有关于全量和增量的数据安全性方面的相关资料分享

初级会员 注册时间: 2008-05-06 19:11:34 文章: 14 离线

最近在学习有关全量抽取和增量抽取的设计，忽然想到有没有关于这些抽取，遇到抽取时数据错误怎么办，就是说怎么保证要插入的数据是正确的，万一遇到不正确的数据有没有什么策略，能不能在mapping中或在workflow中实现，望大家赐教。。。

全量抽取比较简单，导入前清空（truncate）目的表数据再导即可。

数据仓库项目一般来说还是比较大的，所以etl一般也都是增量抽取的。

增量抽取一般要求业务系统（oltp系统）的表最好有时间戳字段（timestamp），根据时间戳区别新旧数据，抽取新数据，此法也最常见。

如果没有时间戳至少得有主键，进行主键比较，得到新数据，装载到数据仓库。比较时可根据相应工具做简单处理，如datastage中可以用crc32函数将多个字段拼接转成加密字符串，然后比较此字符串是否相同，从而判断字段值是否有变化。oracle可以用minus，left join and right join , exists 等求出新数据，导出到数据仓库。

如果连主键都没有，那就不好处理了，只能全表每个字段进行比较，费时费力。所以业务系统设计时最好加时间戳字段。

数据安全性一般从数据库端解决，设置好数据库用户权限，操作系统权限，网络端口，网络协议限制等。如果数据库不允许访问，可通过ftp传输平文件传输数据到etl服务器。