[Logo] MyDWBI---致力于打造最专业的中文数据仓库,商务智能社区
  [Groups]首页  [Blog] 博客   [Search] 搜索   [Recent Topics] 最新主题   [Hottest Topics] 热门主题   [Hottest Download] 热门下载   [Members]  会员列表  
[Register] 会员注册 / 
[Login] 登入 
欢迎大家提出各种Informatica的问题,我会尽力帮大家解决。  XML
论坛首页 » Informatica
前往:   
发表人 内容
killandylove

论坛CTO
[Avatar]

注册时间: 2008-04-23 08:51:09
文章: 58
来自: 不透露
离线

我提出几个比较共同的问题供大家讨论:
1.数据准确性
2.元数据管理
3.异构数据源问题
4.字符集问题
5.数据验证

本人中科院高级潜水院院士,诺贝尔长期掉线奖,奥斯卡终身隐身奖!!!
[Email] [WWW] [MSN]
Admin
管理员


中级会员

注册时间: 2008-04-22 10:19:24
文章: 30
离线

这帅的照片啊!!!


zhi007

初级会员

注册时间: 2008-04-28 09:52:37
文章: 11
离线

这些问题都好大哦
有没有具体点的问题
killandylove

论坛CTO
[Avatar]

注册时间: 2008-04-23 08:51:09
文章: 58
来自: 不透露
离线

zhi007 wrote:这些问题都好大哦
有没有具体点的问题


具体的问题,我其实是想,大家都各抒己见,然后大家互相讨论一下。

本人中科院高级潜水院院士,诺贝尔长期掉线奖,奥斯卡终身隐身奖!!!
[Email] [WWW] [MSN]
lianqi

初级会员
[Avatar]
注册时间: 2008-05-02 01:49:03
文章: 23
离线

举个例子最好
killandylove

论坛CTO
[Avatar]

注册时间: 2008-04-23 08:51:09
文章: 58
来自: 不透露
离线

lianqi wrote:举个例子最好

1.数据准确性
Example:
字段名 类型
A number(M,N)
在数据经过次ETL转换之后,出现2种情况:
a).数据是否能准确的保持以前的精度(数据需要经过次计算)
b) .在源与目标是异构数据源的情况下,尤其是在高精度数据转换时,能否保持数据精度不变
比如SQL Server number 到 Oracle Double的转换
2.元数据管理
在数据仓库项目中,我们肯定会遇到,当数据库结构发生变化时,我们能否及时的把这些变化映射到
mapping中的数据源或者目标定义中,怎么样去描述数据流的变化,都是元数据管理比较难应付的问题
3.异构数据源问题
异构数据源的整合当中,由于数据库底层对数据处理不同,常常会碰到一些棘手的问题,比如SQL Server和Oracle
对空字符处理问题上就存在差异等.
4.字符集问题
在当今企业级数据整合时,我们常常会遇到不同国家,地域的数据,比如日语字符,欧美字符,中文,怎样才能保证数据处理时的一致性
5.数据验证
这个问题是数据仓库一直以来都难以应付的问题之一,怎么才能在项目中找到一种合理的办法去验证源和目标数据一致性,一直都是大家比较头痛的问题

希望大家都提出自己的意见,让大家对这些问题作出一些讨论,这样才能让我们在项目里面获得更多的启发。

本人中科院高级潜水院院士,诺贝尔长期掉线奖,奥斯卡终身隐身奖!!!
[Email] [WWW] [MSN]
lynx286
一失足成千古风流人物!


论坛CEO
[Avatar]

注册时间: 2008-04-22 11:52:00
文章: 652
来自: 四海为家
离线

这几个问题都是很常见,很经典的问题.
以下是小弟弟的拙见, 抛砖引玉哦!

精度问题
SQL Server number 到 Oracle Double的转换可能会有些问题, 但是SQL Server number(p,s) 到Oracle 的 number(p,s)转换一般不会有问题.精度出问题最多的还是平文件(文本,excel等)到数据数据的转换.还有数字到货币类型的转换等.

元数据管理
是个比较头疼的事情,尤其是前期没有合理设计好数据仓库模型时,导致后来改动比较大, 据我所知只能手工维护元数据定义.
另外有些etl工具带有元数据管理工具也可以用用.
不知道各位网友有什么好办法???

异构数据源问题
此问题导致的大小问题很多.空字符处理算是一个方面.其他的还有很多种情况.比如sql server image字段和oracle blob字段的转换.
另外异构还包括操作系统异构,比如unix的文本行结束符和windows不一样等.

字符集问题
字符集问题简单的说可以用utf8,unicode等大字符集来兼容各种字符,其实中间具体实现过程还是非常复杂的.一言难尽啊!

数据验证
这个不光要靠数据库知识了.还要对业务系统数据模型非常精通,除此之外最好还要有专业知识,这样才能对数据敏感.
开发人员的缺陷就是对数据不敏感,一个数据比如这个月销售额时314万, 你跟本不知道这个数据是不是对的,但是业务人员比如公司销售老总一看就知道这数据隔几个数量级呢,公司销售业绩再少也不止300万!
要解决此问题得对他们业务系统模型, 能从他们原始业务系统得生产数据中查到确切结果.再和数据仓库中算出得结果比较.


大家继续......

唯大英雄能本色,是真名士自风流.
[WWW]
killandylove

论坛CTO
[Avatar]

注册时间: 2008-04-23 08:51:09
文章: 58
来自: 不透露
离线

以下是俺在多个项目中总结出的一些解决方案:
1.数据准确性
主要是保证数据的精度,在合理的情况下,我们可以把目标精度扩大至源精度的多位。当然,这个应该根据项目对数据的敏感程度,比如金融业务,0.05867这样一个数字精确到小数位第5位,或者第6位,对目标数据影响是比较大的,因为经过指标计算过后,数据差会被放大多倍。
2.元数据管理
虽然这么多年,大家都一直反复的提到"metadata management",但是都很难实现全面的原数据管理,手工维护是最常见的解决方案,
值得一提的几个问题:
a.必须有详细的文档做为支撑(最重要的)
b.采用隔离机制,降低维护风险,我们应该采用比较稳妥的隔离原理就是生产和应用隔离,敏感和公共隔离等
3.异构数据源
在数据源之前做好异构数据的同构,我这么说的意思是尽量不把风险放到业务逻辑计算的层面。我这里的数据源是指进入ETL业务逻辑计算之前的source.
同构的方法都大同小异,大家做过项目都应该比较了解.
4.字符集问题
这个没有多说的,尽可能使用数据库超集,意思就是目标数据库应该是源库的超集.
5.数据验证
呵呵,这个问题一直是我的噩梦,到目前为止,还没有更好的办法来做一块,原因是我们不是业务专家,我们以前的解决办法也有很多:
1.定义好ETL每一个细节, 详细记录在案
2.配合好具有一定技术背景的业务人员,做目标数据分析
3.数据的和的正确性,往往可以代替各阶段数据的正确性

呵呵,以上只代表我个人观点,请大家都提出自己的意见。

本人中科院高级潜水院院士,诺贝尔长期掉线奖,奥斯卡终身隐身奖!!!
[Email] [WWW] [MSN]
martin8864

初级会员

注册时间: 2008-05-05 23:58:25
文章: 2
离线

谁有Informatica的安装文件,能否传给我份,谢谢!可以联系我的MSN?谢谢!
[Email] [MSN]
hailong

初级会员

注册时间: 2008-07-14 03:10:37
文章: 14
离线

LZ能否告诉我informatica 的安装文件哪里下载的阿?找了好久了。呜呜!!拉小弟一把吧!!
lynx286
一失足成千古风流人物!


论坛CEO
[Avatar]

注册时间: 2008-04-22 11:52:00
文章: 652
来自: 四海为家
离线

hailong wrote:LZ能否告诉我informatica 的安装文件哪里下载的阿?找了好久了。呜呜!!拉小弟一把吧!!


呵呵,这种问题还是自己解决比较好。我们不便帮你解决。

唯大英雄能本色,是真名士自风流.
[WWW]
zhaofangtao

初级会员

注册时间: 2009-03-29 23:12:32
文章: 4
离线

我有字符集问题请教您
http://www.mydwbi.com/posts/list/538.page
Jackie
Jackie J. Lu


初级会员

注册时间: 2009-05-26 19:41:58
文章: 9
离线

我也有个字符集的问题请教,
http://www.mydwbi.com/posts/list/666.page
拜托了

树不要皮,必死无疑;人不要脸,天下无敌。
yinan9

初级会员

注册时间: 2010-01-05 03:41:58
文章: 4
离线

请问powercenter workflow monitor 怎么使用 怎么查看 看什么
hxbhxb333

初级会员

注册时间: 2009-05-28 08:12:11
文章: 5
离线

各位大侠们,谁碰到过这样的问题?
PowerCenter Repository Manager中点击此菜单,PowerCenter Repository Manager便崩溃了!请问有没有解决办法
选中Mapping,点击菜单

Repository
------
------
------
import Metadata

崩溃信息:
Repository Manager Application 遇到问题需要关闭。我们对此引起的不便表示抱歉。
 
论坛首页 » Informatica
前往:   

网站地图 |  联系我们 |   |  招聘版主 |  免责声明 |  意见建议 |  系统帮助 | 
Copyright © 2008, mydwbi.com, All Rights Reserved | Powered by JForum 2.1.8 © JForum Team