http://www.mydwbi.com/posts/list/3.page JForum - http://www.jforum.net 1.数据准确性
2.元数据管理
3.异构数据源问题
4.字符集问题
5.数据验证]]> http://www.mydwbi.com/posts/preList/38/138.page http://www.mydwbi.com/posts/preList/38/138.page GMT

]]> http://www.mydwbi.com/posts/preList/38/140.page http://www.mydwbi.com/posts/preList/38/140.page GMT 有没有具体点的问题]]> http://www.mydwbi.com/posts/preList/38/148.page http://www.mydwbi.com/posts/preList/38/148.page GMT 有没有具体点的问题[/quote]

具体的问题，我其实是想，大家都各抒己见，然后大家互相讨论一下。]]> http://www.mydwbi.com/posts/preList/38/155.page http://www.mydwbi.com/posts/preList/38/155.page GMT http://www.mydwbi.com/posts/preList/38/170.page http://www.mydwbi.com/posts/preList/38/170.page GMT 1.数据准确性
Example:
字段名 类型
A number(M,N)
在数据经过次ETL转换之后，出现2种情况：
a）.数据是否能准确的保持以前的精度（数据需要经过次计算）
b) .在源与目标是异构数据源的情况下，尤其是在高精度数据转换时，能否保持数据精度不变
比如SQL Server number 到 Oracle Double的转换
2.元数据管理
在数据仓库项目中，我们肯定会遇到，当数据库结构发生变化时，我们能否及时的把这些变化映射到
mapping中的数据源或者目标定义中，怎么样去描述数据流的变化，都是元数据管理比较难应付的问题
3.异构数据源问题
异构数据源的整合当中，由于数据库底层对数据处理不同，常常会碰到一些棘手的问题，比如SQL Server和Oracle
对空字符处理问题上就存在差异等.
4.字符集问题
在当今企业级数据整合时，我们常常会遇到不同国家，地域的数据，比如日语字符，欧美字符，中文，怎样才能保证数据处理时的一致性
5.数据验证
这个问题是数据仓库一直以来都难以应付的问题之一，怎么才能在项目中找到一种合理的办法去验证源和目标数据一致性，一直都是大家比较头痛的问题

希望大家都提出自己的意见，让大家对这些问题作出一些讨论，这样才能让我们在项目里面获得更多的启发。]]> http://www.mydwbi.com/posts/preList/38/182.page http://www.mydwbi.com/posts/preList/38/182.page GMT 以下是小弟弟的拙见, 抛砖引玉哦!

[i]精度问题[/i]
SQL Server number 到 Oracle Double的转换可能会有些问题, 但是SQL Server number(p,s) 到Oracle 的 number(p,s)转换一般不会有问题.精度出问题最多的还是平文件(文本,excel等)到数据数据的转换.还有数字到货币类型的转换等.

[i]元数据管理[/i]
是个比较头疼的事情,尤其是前期没有合理设计好数据仓库模型时,导致后来改动比较大, 据我所知只能手工维护元数据定义.
另外有些etl工具带有元数据管理工具也可以用用.
不知道各位网友有什么好办法???

[i]异构数据源问题[/i]
此问题导致的大小问题很多.空字符处理算是一个方面.其他的还有很多种情况.比如sql server image字段和oracle blob字段的转换.
另外异构还包括操作系统异构,比如unix的文本行结束符和windows不一样等.

[i]字符集问题[/i]
字符集问题简单的说可以用utf8,unicode等大字符集来兼容各种字符,其实中间具体实现过程还是非常复杂的.一言难尽啊!

[i]数据验证[/i]
这个不光要靠数据库知识了.还要对业务系统数据模型非常精通,除此之外最好还要有专业知识,这样才能对数据敏感.
开发人员的缺陷就是对数据不敏感,一个数据比如这个月销售额时314万, 你跟本不知道这个数据是不是对的,但是业务人员比如公司销售老总一看就知道这数据隔几个数量级呢,公司销售业绩再少也不止300万!
要解决此问题得对他们业务系统模型, 能从他们原始业务系统得生产数据中查到确切结果.再和数据仓库中算出得结果比较.


大家继续......
]]> http://www.mydwbi.com/posts/preList/38/208.page http://www.mydwbi.com/posts/preList/38/208.page GMT 1.数据准确性
主要是保证数据的精度，在合理的情况下，我们可以把目标精度扩大至源精度的多位。当然，这个应该根据项目对数据的敏感程度，比如金融业务，0.05867这样一个数字精确到小数位第5位，或者第6位，对目标数据影响是比较大的，因为经过指标计算过后，数据差会被放大多倍。
2.元数据管理
虽然这么多年，大家都一直反复的提到"metadata management",但是都很难实现全面的原数据管理，手工维护是最常见的解决方案,
值得一提的几个问题：
a.必须有详细的文档做为支撑（最重要的）
b.采用隔离机制，降低维护风险，我们应该采用比较稳妥的隔离原理就是生产和应用隔离,敏感和公共隔离等
3.异构数据源
在数据源之前做好异构数据的同构,我这么说的意思是尽量不把风险放到业务逻辑计算的层面。我这里的数据源是指进入ETL业务逻辑计算之前的source.
同构的方法都大同小异，大家做过项目都应该比较了解.
4.字符集问题
这个没有多说的，尽可能使用数据库超集,意思就是目标数据库应该是源库的超集.
5.数据验证
呵呵,这个问题一直是我的噩梦,到目前为止，还没有更好的办法来做一块，原因是我们不是业务专家,我们以前的解决办法也有很多：
1.定义好ETL每一个细节, 详细记录在案
2.配合好具有一定技术背景的业务人员，做目标数据分析
3.数据的和的正确性，往往可以代替各阶段数据的正确性

呵呵，以上只代表我个人观点，请大家都提出自己的意见。]]> http://www.mydwbi.com/posts/preList/38/209.page http://www.mydwbi.com/posts/preList/38/209.page GMT http://www.mydwbi.com/posts/preList/38/224.page http://www.mydwbi.com/posts/preList/38/224.page GMT http://www.mydwbi.com/posts/preList/38/1346.page http://www.mydwbi.com/posts/preList/38/1346.page GMT
呵呵，这种问题还是自己解决比较好。我们不便帮你解决。 ]]> http://www.mydwbi.com/posts/preList/38/1367.page http://www.mydwbi.com/posts/preList/38/1367.page GMT http://www.mydwbi.com/posts/list/538.page]]> http://www.mydwbi.com/posts/preList/38/2973.page http://www.mydwbi.com/posts/preList/38/2973.page GMT http://www.mydwbi.com/posts/list/666.page
拜托了]]> http://www.mydwbi.com/posts/preList/38/3511.page http://www.mydwbi.com/posts/preList/38/3511.page GMT http://www.mydwbi.com/posts/preList/38/3734.page http://www.mydwbi.com/posts/preList/38/3734.page GMT PowerCenter Repository Manager中点击此菜单，PowerCenter Repository Manager便崩溃了！请问有没有解决办法
选中Mapping，点击菜单

Repository
------
------
------
import Metadata

崩溃信息：
Repository Manager Application 遇到问题需要关闭。我们对此引起的不便表示抱歉。
]]> http://www.mydwbi.com/posts/preList/38/3807.page http://www.mydwbi.com/posts/preList/38/3807.page GMT 1.数据准确性
2.元数据管理
3.异构数据源问题
4.字符集问题
5.数据验证[/quote]



我认为数据校验是比较重要的，因为在大数据量的情况下，发现错误数据是件很艰难的事情，

发现错误数据后，如何维护也不容易，到底是源数据错误还是规则错误，怎样修改都是值得考虑的问题，

不知道大家在这方面有没有可以讨论的。]]> http://www.mydwbi.com/posts/preList/38/4490.page http://www.mydwbi.com/posts/preList/38/4490.page GMT
在Designer 好像只能单选一个mapping 进行导出，不能多个]]> http://www.mydwbi.com/posts/preList/38/4492.page http://www.mydwbi.com/posts/preList/38/4492.page GMT unix的机器，别人安装的informatica8.6.1,现在workflow中每个session的日志，第二次跑的时候就把第一次给冲调了。
打开以前跑的，也是最新一次跑的日志
在哪里设定保存日志的天数呢]]> http://www.mydwbi.com/posts/preList/38/4974.page http://www.mydwbi.com/posts/preList/38/4974.page GMT http://www.mydwbi.com/posts/preList/38/7165.page http://www.mydwbi.com/posts/preList/38/7165.page GMT
在Source Qualifier的sql query写入你的sql]]> http://www.mydwbi.com/posts/preList/38/9354.page http://www.mydwbi.com/posts/preList/38/9354.page GMT
定义一个只负责运行的用户，需要哪些权限？

我给了一个PowerCenter Operator角色，但是，用这个用户登录informatica monitor，连接到Integration Service之后，就打不开Folder列表了~~~

谢谢。]]> http://www.mydwbi.com/posts/preList/38/82996.page http://www.mydwbi.com/posts/preList/38/82996.page GMT