教你OLTP数据转换到OLAP数据仓库_MQ, Tuxedo及OLTP讨论区_Weblogic技术|Tuxedo技术|中间件技术|Oracle论坛|JAVA论坛|Linux/Unix技术|hadoop论坛_联动北方技术论坛  
网站首页 | 关于我们 | 服务中心 | 经验交流 | 公司荣誉 | 成功案例 | 合作伙伴 | 联系我们 |
联动北方-国内领先的云技术服务提供商
»  游客             当前位置:  论坛首页 »  自由讨论区 »  MQ, Tuxedo及OLTP讨论区 »
总帖数
3
每页帖数
101/1页1
返回列表
0
发起投票  发起投票 发新帖子
查看: 4880 | 回复: 2   主题: 教你OLTP数据转换到OLAP数据仓库        下一篇 
barry
注册用户
等级:中校
经验:1534
发帖:236
精华:2
注册:2012-1-13
状态:离线
发送短消息息给barry 加好友    发送短消息息给barry 发消息
发表于: IP:您无权察看 2012-2-21 10:37:05 | [全部帖] [楼主帖] 楼主

作者:ddvip出处:IT专家网论坛2010-04-07 13:00

必须能够将特定项目(产品、顾客、职员)的全部相关信息从多个OLTP系统合并到一个OLAP系统。合并过程必须解决不同OLTP系统间的编码差别问题。例如,一个系统可能为每个职员指派一个ID,而其它系统没有职员ID。

    转换OLTP数据使其在OLAP系统中提供可接受的性能,这种转换需要执行下列过程:

    合并数据

    必须能够将特定项目(产品、顾客、职员)的全部相关信息从多个OLTP系统合并到一个OLAP系统。合并过程必须解决不同OLTP系统间的编码差别问题。例如,一个系统可能为每个职员指派一个ID,而其它系统没有职员ID。合并过程必须能够匹配两个系统中的常用职员数据,这多半可通过比较职员姓名和地址实现。合并过程还必须能够将各OLTP系统中使用不同数据类型存储的数据转换成在某个OLAP系统中使用的单一数据类型。您也必须选择OLTP系统中的哪些列与OLAP系统无关,并将这些列排除在合并过程外。

    为 OLAP 系统提供输入数据的系统并不局限于传统的、位于中央位置的OLTP系统。重要的信息可以存储在多个遗留位置上,有些情况下甚至可以在文件共享上存储相对较小的数据源,如 Microsoft® Excel 电子表格。

    清理数据

    将 OLTP 数据合并到数据仓库中后,便提供了一个清理数据的机会。您可能会发现不同的OLTP系统以不同的方式拼写项目,或者合并过程可能没有覆盖以前不知道的拼写错误。还可能发现其它的不一致,例如同一商店、职员或顾客的地址不同。在可以将数据装载到数据仓库中供OLAP系统使用之前,必须找出这些不一致。

     聚合数据

    OLTP数据记录所有的事务详细信息。OLAP查询通常需要汇总数据或是已以某种方式聚合的数据。例如,如果数据库只包含显示每种产品每天或每小时销售额的汇总行,则查询只用检索过去一年中每种产品的月销售总额,这比必须扫描过去一年中每个事务的详细记录要快得多。

    对数据仓库内数据的聚合程度取决于许多设计因素,如 OLAP 查询的速度要求和分析所要求的粒度级。例如,如果将销售额详细信息汇总到每日汇总中,而不是每小时汇总中,OLAP查询将会运行得更快,但是只有当不需要分析每小时的销售额时才可以这么做。

    将数据组织到多维数据集中

    关系OLTP数据的组织方式增加了分析处理的难度且很耗时。当将OLTP数据移入数据仓库时,必须对其结构进行转换,使之能够更好地支持决策支持分析。生成数据仓库的过程涉及将存储在关系表中的OLTP数据重组为存储在多维数据集中的数据。

     转换阶段和数据仓库组件

    通过OLAP应用程序使数据可用的过程一般经过下列三个阶段:

    将数据从OLTP或遗留数据源析取到中间存储区域中。

    将数据转换为更适合在OLAP系统中使用的格式。这涉及数据清理和聚合等操作。

    将数据装载到数据仓库或数据集市中。

    从OLTP和遗留数据源中析取数据并将其转换到仓库服务器中的过程称为 ETL 过程,通常定期运行,如每周一次或每月一次。

    一旦将数据装载到数据仓库中,OLAP系统的一个重要职能便是为决策者提供在数据仓库和数据集市中访问和分析数据的便利。

  数据源

    OLTP 数据库和其它遗留数据源,其内包含的数据必须转换为数据仓库和数据集市中的OLAP数据。

必须能够将特定项目(产品、顾客、职员)的全部相关信息从多个OLTP系统合并到一个OLAP系统。合并过程必须解决不同OLTP系统间的编码差别问题。例如,一个系统可能为每个职员指派一个ID,而其它系统没有职员ID。

  中间数据存储

    组合的数据存储区和对OLTP数据进行存储、清理并转换为有用的OLAP数据的过程。

    仓库服务器

    仓库服务器是运行包含数据仓库和数据集市数据的关系数据库的计算机,以及运行管理OLAP数据的服务器的计算机。

     业务智能

    用于查询 OLAP 数据并向企业决策者提供报表和信息的成套工具和应用程序。

  元数据

    不同OLAP组件中的数据和应用程序的结构模型。元数据描述OLTP数据库中的表、数据仓库和数据集市中的多维数据集这类对象,还记录哪些应用程序引用不同的记录块。




赞(0)    操作        顶端 
white
注册用户
等级:少校
经验:1327
发帖:305
精华:0
注册:2011-7-21
状态:离线
发送短消息息给white 加好友    发送短消息息给white 发消息
发表于: IP:您无权察看 2012-3-31 14:19:22 | [全部帖] [楼主帖] 2  楼

北京联动北方科技有限公司



赞(0)    操作        顶端 
white
注册用户
等级:少校
经验:1327
发帖:305
精华:0
注册:2011-7-21
状态:离线
发送短消息息给white 加好友    发送短消息息给white 发消息
发表于: IP:您无权察看 2012-3-31 14:23:26 | [全部帖] [楼主帖] 3  楼

北京联动北方科技有限公司



赞(0)    操作        顶端 
总帖数
3
每页帖数
101/1页1
返回列表
发新帖子
请输入验证码: 点击刷新验证码
您需要登录后才可以回帖 登录 | 注册
技术讨论