test

OLTP 在数据仓库中利用多维数据分析来发现问题，并找出产生的原因。能从大量历史数据中预测未来。 数据挖掘（DM）是从数据中挖掘出信息和知识。 数据仓库、数据挖掘和联机分析处理（OLAP）结合起来，完成支持决策的系统，称为决策支持系统（DSS）。 数据仓库、数据挖掘、联机分析处理等结合起来的技术称为商业智能（BI）。商业智能是一种新的智能技术，它区别于人工智能（AI）和计算智能（CI）。 人工智能采用的技术是符号推理，符号推理过程形成了概念的推理链。 计算智能采用的技术是计算推理，它模拟人和生物的模糊推理、神经网络计算和遗传进化过程。 商业智能是从数据仓库和数据挖掘中获取信息和知识，对变化的商业环境提供决策支持。 决策树方法实质上是，利用信息论中的公式计算属性的 信息量来选择属性，构造决策树的结点； 粗糙集方法是典型的利用集合的覆盖原理； 关联规则挖掘方法是对相关事务（项）的子集占整个集合的比例，大于阈值时建立关联规则； K-均值聚类方法是按数据集中元素间的距离远近或相似度大小，聚成多个类别集合。 从数据库到数据仓库 （1）“数据太多，信息不足”的现状 （2）异构环境的数据的转换和共享 （3）利用数据进行数据处理转换为利用数据支持决策 联机事物处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 OLTP是用户的数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。也称为实时系统(Real time System) OLTP是事务处理从单机到网络环境地发展新阶段。 OLTP的特点在于事务处理量大，应用要求多个并行处理，事务处理内容比较简单且重复率高。 大量的数据操作主要涉及的是一些增加、删除、修改、查询等操作。每次操作的数据量不大且多为当前的数据。 OLTP处理的数据是高度结构化的，数据访问路径是已知的，至少是固定的。 OLTP面对的是事务处理操作人员和低层管理人员。 但是，为高层领导者提供决策分析时， OLTP则显得力不从心。 E.F.Codd认为决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。 E.F.Codd在1993年提出了多维数据库和多维分析的概念，即联机分析处理（On Line Analytical Processing，OLAP）概念。 关系数据库是二维数据（平面），多维数据库是空间立体数据。 数据字典是描述数据库中各类数据的集合，包括： (1) 数据项 (2) 数据结构 (3) 数据流 (4) 数据存储 (5) 处理过程 数据字典是数据库的元数据。 在数据仓库中引入了“元数据”的概念，它不仅仅是数据仓库的字典，而且还是数据仓库本身信息的数据。 元数据（metadata）定义为关于数据的数据（data about data），即元数据描述了数据仓库的数据和环境。 数据仓库的元数据除对数据仓库中数据的描述（数据仓库字典）外，还有以下三类元数据 ： (1) 关于数据源的元数据 (2) 关于抽取和转换的元数据 (3) 关于最终用户的元数据 数据仓库是面向主题的、集成的、稳定的，不同时间的数据集合，用于支持经营管理中决策制定过程。 数据仓库特点 1）数据仓库是面向主题的（2）数据仓库是集成的 3）数据仓库是稳定的4）数据仓库是随时间变化的5）数据仓库的数据量很大6）数据仓库软、硬件要求较高 知识发现（KDD）：从数据中发现有用知识的整个过程。 数据挖掘（DM） ：KDD过程中的一个特定步骤，它用专门算法从数据中抽取知识。 数据挖掘任务在于聚类（如神经网络聚类）、分类（如决策树分类）、预测等。 数据仓库与数据挖掘的区别 数据仓库是一种存储技术，它能适应于不同用户对不同决策需要提供所需的数据和信息。 数据挖掘研究各种方法和技术，从大量的数据中挖掘出有用的信息和知识。 数据仓库与数据挖掘的关系 数据仓库与数据挖掘都是决策支持新技术。但它们有着完全不同的辅助决策方式。 在数据仓库系统的前端的分析工具中，数据挖掘是其中重要工具之一。它可以帮助决策用户挖掘数据仓库的数据中隐含的规律性。 数据挖掘用于数据仓库实现决策支持： （1）预测客户购买倾向； （2）客户利润贡献度分析； （3）分析欺诈行为； （4）销售渠道优化分析等。 数据仓库中数据存储特点 由于数据仓库不同于数据库，数据挖掘也随之发生变化。 （1）数据存储方式的不同（2）数据存储的数据量的不同（3）数据存储的结构不同 数据仓库中数据挖掘特点 1）数据挖掘从数据仓库中挖掘更深层次的信息 2）数据仓库为数据挖掘提出了新要求 ①数据挖掘需要可扩展性 ②数据挖掘方法需要能挖掘多维知识 数据仓库的决策支持功能有： (1) 对当前和历史数据完成查询和报表处理 （what-if）”分析

(3) 从综合数据到细节数据，深入追踪钻取查 询，寻找问题出现原因

(4) 认清过去的发展趋势，并将其应用于对未 来结果的分析

数据仓库中有大量的综合数据，为决策者提供了综合信息。数据仓库保存有大量历史数据，通过预测模型计算可以得到预测信息。

联机分析处理（OLAP）对数据仓库中的数据进行多维数据分析，即多维数据的切片、切块、旋转、钻取等，得到更深层中的信息和知识。

数据挖掘（DM）技术能获取关联知识、时序知识、聚类知识、分类知识等。 数据仓库（DW）、联机分析处理（OLAP）、数据挖掘（DM）等结合，形成决策支持系统。

商业智能以数据仓库为基础，通过联机分析处理和数据挖掘技术帮助企业领导者针对市场变化的环境，做出快速、准确的决策。

商业智能与决策支持系统从组成和目标来看是一致的。但是，商业智能是一种技术，决策支持系统是解决实际决策问题的一个系统。可以理解为：决策支持系统是利用商业智能技术来解决实际决策问题的系统。

商业智能辅助制定更好更快的决策 1）信息共享

（2）实时反馈分析

（3）鼓励用户找出问题的根本原因 （4）使用主动智能 （5）实时智能

数据仓库结构

近期基本数据：是最近时期的业务数据，是数据仓库用户最感兴趣的部分，数据量大。

历史基本数据：近期基本数据随时间的推移，由数据仓库的时间控制机制转为历史基本数据。

轻度综合数据：是从近期基本数据中提取出的，这层数据是按时间段选取，或者按数据属性（attributes）和内容（contents）进行综合。

高度综合数据层：这一层的数据是在轻度综合数据基础上的再一次综合，是一种准决策数据。

数据集市概念

数据集市（Data Marts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径。 Data Marts是指具有特定应用的数据仓库，主要针对某个应用或者具体部门级的应用，支持用户获得竞争优势或者找到进入新市场的具体解决方案。

数据集市与数据仓库差别

1）数据仓库是基于整个企业的数据模型建立的，它面向企业范围内的主题。而数据集市是按照某一特定部门的数据模型建立的。

2）部门的主题与企业的主题之间可能存在关联，也可能不存在关联。

3）数据集市的数据组织一般采用星型模型。 大型数据仓库的数据组织，如NCR公司采用第三范式

数据集市的特性 1、规模是小的 2、特定的应用 3、面向部门

4、由业务部门定义，设计和开发 5、由业务部门管理和维护 6、快速实现

7、购买较便宜 8、投资快速回收

9、更详细的、预先存在的数据仓库的摘要子集 10、可升级到完整的数据仓库

数据仓库系统结构

维就是相同类数据的集合，商店、时间和产品都是维。各个商店的集合是一维，时间的集合是一维，商品的集合是一维。每一个商店、每一段时间、每一种商品就是某一维的一个成员。

每一个销售事实由一个特定的商品、一个特定的时间、一个特定的商品组成。

两维表，如通常的电子表格。三维构成立方体，若再增加一维，则图形很难想象，也不容易在屏幕上画出来。

大多数的数据仓库都采用“星型模型”。星型模型是由“事实表”（大表）以及多个“维表”（小表）所组成。 “事实表”中存放大量关于企业的事实数据（数量数据）。

例如：多个时期的数据可能会出现在同一个“事实表”中。“维表”中存放描述性数据，维表是围绕事实表建立的较小的表。