Ｄａｔａ Ｂａｓｅ Ｔｅｃｈｎｉｑｕｅ・数据库技术 基于云计算的数据挖掘算法的研究 文／甘枥元 集成阶段。在第一阶段中，以置换抽样方式为 情况下，Ｍａｐ／Ｒｅｄｕｃｅ框架会对数据分块以及 计算机网络技术的快速发展， 使得网络内所存数据信息量不断 增多，并且就各项数据分布特点 来看，其并非是简单整齐的排列 在数据库中，而是具有异构、动 态等特点，想要有效的完成对各 依据，将数据集Ｄ划分为ｍ个子集，即｛Ｄ，， Ｄ：，…Ｄ ｝，ｍ值由用户自己决定：第二阶段 Ｍａｐ节点进行调度，直到所有数据分块都被计 算处理完毕为止。 中每一个将Ｍａ口任务采用分类算法在数据集 上建立一个基本分类器Ｃｉ，并且ｌ Ｓｉｓｍ；第 （３）Ｒｅｄｕｃｅ节点主要负责对来自ＭａＤ 节点的数据进行计算处理，并获得来自Ｋ．项 三阶段中，将ｍ个基本分类器集合成一个最 候选集支持数，然后并以支持数为基础，来生 类信息的应用，还需要对现有数 据分析处理技术的基础上进行研 终分类器Ｃ。 成（Ｋ＋１１．项频繁项集。 究。为保证数据计算与存储能力 ２．２数据转换过程 （４）主进程通过遍历事务数据库来确定 达到应用需求，可以就云计算技 该项任务是否已经处理完毕。 术来进行研究，推动数据管理效 果的进一步发展。本丈对云计算 就ＭａｐＲｅｄｕｃｅ模型来说，ｍａｐ函数与 ３．３ Ｍａｐ／Ｒｅｄｕｃｅ为￣ＰａｇｅＲａｎｋ算法 技术进行了概述，并基于此就数 ｒｅｄｕｃｅ函数对数据的来源要求并不高，其只负 据挖掘算法进行了研究 责将输入的ｋｅｙ／ｖａｌｕｅ键值对进行处理，并生 （１）在Ｍａｐ阶段完成数据文件集中每行 成一个ｋｅｙ／ｖａｌｕｅ键值对的中间结果用于输出， 数据的读入，并对所有数据进行简单的格式处 然后根据键值排序所有中间结果会合并在一 理，将其拆分成＜ｋｅｙ，ｖａｌｕｅ＞形式。 起。每个键值都有对应值，ｒｅｄｕｃｅ函数会对其 （２）Ｒｅｄｕｃｅ阶段对Ｍａｐ阶段输出的 【关键词】云计算数据挖掘数据库 进行一次处理。并得到最终输出结果。 数据进行收集，并以ｋｅｙ值为基础对相应的 基于云计算数据挖掘算法研究 ｖａｌｕｅ值进行合并，完成每个ｋｅｙ值的计算后 将新的ＰａｇｅＲａｎｋ输出，将输出的数据结果保 数据挖掘即在海量、不完全以及随机的 ３．１ Ｍａｐ／Ｒｅｄｕｃｅ为基础Ｋ－Ｍｅａｎｓ箕法 存在ＨＤＦＳ中，以此来用于下一次的迭代计算。 数据中，对存在用处并且人们事先不知道的数 据进行提取，但是因为网络数据库内数据量大， （１）随机选择ｋ个初始聚集中心，并将 （３）将步骤二中计算出的结果与步骤一 所有聚集中心保存到ＯｒｉｇｉｎａｌＣｌｕｓｔｅｒ［］中，对 中生成的链接结果进行合并，以此来作为下一 并且具有异构与动态特点，整个提取过程难度 非常大，需要进行有效的计算。而云计算作为 数据进行分块处理，然后以计算节点集群情况 次迭代计算ＰａｇｅＲａｎｋ值的输入。 一种商业计算模型，可以将计算任务分配到大 为基础，将各分块数据分配到各个计算节点。 ４结束语 量计算机构成的资源池上，以用户需求为基础 （２）在Ｍａｐ阶段对将各数据最近距离以 来合理分配计算、存储以及应用能力，可以有 及总数进行计算，同时利用Ｍａｐ／Ｒｅｄｕｃｅ框架， 数据挖掘算法的研究对提高数据处理效 效解决海量数据挖掘计算问题。 将键值对＜Ｋｅｙ，Ｖａｌｕｅ＞的Ｋｅｙ与Ｖａｌｕｅ对应 果具有重要意义，可以将用户所需的数据信息 在海量数据中提取出来，以此来推动各领域的 １数据挖掘算法分析 到将ｉ与Ｄ［ｋ］，并且Ｄ为事务数据集。 （３）在Ｒｅｄｕｃｅ阶段，因为上阶段中ｉ对 发展。云计算是一种比较新型的计算方式，将 其应用到数据挖掘中，还需要在现有基础上做 数据挖掘算法主要作用就是从大量数据 应的为Ｍａｐ／Ｒｅｄｕｃｅ框架中的Ｋｅｙ，这样就可 更进一步的研究，争取不断提高其应用效率， 中提取所需要的信息，对象包括了结构性数据 以确定同一个Ｋｅｙ所有Ｄ［ｋ］会分配到同一个 提升数据信息的应用效率。 源、半结构性以及非结构性数据源，如音频、 Ｒｅｄｕｃｅ进程中，并通过Ｒｅｄｕｃｅ进程来完成各 视频数据源等，对于数据算法来说，必须要要 聚集中心的计算，最终将计算出的新结果保存 具备模型、优先准则以搜索算法条件。现在常 在ＤｅｓｔｉｎａｔｉｏｎＣｌｕｓｔｅｒ［】中。 参考文献 用的数据挖掘算法主要有决策树法、仿生全局 （４）对ＤｅｓｔｉｎａｔｉｏｎＣｌｕｓｔｅｒ［］于Ｏｒｉｇｉｎａｌ ［１］李妍．基于云计算的数据挖掘技术研究 【Ｄ】．石家庄经济学院，２Ｏ１ ２． 优化遗传算法、神经网络法、统计分析法以及 Ｃｌｕｓｔｅｒ［１两个值进行比较，以预先给定阈值 ［２】丁岩，杨庆平，钱煜明．基于云计算的数 覆盖正例排排斥反例法等，为了更好的提高数 为标准，比较确定两者变化小于阂值标准， 据挖掘平台架构及其关键技术研究【Ｊ］． 据挖掘处理效果，可以就新型的云计算方法进 则可以判断数据聚类成功，相反则需要将 中兴通讯技术，２０１ ３（０１）：５ ３－５６＋６０． 行详细研究，更有效的发现隐含在大规模数据 Ｄｅｓｔｉｎａｔｉ０ｎＣｌｕｓｔｅｒ口保存到ＯｒｉｇｉｎａｌＣｌｕｓｔｅｒ［】中， 中的知识信息，以此来提高信息数据的应用效 然后从第二步开始重复计算，直到最终数据聚 ［３］关丈波，雷蕾．基于云计算的数 究…Ｊ．科技视 果。 类成功为止。 据挖掘之综述研界，２ ０１ ３（３３）：２０８＋２７５． ２ ＭａｐＲｅｄｕｃｅ分布式计算模型分析 ３・２ Ｍａｐ／Ｒｅｄｕｃｅ为基础Ａｐｒｉｏｒｉ算法 ２．１ ＭａｐＲｅｄｕｃｅ模型分类算法执行框架 （１）主进程基于（Ｋ．１）一项频繁项集遍 作者简介 历事务数据库，并生成Ｋ＿项候选集，并通过 甘枥元（１９８２－），男，广西壮族自治区南宁市人。 即便是不同类型分类算法，在ＭａｐＲｅｄｕｃｅ Ｍａｐ／Ｒｅｄｕｃｅ框架将此候选集分发到每个计算 硕士学位。现供职于广西中医药大学。研究方 框架上的执行过程完全相同，整个运行框架主 向为医学信息工程、人工智能。 节点。 要由Ｍａｓｔｅｒ，几个Ｍａｐｐｅｒ与一个Ｒｅｄｕｃｅｒ构成， 在对数据进行处理时，整个过程可以分为划分 （２）每个Ｍａｐ节点负责一个数据分块的 计算处理，同时还要完成对当前分配到数据 作者单位 阶段、Ｍａｐ／构建基本分类器阶段以及Ｒｅｄｕｃｅ 分块Ｋ一项候选集支持数的计算。在此种计算 广西中医药大学广西壮族自治区南宁市 ５３０００１ Ｅｌｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ＆Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ电子技术与软件工程・１９５