(12)发明专利申请
(10)申请公布号 CN 112328692 A(43)申请公布日 2021.02.05
(21)申请号 202011260911.X(22)申请日 2020.11.12
(71)申请人 桂林旅游学院
地址 541006 广西壮族自治区桂林市雁山
区良丰路26号(72)发明人 吴勇 康顺光 贾佳
(74)专利代理机构 北京冠榆知识产权代理事务
所(特殊普通合伙) 11666
代理人 王道川(51)Int.Cl.
G06F 16/27(2019.01)G06F 11/14(2006.01)G06F 21/62(2013.01)G06F 21/64(2013.01)G06Q 50/14(2012.01)
权利要求书2页 说明书5页 附图1页
(54)发明名称
旅游大数据信息存储方法
(57)摘要
本发明公开了旅游大数据信息存储方法,包括实体存储技术与虚拟存储技术,所述实体存储技术包括:在线存储、脱机存储、近线存储、异站存储保护,所述在线存储包括:直接连接存储、网络连接存储、区域网络存储,所述虚拟存储技术包括:分布式存储与P2P存储、数据网格、智能存储系统、存储容灾。本发明的优点在于:可以使实时产生的旅游大数据被完整储存并分门别类的整理清晰,便于后续对数据的提取应用,在遇到自然灾害、人为错误或系统崩溃造成的数据丢失时,可以通过异站存储保护将定时存储的数据找回,而近期实时数据则可以通过存储容灾找回,最大程度上保证了旅游大数据的安全性。
CN 112328692 ACN 112328692 A
权 利 要 求 书
1/2页
1.旅游大数据信息存储方法,其特征在于:包括实体存储技术(1)与虚拟存储技术(2),所述实体存储技术(1)包括:在线存储(11)、脱机存储(12)、近线存储(13)、异站存储保护(14),所述在线存储(11)包括:直接连接存储(111)、网络连接存储(112)、区域网络存储(113),所述虚拟存储技术(2)包括:分布式存储与P2P存储(21)、数据网格(22)、智能存储系统(23)、存储容灾(24)。
2.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述直接连接存储(111)是指将存储设备通过SCSI接口或光纤通道直接连接到计算机上,所述直接连接存储(111)比较适用于服务器在地理分布上很分散,并且通过网络连接存储(112)或区域网络存储(113)在它们之间进行互连存在非常困难的场合,所述直接连接存储(111)存在一些缺点,比如:1、可扩展性差;2、网络负载大,系统的性能低;3、存储分散,可管理性差,管理成本高等。
3.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述网络连接存储(112)是指将存储设备通过标准的网络拓扑结构连接到一群计算机上,所述网络连接存储(112)产品包括存储设备和集成在一起的简易服务器,可以实现涉及文件存取和管理的所有功能。且网络连接存储(112)的应用和维护简单:只需要将网络连接存储(112)设备通过网卡接入现有的LAN,而磁带库则通过备份服务器也接入LAN。通过LAN备份网络连接存储(112)设备和其他服务器的数据部署非常简单和快捷,不仅提高了现有网络的使用率,保护了用户的投资,也降低了系统管理员的维护难度。所述网络连接存储(112)低成本、易安装的点式方案,适用于工作组级和部门级的存储,或者是用于如Web服务那样需要高效存取文件的环境,将分布、独立的数据整合为大型、集中化管理的数据中心。所述网络连接存储(112)可在线扩容和增加设备,支持多种协议的管理软件、日志文件系统、快照和镜像等功能并做到真正的即插即用。所述网络连接存储(112)存在安全性问题的缺点。
4.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述区域网络存储(113)是建立在存储协议基础之上的可使服务器与存储设备之间进行“any to any”连接通信的存储网络系统,所述区域网络存储(113)可以实现多服务器共享一个阵列子系统、共享一个自动库实现数据的共享和集中的管理,进而完成快速、大容量和安全可靠的数据存储。所述区域网络存储(113)基于网络化的存储,比传统的存储和备份技术拥有更大的容量和更强的性能。
5.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述脱机存储(12)用于永久或长期保存数据,而又不需要介质当前在线或连接到存储系统上,且脱机存储(12)指的是每次在读写数据时,必须人为的将存储介质放入存储系统,所述脱机存储(12)的介质通常可以方便携带或转运,如磁带和移动硬盘,所述近线存储(13)的典型代表为自动磁带库,,所述近线存储(13)比起在线存储(11)提供的数据获取便利性相对差一些,但是价格要便宜些,且近线存储(13)由于读取速度较慢,主要用于归档较不常用的数据,所述异站存储保护(14)即为备份保护,可以保证即使站内数据丢失,其他站点仍有数据副本,所述异站存储保护(14)可防止由自然灾害、人为错误或系统崩溃造成的数据丢失。
6.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述分布式存储与P2P存储(21)中的P2P存储可以看作分布式存储的一种,是一个用于对等网络的数据存储系统,所述分布式存储与P2P存储(21)可以提供高效率的、鲁棒和负载平衡的文件存取功能。
2
CN 112328692 A
权 利 要 求 书
2/2页
7.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述数据网格(22)可以将空间分割成有规律的网格,每一个网格称为一个单元,并在各单元上赋予相应的属性值来表示实体的一种数据形式。每一个单元(像素)的位置由它的行列号定义,所表示的实体位置隐含在栅格行列位置中,数据组织中的每个数据表示地物或现象的非几何属性或指向其属性的指针,所述数据网格(22)可以在最大限度减少计算机运算时间的基点上进行最大幅度的压缩。
8.根据权利要求1所述的旅游大数据信息存储方法,其特征在于:所述智能存储系统(23)可以主动的信息采集,主动信息分、主动调整等,所述智能存储系统(23)能够满足海量存储、全球分布、快速访问、统一命名的需求,所述智能存储系统(23)包括:网格文件名字服务、存储资源管理、高性能的广域网数据传输、数据复制、透明的网格文件访问协议等。
9.根据权利要求1所述的旅游大数据信息存储方法的方法,其特征在于:所述存储容灾(24)通过异步镜像来实现,可以将近期的实时数据保存下来,以解决对连接频带的要求,使得运行费用降低,使用异步备份,容灾中心将不可能反映出最后的原始数据,且远程备份数据将有一些时间上的滞后,由异步备份引起的滞后是可以承受的,总好过于没有近期实时数据保留下来。
3
CN 112328692 A
说 明 书
旅游大数据信息存储方法
1/5页
技术领域
[0001]本发明涉及大数据信息存储技术领域,具体为旅游大数据信息存储方法。背景技术
[0002]旅游大数据是旅游企业、游客、旅游环境等主体信息在虚拟空间客观真实的映射。旅游大数据具有数据规模大、数据类型多样化、数据源多样化、数据生成速度快、数据处理技术要求高和数据利用效率高的特点。旅游大数据能够从细微处了解游客的需求和旅游企业的运营状况,满足游客的“长尾”需求;通过大数据分析掌握旅游领域的宏观变化规律,实现对旅游活动从呈现性分析、描述性分析向预测性分析和决策性分析转变,帮助旅游企业和旅游监管者提前发现各种旅游突发的“黑天鹅”现象并提出有效的应对措施,驱动整个旅游产业转型升级。
[0003]现有的旅游大数据信息存储方法,在使用时由于数据量较为庞大,通过一般的储存手段在短时间内同时存储如此庞大的数据流会造成数据储存混乱,难以整理的问题,且异站存储保护的备份方法过于单一,旅游大数据一旦损失则无法恢复,需要进一步的保护才能稳妥的保存,为此,我们提出旅游大数据信息存储方法。发明内容
[0004]本发明所要解决的技术问题在于数据量较为庞大,通过一般的储存手段在短时间内同时存储如此庞大的数据流会造成数据储存混乱,难以整理的问题,且异站存储保护的备份方法过于单一,旅游大数据一旦损失则无法恢复,需要进一步的保护才能稳妥的保存。[0005]本发明采用以下技术方案解决上述技术问题:旅游大数据信息存储方法,包括实体存储技术与虚拟存储技术,所述实体存储技术包括:在线存储、脱机存储、近线存储、异站存储保护,所述在线存储包括:直接连接存储、网络连接存储、区域网络存储,所述虚拟存储技术包括:分布式存储与P2P存储、数据网格、智能存储系统、存储容灾。[0006]优选的,所述直接连接存储是指将存储设备通过SCSI接口或光纤通道直接连接到计算机上,所述直接连接存储比较适用于服务器在地理分布上很分散,并且通过网络连接存储或区域网络存储在它们之间进行互连存在非常困难的场合,所述直接连接存储存在一些缺点,比如:1、可扩展性差;2、网络负载大,系统的性能低;3、存储分散,可管理性差,管理成本高等。
[0007]优选的,所述网络连接存储是指将存储设备通过标准的网络拓扑结构连接到一群计算机上,所述网络连接存储产品包括存储设备和集成在一起的简易服务器,可以实现涉及文件存取和管理的所有功能。且网络连接存储的应用和维护简单:只需要将网络连接存储设备通过网卡接入现有的LAN,而磁带库则通过备份服务器也接入LAN。通过LAN备份网络连接存储设备和其他服务器的数据部署非常简单和快捷,不仅提高了现有网络的使用率,保护了用户的投资,也降低了系统管理员的维护难度。所述网络连接存储低成本、易安装的点式方案,适用于工作组级和部门级的存储,或者是用于如Web服务那样需要高效存取文件
4
CN 112328692 A
说 明 书
2/5页
的环境,将分布、独立的数据整合为大型、集中化管理的数据中心,所述网络连接存储可在线扩容和增加设备,支持多种协议的管理软件、日志文件系统、快照和镜像等功能并做到真正的即插即用。所述网络连接存储存在安全性问题的缺点。[0008]优选的,所述区域网络存储是建立在存储协议基础之上的可使服务器与存储设备之间进行“any to any”连接通信的存储网络系统,所述区域网络存储可以实现多服务器共享一个阵列子系统、共享一个自动库实现数据的共享和集中的管理,进而完成快速、大容量和安全可靠的数据存储。所述区域网络存储基于网络化的存储,比传统的存储和备份技术拥有更大的容量和更强的性能。[0009]优选的,所述脱机存储用于永久或长期保存数据,而又不需要介质当前在线或连接到存储系统上。且脱机存储指的是每次在读写数据时,必须人为的将存储介质放入存储系统,所述脱机存储的介质通常可以方便携带或转运,如磁带和移动硬盘,所述近线存储的典型代表为自动磁带库,,所述近线存储比起在线存储提供的数据获取便利性相对差一些,但是价格要便宜些,且近线存储由于读取速度较慢,主要用于归档较不常用的数据,所述异站存储保护即为备份保护,可以保证即使站内数据丢失,其他站点仍有数据副本,所述异站存储保护可防止由自然灾害、人为错误或系统崩溃造成的数据丢失。[0010]优选的,所述分布式存储与P2P存储中的P2P存储可以看作分布式存储的一种,是一个用于对等网络的数据存储系统,所述分布式存储与P2P存储可以提供高效率的、鲁棒和负载平衡的文件存取功能。[0011]优选的,所述数据网格可以将空间分割成有规律的网格,每一个网格称为一个单元,并在各单元上赋予相应的属性值来表示实体的一种数据形式。每一个单元的位置由它的行列号定义,所表示的实体位置隐含在栅格行列位置中,数据组织中的每个数据表示地物或现象的非几何属性或指向其属性的指针,所述数据网格可以在最大限度减少计算机运算时间的基点上进行最大幅度的压缩。[0012]优选的,所述智能存储系统可以主动的信息采集,主动信息分、主动调整等,所述智能存储系统能够满足海量存储、全球分布、快速访问、统一命名的需求,所述智能存储系统包括:网格文件名字服务、存储资源管理、高性能的广域网数据传输、数据复制、透明的网格文件访问协议等。[0013]优选的,所述存储容灾通过异步镜像来实现,可以将近期的实时数据保存下来,以解决对连接频带的要求,使得运行费用降低,使用异步备份,容灾中心将不可能反映出最后的原始数据,且远程备份数据将有一些时间上的滞后,由异步备份引起的滞后是可以承受的,总好过于没有近期实时数据保留下来。[0014]与现有技术相比,本发明提供了旅游大数据信息存储方法,具备以下有益效果:[0015]1、该旅游大数据信息存储方法,通过数据网格将存储空间网格化,通过智能存储系统将数据归类并将同属数据文件名统一,使得实时产生的旅游大数据可以被完整储存并分门别类的整理清晰,便于后续对数据的提取应用,而后通过在线存储、脱机存储、近线存储的手段将数据分类储存至硬件端,即可将虚拟内存整理出来,进行下一次旅游大数据的快速储存。[0016]2、该旅游大数据信息存储方法,通过异站存储保护将数据进行定时备份,通过异步镜像备份的存储容灾进行实时备份,在遇到自然灾害、人为错误或系统崩溃造成的数据
5
CN 112328692 A
说 明 书
3/5页
丢失时,可以通过异站存储保护将定时存储的数据找回,而近期实时数据则可以通过存储容灾找回,最大程度上保证了旅游大数据的安全性。附图说明
[0017]图1为本发明系统流程示意图。[0018]图中:1、实体存储技术;11、在线存储;111、直接连接存储;112、网络连接存储;113、区域网络存储;12、脱机存储;13、近线存储;14、异站存储保护;2、虚拟存储技术;21、分布式存储与P2P存储;22、数据网格;23、智能存储系统;24、存储容灾。具体实施方式
[0019]下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。[0020]请参阅图1,旅游大数据信息存储方法,包括实体存储技术1与虚拟存储技术2,实体存储技术1包括:在线存储11、脱机存储12、近线存储13、异站存储保护14,在线存储11包括:直接连接存储111、网络连接存储112、区域网络存储113,虚拟存储技术2包括:分布式存储与P2P存储21、数据网格22、智能存储系统23、存储容灾24。
[0021]直接连接存储111是指将存储设备通过SCSI接口或光纤通道直接连接到计算机上,直接连接存储111比较适用于服务器在地理分布上很分散,并且通过网络连接存储112或区域网络存储113在它们之间进行互连存在非常困难的场合,直接连接存储111存在一些缺点,比如:1、可扩展性差;2、网络负载大,系统的性能低;3、存储分散,可管理性差,管理成本高等。
[0022]网络连接存储112是指将存储设备通过标准的网络拓扑结构连接到一群计算机上,网络连接存储112产品包括存储设备和集成在一起的简易服务器,可以实现涉及文件存取和管理的所有功能。且网络连接存储112的应用和维护简单:只需要将网络连接存储112设备通过网卡接入现有的LAN,而磁带库则通过备份服务器也接入LAN,通过LAN备份网络连接存储112设备和其他服务器的数据部署非常简单和快捷,不仅提高了现有网络的使用率,保护了用户的投资,也降低了系统管理员的维护难度。网络连接存储112低成本、易安装的点式方案,适用于工作组级和部门级的存储,或者是用于如Web服务那样需要高效存取文件的环境,将分布、独立的数据整合为大型、集中化管理的数据中心。网络连接存储112可在线扩容和增加设备,支持多种协议的管理软件、日志文件系统、快照和镜像等功能并做到真正的即插即用。网络连接存储112存在安全性问题的缺点。
[0023]区域网络存储113是建立在存储协议基础之上的可使服务器与存储设备之间进行“any to any”连接通信的存储网络系统,区域网络存储113可以实现多服务器共享一个阵列子系统、共享一个自动库实现数据的共享和集中的管理,进而完成快速、大容量和安全可靠的数据存储。区域网络存储113基于网络化的存储,比传统的存储和备份技术拥有更大的容量和更强的性能。
[0024]分布式存储与P2P存储21中的P2P存储可以看作分布式存储的一种,是一个用于对
6
CN 112328692 A
说 明 书
4/5页
等网络的数据存储系统,分布式存储与P2P存储21可以提供高效率的、鲁棒和负载平衡的文件存取功能。
[0025]数据网格22可以将空间分割成有规律的网格,每一个网格称为一个单元,并在各单元上赋予相应的属性值来表示实体的一种数据形式。每一个单元像素的位置由它的行列号定义,所表示的实体位置隐含在栅格行列位置中,数据组织中的每个数据表示地物或现象的非几何属性或指向其属性的指针,数据网格22可以在最大限度减少计算机运算时间的基点上进行最大幅度的压缩。[0026]智能存储系统23可以主动的信息采集,主动信息分、主动调整等,智能存储系统23能够满足海量存储、全球分布、快速访问、统一命名的需求,智能存储系统23包括:网格文件名字服务、存储资源管理、高性能的广域网数据传输、数据复制、透明的网格文件访问协议等。
[0027]通过数据网格22将存储空间网格化,通过智能存储系统23将数据归类并将同属数据文件名统一,使得实时产生的旅游大数据可以被完整储存并分门别类的整理清晰,便于后续对数据的提取应用,而后通过在线存储11、脱机存储12、近线存储13的手段将数据分类储存至硬件端,即可将虚拟内存整理出来,进行下一次旅游大数据的快速储存。[0028]脱机存储12用于永久或长期保存数据,而又不需要介质当前在线或连接到存储系统上,且脱机存储12指的是每次在读写数据时,必须人为的将存储介质放入存储系统,脱机存储12的介质通常可以方便携带或转运,如磁带和移动硬盘,近线存储13的典型代表为自动磁带库,,近线存储13比起在线存储11提供的数据获取便利性相对差一些,但是价格要便宜些,且近线存储13由于读取速度较慢,主要用于归档较不常用的数据,异站存储保护14即为备份保护,可以保证即使站内数据丢失,其他站点仍有数据副本,异站存储保护14可防止由自然灾害、人为错误或系统崩溃造成的数据丢失。[0029]存储容灾24通过异步镜像来实现,可以将近期的实时数据保存下来,以解决对连接频带的要求,使得运行费用降低,使用异步备份,容灾中心将不可能反映出最后的原始数据,且远程备份数据将有一些时间上的滞后,由异步备份引起的滞后是可以承受的,总好过于没有近期实时数据保留下来。
[0030]通过异站存储保护14将数据进行定时备份,通过异步镜像备份的存储容灾24进行实时备份,在遇到自然灾害、人为错误或系统崩溃造成的数据丢失时,可以通过异站存储保护14将定时存储的数据找回,而近期实时数据则可以通过存储容灾24找回,最大程度上保证了旅游大数据的安全性。[0031]综上,通过数据网格22将存储空间网格化,通过智能存储系统23将数据归类并将同属数据文件名统一,使得实时产生的旅游大数据可以被完整储存并分门别类的整理清晰,便于后续对数据的提取应用,而后通过在线存储11、脱机存储12、近线存储13的手段将数据分类储存至硬件端,即可将虚拟内存整理出来,进行下一次旅游大数据的快速储存,通过异站存储保护14将数据进行定时备份,通过异步镜像备份的存储容灾24进行实时备份,在遇到自然灾害、人为错误或系统崩溃造成的数据丢失时,可以通过异站存储保护14将定时存储的数据找回,而近期实时数据则可以通过存储容灾24找回。[0032]需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存
7
CN 112328692 A
说 明 书
5/5页
在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0033]尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
8
CN 112328692 A
说 明 书 附 图
1/1页
9
图1
因篇幅问题不能全部显示,请点此查看更多更全内容