基于CDM技术的海量数据分钟级恢复技术

详细信息    查看全文 | 推荐本文 |

英文篇名：Minute-level recovery of massive data based on CDM technology 作者：王玮 ; 严莉 ; 刘荫 ; 于展鹏 ; 徐浩 英文作者：WANG Wei;YAN Li;LIU Meng;YU Zhanpeng;XU Hao;China National Network Shandong Electric Power Company Information Communication Company; 关键词：海量数据 ; 集中管理 ; 索引架构 英文关键词：massive amounts of data;;centralizedmanagement;;index architecture 中文刊名：ZDYY 英文刊名：Automation & Instrumentation 机构：国网山东省电力公司信息通信公司; 出版日期：2019-05-25 出版单位：自动化与仪器仪表 年：2019 期：No.235 基金：国网山东省电力公司科技项目资助《关于海量级复杂数据分钟级恢技术的研究》(2018A-016) 语种：中文; 页：ZDYY201905037 页数：4 CN：05 ISSN：50-1066/TP 分类号：151-154

摘要

目前海量数据恢复技术大多仅依靠异构数据库自身的备份恢复系统,数据恢复效率较差。对此以现代电子科技领域常用的海量数据流数据库管理系统为对象,基于CDM技术设计RTAM海量数据分钟级恢复技术。首先利用集中式管理方案,建立LUVENE海量数据索引架构,对海量数据进行分布式索引;然后基于CDM技术,利用索引架构对恢复数据进行原始格式备份并合成新的全量备份;最后在每个全量备份数据模块内,建立NETValt读写工具客户端,对海量数据采用交换分区机制进行批量数据加载,实现海量数据的分钟级恢复。实验数据表明,相比较传统海量数据恢复技术,设计的RTAM海量数据分钟级恢复技术单位时间内数据加载率提高27%,数据传输率提高19%,比传统恢复技术恢复效率更高。
        At present,most of mass data recovery technologies rely on heterogeneous database's own backup and recovery system,and the data recovery efficiency is poor.In this regard,the mass data flow database management system commonly used in the field of modern electronic technology is taken as the object,and the RTAM mass data minute-level recovery technology is designed based on CDM technology.Firstly,the centralized management scheme is used to establish LUVENE mass data index architecture to conduct distributed index of mass data.Based on CDM technology,the original format backup and new full volume backup of the recovered data are made by using index architecture.Finally,in each full backup data module,the client of NETValt reader and writer tool is established,and the massiue data is loaded in batckes using the exchange partition mechanism to realized the mnute-level recovery of the massiue data.Experimental data show that,compared with the traditional mass data recovery technology,the design of the RTAM mass data minutes per unit time level recovery technology data loading rate increased by 27%,the data transfer rate increased by 19%.Compared to traditional recovery technique.It is more efficient.

引文

[1] 林岳鑫.基于CDM技术的IT系统数据保护实践[J].移动通信,2017,41(4):39-44.
    [2] 王许利,王周伟.创新投入与产学研合作对创业板公司绩效的影响研究——基于CDM模型的联立方程系统分析[J].科技与经济,2016,29(4):56-60.
    [3] 王东飞,陈新桥,唐琳,等.基于绝对极性占空比复用技术的光纤通信系统研究[J].中国传媒大学学报(自然科学版),2016,23(1):12-16.
    [4] 唐轶轩,徐敏,薛晓茹,等.基于多数据类型的海量历史准实时数据库升级方法[J].信息与电脑:理论版,2016,8(18):155-155.
    [5] 唐轶轩,徐敏,薛晓茹,等.基于多数据类型的海量历史准实时数据库升级方法[J].信息与电脑:理论版,2016,7(18):155-155.
    [6] 刘文浩.基于GPS的新技术将海啸预警时间提前20分钟[J].国际地震动态,2016,7(3):6-7.
    [7] 孟彬.基于access数据库的信息管理系统实现[J].自动化与仪器仪表,2017,(4):190-191.
    [8] 孙健,陈钻,李强.美国商业气象服务及技术的进展与启示[J].气象科技进展,2016,6(3):48-54.
    [9] 方怡,王必强,成丹,等.基于分钟数据的自动、人工观测雨量差异分析[J].暴雨灾害,2017,36(3):281-286.
    [10] 王庆华.基于CDM机制的卫星转发系统性能分析与仿真[J].信息通信,2016,7(3):19-20.
    [11] 王娟.言息化、创新与劳动生产率——基于CDM模型的实证研究[J].财经科学,2017,15(6):70-81.
    [12] 和珍珍.基于学习行为数据的在线学习时间规律探析[J].中国教育技术装备,2016,5(20):1-5.
    [13] 柴佳,陈新桥,张薇,等.一种降低APDCDM信号幅值级数的方法[J].光通信研究,2016,9(5):23-26.
    [14] 洪波,吕燕霞,黄磊.大数据环境下基于Hadoop框架的数据挖掘算法的研究与实现[J].电子设计工程,2017,25(7):41-44.
    [15] 孙亮.对大规模数据集高效数据挖掘算法的研究[J].自动化与仪器仪表,2016,(3):192-193.