基于磁光虚拟存储系统的文件调度算法

详细信息    查看全文 | 推荐本文 |

英文篇名：File Scheduling Algorithm Based on Magneto-optical Virtual Storage System 作者：王子炫 ; 魏力 ; 张育平 英文作者：WANG Zi-xuan;WEI Li;ZHANG Yu-ping;School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics; 关键词：磁盘缓存 ; 虚拟存储 ; 文件预取 ; 缓存替换 ; 小文件合并 英文关键词：disk cache;;virtual storage;;file pre-fetching;;cache replacement;;small file merging 中文刊名：JYXH 英文刊名：Computer and Modernization 机构：南京航空航天大学计算机科学与技术学院; 出版日期：2019-05-15 出版单位：计算机与现代化 年：2019 期：No.285 基金：国家自然科学基金资助项目(61402225);; 江苏省自然科学基金资助项目(BK20140832);; 中国博士后基金资助项目(2013M540447) 语种：中文; 页：JYXH201905004 页数：6 CN：05 ISSN：36-1137/TP 分类号：11-16

摘要

基于光盘库的Hadoop分布式文件系统(HDFS光盘库)在单位存储成本、数据安全性、使用寿命等方面非常符合当前大数据存储要求,但是HDFS不适合存储大量小文件和实时数据读取。为了使HDFS光盘库能更好地运用到更多大数据存储场景,本文提出一种更加适合大数据存储的磁光虚拟存储系统(MOVS, Magneto-optical Virtual Storage System)。系统在HDFS光盘库与用户之间加入磁盘缓存,并在磁盘缓存内通过文件标签分类、虚拟存储、小文件合并等技术将磁盘缓存内小文件合并为适合HDFS光盘库存储的大文件,提高系统的数据传输速度。系统还使用了文件预取、缓存替换等文件调度算法对磁盘缓存内文件进行动态更新,减少用户访问HDFS光盘库次数。实验结果表明,MOVS相对HDFS光盘库在响应时间和数据传输速度方面得到很大改善。
        The Hadoop distributed file system(HDFS CD-ROM database) based on CD-ROM database meets the current requirements of large data storage in terms of unit storage cost, data security and service life, etc., but it is not suitable for storing a large number of small files and real-time data reading. To better apply HDFS CD-ROM database in more big data storage scenarios, this paper proposes a magneto-optical virtual storage system(MOVS) more suitable for big data storage, which adds disk cache between HDFS CD-ROM database and users, and merges small files in disk cache into large files suitable for HDFS CD-ROM storage through file label classification, virtual storage, small file merging and other technologies, improving the data transmission speed. The system also uses file scheduling algorithm such as file pre-fetching and cache replacement to dynamically update the files in disk cache, so as to minimize the number of HDFS CD-ROM database accesses. The results of experiment show that MOVS can greatly improve the response time and data transmission speed compared with HDFS CD-ROM database.

引文

[1] 刘贵君.大数据时代计算机数据备份技术分析[J].电脑知识与技术,2017,13(10):25,39.
    [2] 曾卫进.基于HDFS的分级存储功能设计与实现[D].武汉:华中科技大学,2016.
    [3] 王瑞通,李炜春.大数据基础存储系统技术研究[J].计算机技术与发展,2017,27(8):66-72.
    [4] 游丽.基于蓝光存储的光盘存储系统的研究与实现[D].成都:电子科技大学,2017.
    [5] 钱能武,郭卫斌,范贵生.基于关联规则挖掘的分布式小文件存储方法[J].华东理工大学学报(自然科学版),2016,42(5):708-714.
    [6] 严文瑞,曹强,姚杰,等.一种面向大容量光盘库的新型文件系统[J].计算机研究与发展,2015,52(S2):1-8.
    [7] 尹洋,刘振军,许鲁.一种基于磁盘介质的网络存储系统缓存[J].软件学报,2009,20(10):2752-2765.
    [8] 查益.光盘库文件缓存管理系统的实现[D].武汉:武汉大学,2004.
    [9] 王坤.面向Hadoop的小文件存储机制研究[D].北京:北京邮电大学,2018.
    [10] 段洁,邢媛,赵国锋.信息中心网络中缓存技术研究综述[J].计算机工程与应用,2018,54(2):1-10.
    [11] 傅雨东,李小勇.基于固态盘与磁盘的混合存储系统框架研究[J].信息技术,2018,42(7):103-106.
    [12] 康剑斌,汪海山,贾惠波.基于磁带库的磁盘缓存策略[J].仪器仪表学报,2009,30(6):1281-1284
    [13] 宋洪治,武杰,张杰.一种符合POSIX规范的FreeRTOS模拟器的设计与实现[J].小型微型计算机系统,2012,33(6):1273-1277.
    [14] 王峰,雷葆华.Hadoop分布式文件系统的模型分析[J].电信科学,2010,26(12):95-99.
    [15] 郑通,郭卫斌,范贵生.HDFS中海量小文件合并与预取优化方法的研究[J].计算机科学,2017,44(11A):516-519.
    [16] 师明,刘轶,唐歌实.一种面向分布式文件系统的文件预取模型的设计与实现[J].计算机科学,2014,41(7):30-35.
    [17] 韩向春,田玉根.基于预测的Web缓存替换算法[J].计算机工程与设计,2010,31(1):110-113.
    [18] 温珍.基于Python语言的中文文本处理研究[J].南昌工程学院学报,2018,37(3):70-75.
    [19] 魏晓玲.MD5加密算法的研究及应用[J].信息技术,2010(7):145-147.
    [20] 王超宇.缓存替换策略研究[D].哈尔滨:哈尔滨工程大学,2012.
    [21] 王涛,朱怡安,黄姝娟.基于改进LRU替换策略的共享Cache划分[J].微电子学与计算机,2012,29(1):80-83.
    [22] WANG Y,GOPALAKRISHNAN L,WANG H,et al.Design of prioritized LRU circuit for shared cache in real-time computer systems[C]// 2016 13th IEEE International Conference on Solid-State and Integrated Circuit Technology.2016.
    [23] 还璋武.LRFU及其自适应算法的研究[D].马鞍山:安徽工业大学,2016.
    [24] 陈慧光,肖创柏,高允翔,等.一种基于取回代价的LFU图片缓存算法及在WAP浏览器应用[J].中国电子商情:通信市场,2009(9):94-99.