基于Hadoop的存储资源调度机制研究

详细信息    查看全文 | 推荐本文 |

	作者：金峥耀 ; 张健 ; 耿超 关键词：Hadoop云计算 ; 小文件存储 ; LZO压缩 中文刊名：XXXT 英文刊名：China CIO News 机构：南京邮电大学计算机与软件学院; 出版日期：2015-10-20 出版单位：信息系统工程 年：2015 期：No.262 语种：中文; 页：XXXT201510099 页数：3 CN：10 ISSN：12-1158/N 分类号：142-144

摘要

随着信息时代的迅速发展,海量数据在各个领域中产生。但在对数据运算过程中,其载体——Hadoop分布式文件系统在存储机制上存在一定缺陷,小文件过多将导致集群因负载增高而产生运行率下降的问题。针对因小文件而产生的存储缺陷,提出一种基于云计算的优化策略:通过数据平衡算法将小文件合并为合理的大文件,再将LZO无损压缩编码融入计算任务中,实现对大数据运算的效率提高。
        

引文

[1]李学龙,龚海刚.大数据系统综述[J].中国科学:信息科学,2015(45):1-44.
    [2]向丽辉,缪力,张大方.压缩对Hadoop性能影响研究[J].计算机工程与科学,2015(37):2-207.
    [3]杜仲晖,何慧,王星.一种Hadoop小文件存储优化策略研究[J].智能计算机与应用,2015(5):3-29.
    [4]屈志坚,郭亮.基于云计算的配电自动化集群Lzo无损压缩新方法[J].计算机测量与控制,2014(22):4-1222.
    [5]董新华,李瑞轩,等.Hadoop系统性能优化与功能增强综述[J].计算机研究与发展,2013(50):1-15.
    [6]郑翠芳.几种常用无损数据压缩算法研究[J].计算机技术与发展,2011(21):9-74.
    [7]屈志坚,郭亮,蒋俊俊,陈秋琳.Hadoop云构架的智能调度无损集群压缩技术[J].电力系统自动化,2013(37):18-93.
    [8]高泽栋.一种优化HDFS小写文件出处策略研究与实现[D].武汉:华中科技大学,2013.
    [9]田波,丁祥武.MR-DC:基于Map Reduce的轻量级数据压缩策略[J].智能计算机与应用,2015(5):1-78.