嵌入式MPEG-4视频解码器研究
摘要
MPEG-4具备在各种带宽条件下处理多媒体的能力,解决了多媒体压缩存储和传输的问题,近年来迅速成为一种最通用的多媒体编码压缩方面的标准。实现嵌入式MPEG-4视频解码,要求硬件平台具有高性能、低功耗、高集成度等特点。FPGA(Field Programmable GateArray,现场可编程门阵列)与SoPC(System on Programmable Chip,片上可编程系统)技术满足这一要求,研究基于FPGA或SoPC的MPEG-4视频解码具有一定的理论价值和实际意义。
本文主要研究了如何在便携式、低功耗的SoPC应用平台进行MPEG-4视频解码的应用与开发,选用XILINX ML310平台来实现MPEG-4视频解码功能。论文针对MPEG-4标准提出了一种结合软硬件平台实现的视频解码系统结构,该结构以32位PowerPC405硬核为核心实现MPEG-4视频解码部分,用FPGA实现LCD的驱动部分,这两部分用opb/plb总线相连。系统运行过程中,BRAM充当视频解码和视频播放两个部分的数据中转站,即PowerPC405将解码的数据通过opb/plb存储于FPGA中的BRAM中,LCD的驱动部分从BRAM中读取视频数据,并将视频数据送LCD显示。通过对软硬件的优化和配置,该视频解码系统对分辨率为320×240的符合MPEG-4 SP的视频可以以17帧/秒的帧率进行播放。用各种AVI格式的MPEG-4 SP测试序列,都得到了良好的主观图像质量。
Sine MPEG-4,which has the capacity of dealing with multimedia under the condition of a variety of bandwidth,can solve the problems of multimedia storage and transmission,it becomes one of the most common multimedia compression standards in recent years.Embedded MPEG-4 video decoder requires a hardware platform with the features of high performance,low-power comsuption, and high integrative density.FPGA(Field Programmable Gate Array)and SoPC(System on Programmable Chip)technology meet this demand.And the research of MPEG-4 video decoder based on FPGA or SoPC has a lot of theoretical values and practical significance.
We choose XILINX ML310 as our experimental platform to implement MPEG-4 video decoder in this disseration.A framework of video decoding for MPEG-4,which combines software and hardware platform,is proposed in the disserataiton.The framework consists of tow parts.The one is PowerPC405 hard core,as the core of the system,which is implemented for the decoding of MPEG-4 video.The other is LCD driver,which is implemented by using FPGA.We employ opb/plb bus to connect the two parts.During MPEG-4 decoding,the BRAM plays the role of data interchange station between video decoding and video playing.While PowerPC405 are storing the decoded data into the BRAM through opb / plb bus,LCD driver reads the decoded video data from BRAM and sends them to LCD for display.Through the optimization of software and hardware configuration,the embedded video decoder can achieve a frame rate of 17fps for MPEG-4 SP with a resolution of 320×240.Extensive experimental results show that the proposed framework works well in terms of subjective image quality for MPEG-4 SP of various AVI formats.
本文主要研究了如何在便携式、低功耗的SoPC应用平台进行MPEG-4视频解码的应用与开发,选用XILINX ML310平台来实现MPEG-4视频解码功能。论文针对MPEG-4标准提出了一种结合软硬件平台实现的视频解码系统结构,该结构以32位PowerPC405硬核为核心实现MPEG-4视频解码部分,用FPGA实现LCD的驱动部分,这两部分用opb/plb总线相连。系统运行过程中,BRAM充当视频解码和视频播放两个部分的数据中转站,即PowerPC405将解码的数据通过opb/plb存储于FPGA中的BRAM中,LCD的驱动部分从BRAM中读取视频数据,并将视频数据送LCD显示。通过对软硬件的优化和配置,该视频解码系统对分辨率为320×240的符合MPEG-4 SP的视频可以以17帧/秒的帧率进行播放。用各种AVI格式的MPEG-4 SP测试序列,都得到了良好的主观图像质量。
Sine MPEG-4,which has the capacity of dealing with multimedia under the condition of a variety of bandwidth,can solve the problems of multimedia storage and transmission,it becomes one of the most common multimedia compression standards in recent years.Embedded MPEG-4 video decoder requires a hardware platform with the features of high performance,low-power comsuption, and high integrative density.FPGA(Field Programmable Gate Array)and SoPC(System on Programmable Chip)technology meet this demand.And the research of MPEG-4 video decoder based on FPGA or SoPC has a lot of theoretical values and practical significance.
We choose XILINX ML310 as our experimental platform to implement MPEG-4 video decoder in this disseration.A framework of video decoding for MPEG-4,which combines software and hardware platform,is proposed in the disserataiton.The framework consists of tow parts.The one is PowerPC405 hard core,as the core of the system,which is implemented for the decoding of MPEG-4 video.The other is LCD driver,which is implemented by using FPGA.We employ opb/plb bus to connect the two parts.During MPEG-4 decoding,the BRAM plays the role of data interchange station between video decoding and video playing.While PowerPC405 are storing the decoded data into the BRAM through opb / plb bus,LCD driver reads the decoded video data from BRAM and sends them to LCD for display.Through the optimization of software and hardware configuration,the embedded video decoder can achieve a frame rate of 17fps for MPEG-4 SP with a resolution of 320×240.Extensive experimental results show that the proposed framework works well in terms of subjective image quality for MPEG-4 SP of various AVI formats.
引文
[1]Frank Vahid,Tony Givargis著,骆丽译.嵌入式系统设计.北京:北京航空航天大学出版社.2004年9月第2版.P1-2
[2]郝杨.SoC技术的应用与发展探讨.贵州:大众科学.2007年10月.P45-47
[3]秦庆旺等.SoPC级双通道图像融合系统设计.北京:激光与红外.2007年9月.P1014-1017
[4]韩伟.ARM在MPEG-4视频系统中的应用.西安:西安电子科技大学硕士学位论文.2005年1月
[5]章勇.基于ADI DSP的MPEG-4视频编码的实现和优化.浙江:浙江大学硕士学位论文.2005年2月
[6]孙小叶.基于Intel Xscale的MPEG-4编码器实现.浙江:浙江大学硕士学位论文.2005年2月
[7]李惠忠.基于DSP的MPEG-4解码器设计.浙江:浙江大学硕士学位论文.2005年2月
[8]精英科技.视频压缩与音频编码技术.北京:中国电力出版社.2001年8月.P189-198,P252-385
[9]余兆明等.MPEG标准及其应用(第1版)[M].北京:北京邮电大学出版社.2002年11月.p8,p80,p189,p269
[10]陈兵棋,孙明.Visual C++实用图像处理[M].北京:清华大学出版社.2004年3月.P222-223
[11]董代洁等.基于FPGA的可编程SoC设计(第1版).北京:北京航空航天大学出版社.2006年6月.p1-p2,p74-p106
[12]XILINX.Virtex-Ⅱ Pro Embedded Development Platform(vl.1.3)[EB/OL].http://china.xilinx.com/bvdocs/use-rguides/ug068.pdf.p12-p13,P18-20
[13]XILINX.Virtex-Ⅱ Pro and Virtex-Ⅱ Pro X Platform FPGAs:Complete Data Sheet.http://direct.xilinx-china.com/bvdocs/publications/ds083.pdf.p11,p30
[14]杨恒等.FPGA/CPLD最新实用技术指南.北京:清华大学出版社.2005年1月.P6-45
[15]俞建新.PowerPC发展综述.南京:工业控制计算机.2000年第2期.P57-60
[16]Xilinx.PowerPC Processor Reference Guide.2007.1
[17]陈林,王家兵.IP核互连策略及规范.北京:今日电子.2005年8月.P42-P45
[18]XILINX.PLB Usage in Xilinx FPGAs.September 2005
[19]张春生等.基于PowerPC405的SoPC简单应用.北京:微处理机.2007年12月
[20]张弘铮.Virtex Ⅱ Pro的嵌入系统设计与应用.河北:无线电工程.2006年第3期
[21]IBM.64-Bit Processor Local Bus Architecture Specifications.2001.5
[22]石英等.ISE应用与开发技巧(第1版)[M].北京:机械工业出版社.2007年1月.P1-3,p80,p189,p269
[23]王诚、薛小刚、钟信潮,《FPGA/CPLD设计工具-Xilinx ISE 5.x使用详解》,人民邮电出版社,2003.6
[24]Xilinx.Platform Specification Format Reference Manual.2007.1
[25]Xilinx.Platform Studio User Guide.2005.2
[26]Xilinx.Embedded System Tools Reference Manual.2007.1
[27]Xilinx.EDK Concepts,Tools,and Techniques.P/N XTP013
[28]Xilinx.PowerPC Processor Reference Guide.2007.1
[29]Xilinx.ML40x EDK Processor Reference Design.2006.6
[30]Xilinx,Processor IP Reference Guide,2003.11
[31]Xilinx.PLB Usage in Xilinx FPGAs.2005.9
[32]Xilinx.PLB IPIF.DS448 2005.4
[33]Xilinx.User Core Templates Reference Guide.2004.1
[34]何斌等.Visual C++数字图像处理.北京:人民邮电出版社[M].2001年8月.P7,P12
[35]孙延鹏等.VHDL与可编程逻辑器件应用.北京:航空工业出版社.2006年12月.P61
[36]陈耀和.VHDL语言设计技术[M].北京:电子工业出版社.2005年1月.p2
[37]SHARP.DEVICE SPECIFICATION FOR TFT-LCD module.SHARP COMPNAY.2006.9.26
[38]XILINX.ML310 Base Build Creation Using EDK' s Base System Builder[EB/OL].http://china.xilinx.com/p-roducts/boards/m1310/current/reference-designs/base/ml 310_base_design_creation.pdf
[39]XILINX.XILINX Device Driver API[EB/OL].http://japan.xilinx.com/roducts/oards/ml300_2pdk/docs/xilinx_drivers.pdf
[40]ISO/IEC.INTERNATIONAL STANDARD Second edition Information technology- Coding of audio-visual objects-Part 2:Visual[S].2001-12-01.p164-p241
[41][美]Qing Li著,王安生译.嵌入式系统的实时概念[M].北京:北京航空航天大学出版社.2004年6月.P17-p46
[42]Latha Pillai.Color Space Converter:Y'CrCb to R'G'B'.XAPP283.March 24,2005
[43]XILINX.OS and Libraries Document Collection[EB/OL].http://www.xilinx.com/ise/embedded/oslib_rm.pdf
[2]郝杨.SoC技术的应用与发展探讨.贵州:大众科学.2007年10月.P45-47
[3]秦庆旺等.SoPC级双通道图像融合系统设计.北京:激光与红外.2007年9月.P1014-1017
[4]韩伟.ARM在MPEG-4视频系统中的应用.西安:西安电子科技大学硕士学位论文.2005年1月
[5]章勇.基于ADI DSP的MPEG-4视频编码的实现和优化.浙江:浙江大学硕士学位论文.2005年2月
[6]孙小叶.基于Intel Xscale的MPEG-4编码器实现.浙江:浙江大学硕士学位论文.2005年2月
[7]李惠忠.基于DSP的MPEG-4解码器设计.浙江:浙江大学硕士学位论文.2005年2月
[8]精英科技.视频压缩与音频编码技术.北京:中国电力出版社.2001年8月.P189-198,P252-385
[9]余兆明等.MPEG标准及其应用(第1版)[M].北京:北京邮电大学出版社.2002年11月.p8,p80,p189,p269
[10]陈兵棋,孙明.Visual C++实用图像处理[M].北京:清华大学出版社.2004年3月.P222-223
[11]董代洁等.基于FPGA的可编程SoC设计(第1版).北京:北京航空航天大学出版社.2006年6月.p1-p2,p74-p106
[12]XILINX.Virtex-Ⅱ Pro Embedded Development Platform(vl.1.3)[EB/OL].http://china.xilinx.com/bvdocs/use-rguides/ug068.pdf.p12-p13,P18-20
[13]XILINX.Virtex-Ⅱ Pro and Virtex-Ⅱ Pro X Platform FPGAs:Complete Data Sheet.http://direct.xilinx-china.com/bvdocs/publications/ds083.pdf.p11,p30
[14]杨恒等.FPGA/CPLD最新实用技术指南.北京:清华大学出版社.2005年1月.P6-45
[15]俞建新.PowerPC发展综述.南京:工业控制计算机.2000年第2期.P57-60
[16]Xilinx.PowerPC Processor Reference Guide.2007.1
[17]陈林,王家兵.IP核互连策略及规范.北京:今日电子.2005年8月.P42-P45
[18]XILINX.PLB Usage in Xilinx FPGAs.September 2005
[19]张春生等.基于PowerPC405的SoPC简单应用.北京:微处理机.2007年12月
[20]张弘铮.Virtex Ⅱ Pro的嵌入系统设计与应用.河北:无线电工程.2006年第3期
[21]IBM.64-Bit Processor Local Bus Architecture Specifications.2001.5
[22]石英等.ISE应用与开发技巧(第1版)[M].北京:机械工业出版社.2007年1月.P1-3,p80,p189,p269
[23]王诚、薛小刚、钟信潮,《FPGA/CPLD设计工具-Xilinx ISE 5.x使用详解》,人民邮电出版社,2003.6
[24]Xilinx.Platform Specification Format Reference Manual.2007.1
[25]Xilinx.Platform Studio User Guide.2005.2
[26]Xilinx.Embedded System Tools Reference Manual.2007.1
[27]Xilinx.EDK Concepts,Tools,and Techniques.P/N XTP013
[28]Xilinx.PowerPC Processor Reference Guide.2007.1
[29]Xilinx.ML40x EDK Processor Reference Design.2006.6
[30]Xilinx,Processor IP Reference Guide,2003.11
[31]Xilinx.PLB Usage in Xilinx FPGAs.2005.9
[32]Xilinx.PLB IPIF.DS448 2005.4
[33]Xilinx.User Core Templates Reference Guide.2004.1
[34]何斌等.Visual C++数字图像处理.北京:人民邮电出版社[M].2001年8月.P7,P12
[35]孙延鹏等.VHDL与可编程逻辑器件应用.北京:航空工业出版社.2006年12月.P61
[36]陈耀和.VHDL语言设计技术[M].北京:电子工业出版社.2005年1月.p2
[37]SHARP.DEVICE SPECIFICATION FOR TFT-LCD module.SHARP COMPNAY.2006.9.26
[38]XILINX.ML310 Base Build Creation Using EDK' s Base System Builder[EB/OL].http://china.xilinx.com/p-roducts/boards/m1310/current/reference-designs/base/ml 310_base_design_creation.pdf
[39]XILINX.XILINX Device Driver API[EB/OL].http://japan.xilinx.com/roducts/oards/ml300_2pdk/docs/xilinx_drivers.pdf
[40]ISO/IEC.INTERNATIONAL STANDARD Second edition Information technology- Coding of audio-visual objects-Part 2:Visual[S].2001-12-01.p164-p241
[41][美]Qing Li著,王安生译.嵌入式系统的实时概念[M].北京:北京航空航天大学出版社.2004年6月.P17-p46
[42]Latha Pillai.Color Space Converter:Y'CrCb to R'G'B'.XAPP283.March 24,2005
[43]XILINX.OS and Libraries Document Collection[EB/OL].http://www.xilinx.com/ise/embedded/oslib_rm.pdf