基于嵌入式视频监控平台的网络传输系统的研究与应用
|
摘要
本文以上海市科委重点攻关项目″嵌入式数字硬盘录像机开发″为项目背景，研制和开发了基于Linux平台、MPEG-4压缩标准的嵌入式视频监控系统。作者在项目研究中主要承担了“嵌入式视频监控系统网络服务端和客户端的设计与实现”工作。目前的IP网络是″尽力而为″的网络，不提供网络传输服务质量(Service of Quality，QoS)保证机制。由于视频监控要求较高的实时性和一定的监控质量，所以如何充分利用带宽资源保证监控系统视频远程传输的服务质量是本文研究的主要内容。
本文首先介绍了论文研究的理论背景和项目应用背景，综述了视频网络传输技术的国内外发展现状、该嵌入式DVR系统的硬件总体结构设计方案、软件平台的总体设计思想、所用到的相关关键技术以及开发平台。
在综述的基础上，作者进行了研究和开发工作，取得了以下成果：
(1)对MPEG-4系统的体系结构及基于MPEG-4的多媒体传输集成框架进行研究，结合嵌入式视频监控系统视频图像远程传输所具有的特点设计并在该系统中研发了基于MPEG-4机制的解码播放SDK，为产品功能的扩展和兼容性打下良好基础。
(2)基于实时视频监控系统网络传输的特点，本文对支持流媒体传输的RTP和RTCP等协议进行研究，提出使用基于RTP／UDP／IP的传输系统结构来实现MPEG-4视频传输，从而实现了传输服务的实时反馈控制要求，克服了TCP和UDP不会动态改变编码码率的缺点。
(3)针对当前网络带宽的有效利用及丢包率和时延等网络传输中问题提出了基于速率的反馈拥塞控制策略，在实时视频监控系统中进行应用和检验，证明该方法提高了网络传输的质量。
(4)在系统应用开发中，作者主要负责该系统网络模块的相关开发和调试工作，还设计并研发网络客户端播放器，实现与服务端的数据传输，并兼容不同平台其它厂家的视频监控录像机。
最后，关于工作中的问题和下一步的方向进行了简要的分析讨论。
Video monitor system with MPEG-4 standard and Linux OS, which based on the project of "Embedded Disk Video Recorder", was researched and developed in the paper. In this project, author was in charge of designing and developing the network parts. Nowdays, the IP network is a "best-effort" network, which doesn't support any guarantee of QoS (quality of service, QoS). Because the video monitor has the request of real-time and monitor quality, how to use the network's bandwidth widely and guarantee the QoS of video transport are the key content of the paper.
The paper first introduces the research background, the application background and the current situation then the author analyses the hardware and the software framework and the solutions of the key technologies of the Embedded DVR.
Based on these, the author did some research and development, get some achievements as fellowed:
(1) Researching and designing of DMIF for embedded video monitor system, and developing the SDK based on MPEG-4 for decode and display.
(2) Adopting the transport system framework based on RTP/UDP/IP protocols to send MPEG-4 video information, soloving the static transformation problem that TCP and UDP only can do.
(3) Based on the packet loss and time delay, the author presents the frame fedback control method and applied in the project,the results showed improving the efficiency of the transportation of the current bandwidth.
(4) In charge of developing and testing the network part of the project, designing the network player which can use some DVR from other companies.
Finally, the problems and the research direction requiring further studies are analyzed and discussed.
本文首先介绍了论文研究的理论背景和项目应用背景，综述了视频网络传输技术的国内外发展现状、该嵌入式DVR系统的硬件总体结构设计方案、软件平台的总体设计思想、所用到的相关关键技术以及开发平台。
在综述的基础上，作者进行了研究和开发工作，取得了以下成果：
(1)对MPEG-4系统的体系结构及基于MPEG-4的多媒体传输集成框架进行研究，结合嵌入式视频监控系统视频图像远程传输所具有的特点设计并在该系统中研发了基于MPEG-4机制的解码播放SDK，为产品功能的扩展和兼容性打下良好基础。
(2)基于实时视频监控系统网络传输的特点，本文对支持流媒体传输的RTP和RTCP等协议进行研究，提出使用基于RTP／UDP／IP的传输系统结构来实现MPEG-4视频传输，从而实现了传输服务的实时反馈控制要求，克服了TCP和UDP不会动态改变编码码率的缺点。
(3)针对当前网络带宽的有效利用及丢包率和时延等网络传输中问题提出了基于速率的反馈拥塞控制策略，在实时视频监控系统中进行应用和检验，证明该方法提高了网络传输的质量。
(4)在系统应用开发中，作者主要负责该系统网络模块的相关开发和调试工作，还设计并研发网络客户端播放器，实现与服务端的数据传输，并兼容不同平台其它厂家的视频监控录像机。
最后，关于工作中的问题和下一步的方向进行了简要的分析讨论。
Video monitor system with MPEG-4 standard and Linux OS, which based on the project of "Embedded Disk Video Recorder", was researched and developed in the paper. In this project, author was in charge of designing and developing the network parts. Nowdays, the IP network is a "best-effort" network, which doesn't support any guarantee of QoS (quality of service, QoS). Because the video monitor has the request of real-time and monitor quality, how to use the network's bandwidth widely and guarantee the QoS of video transport are the key content of the paper.
The paper first introduces the research background, the application background and the current situation then the author analyses the hardware and the software framework and the solutions of the key technologies of the Embedded DVR.
Based on these, the author did some research and development, get some achievements as fellowed:
(1) Researching and designing of DMIF for embedded video monitor system, and developing the SDK based on MPEG-4 for decode and display.
(2) Adopting the transport system framework based on RTP/UDP/IP protocols to send MPEG-4 video information, soloving the static transformation problem that TCP and UDP only can do.
(3) Based on the packet loss and time delay, the author presents the frame fedback control method and applied in the project,the results showed improving the efficiency of the transportation of the current bandwidth.
(4) In charge of developing and testing the network part of the project, designing the network player which can use some DVR from other companies.
Finally, the problems and the research direction requiring further studies are analyzed and discussed.
引文
[1] 杨震伦．基于嵌入式系统的图像网络传输研究：[硕士论文]．广州：华南师范大学，2004
[2] T Turletti, C Huitema. RTP Payload format for H.261 Video Streams[S]. RFC2032, Oct.1996.
[3] C Zhu. RTP Payload Format for H.263 Video Streams[S].RFC2190, Sept.1997.
[4] 钟玉琢，贺玉文，王琪。基于对象的多媒体数据压缩编码国际标准MPEG-4及其校验模型[M]．北京：科学出版社，2000。
[5] 徐惠惠，徐立鸿，邓梧鹏，赵振亮．基于嵌入式TCP／IP协议的网络传输的研究与应用．微型电脑应用，2007，Vol．23(1)：61-64
[6] D Hoffman, G Fernando, V Goyal. RTP Payload Format for MPEG-1/MPEG-2 Video[S].RFC 2038,Oct.1996.
[7] L Zhang, S. Deering, D. Estrin, S. Shenker, and D. Zappala. RSVP: a new resource Reser Vation Protocol. IEEE Network, September 1993.
[8] Leffler, S. J, McKusick, M. K, and Quarterman, J. S, The Design and Implementation of the 4.3BSD Unix Operating System, Addison-Wesley, Reading, MA, 1989 (XFS 主页)
[9] 黄晓东．基于以太网的MPEG视频传输研究：[博士论文]．上海：上海交通大学，2004
[10] 毛迪林．IP网络中的多媒体信息传输的若干问题：[博士论文]．上海复旦大学，2000
[11] Ingo Busse. 'Dynamic QoS control of multimedia applications based on RTP', Computer Communications. Vol 19 (1996) 49～58.
[12] 李善平，刘文峰，王焕龙．Linux与嵌入式系统．北京：清华大学出版社，2003
[13] D. Mills, Network time protocol version 3. RFC 1889 UDEL, March 1992.
[14] Widmer J,Denda R,Mauve M.'A survey on TCP-friendly congestion control',IEEE Network Magazine,2001,15(3):28～37
[15] 刘峥嵘，张智超，许振山等．嵌入式Linux应用开发详解．北京：机械工业出版社，2004
[16] 章立．嵌入式DVR中高效文件系统与中文GUI平台的研究设计：[硕士学位论文]．上海，同济大学，2006
[16] 陈震伟，项明．基于RTP的MPEG-2视频数据在IP网络中的实时传输的研究与实现．微型电脑与应用，2004，Vol．20(2)：53～55
[17] H. Schulzrinne, GMD Fokus, S. Casner. A Transport Protocol for Real-Time Applications. Audio-Video Transport Working Group, 1996
[18] 谢志华．MPEG-2TS流处理及其网络传输技术的研究：[硕士论文]．南昌：江西师范大学，2004
[19] 王军，吴志美。交换式以太网中连续实时流媒体的可靠组播[J]．软件学报，2004，15(2)：229—237
[20] 赵黔莉，涂国防，Internet视频传输的拥塞控制策略[J]．计算机工程，2004，30(1)：144—147
[21] 徐建军，李强。视频监控系统中基于MPEG-1数据流的丢帧机制[J]．空军雷达学院学报，2002，16(4)：28-30
[22] Sun Y.S.,Tsou F.-M., Tsai, Z.A TCP-friendly congestion control scheme for real-time packet video using prediction[C]. Global Telecommunications Conference, 1999, GLOBECOM '99, 1999,vol.3:1818-1822
[23] lain E. G. Richardson. H.264 and MPEG-4 Video Compression. WILEY, 2003
[24] http://www.omg.org
[25] 姜磊．嵌入式数字视频系统高可用性研究及其数字处理模块设计：[硕士学位论文]．上海，同济大学，2006
[26] Zefeng Ni, Zhenzhong Chen, King Ngi Ngan, A real-time video transport system for the best-effort Internet. Signal Processing: Image Communication, 2005, Vol.20 (3): 277～293
[27] Abdul H．Sadka．Compressed Video Communications(影印版)(M)，北京：科学出版社，2004，5：109-112
[28] Yao Wang，Jm Ostermann et al．视频处理与通信[M] ，侯正信等译。北京：电子工业出版社，2003．269-287
[29] Ingo Busse, Bernd Deffner, Henning Schulzrinne, Dynamic Qos control of multimedia applications based on RTP. Computer Communications, 2005, Vol.19(1): 49～58
[30] Jill M. Boyce, Packet loss resilent transmission of MPEG video over the Internet. Signal Processing: Image Communication, 1999, Vol.15 (1): 7～24
[31] 艾书华．基于MPEG-4的嵌入式视频监控系统网络传输技术研究及应用：[硕士学位论文]．上海，同济大学，2006
[32] Randa EI-Marakby, David Hutchison, Scalability improvement of the real-time control protocol. Computer Communications, 2005, Vol.28 (2): 136～149
[33] 任泰明．TCP／IP协议与网络编程．西安：西安电子科技大学出版社，2004
[34] 王田苗．嵌入式系统设计与实例开发．北京：清华大学出版社，2002
[35] 董振亚，张拥军，彭宇行．基于RTP的MPEG-4视频传输．计算机应用研究，2003，Vol．19(7)：52～55
[36] 沈全勇，徐德启，尹黎明．基于RTP的MPEG-4自适应传输方案．计算机应用，2004，Vol．24(6)：384～385
[37] 安晖．RTP协议研究与实现：[硕士论文]．武汉：武汉大学，2002
[38] 郓伟光．RTP协议在服务质量动态反馈控制方面的研究与应用：[硕士论文]．长沙：中南大学，2004
[39] 唐成．基于RTP的MPEG-4视频传输研究：[硕士论文]．西安：西安建筑科技大学，2004
[40] 张明华．基于RTP的视频传输控制方法的研究：[硕士论文]．郑州：郑州大学，2003
[41] 刘涛．基于RTP的视频流可靠传输：[硕士论文]．郑州：郑州大学，2004
[42] 王学光．流媒体在IP网络传输中关键技术的研究：[博士论文]．武汉：华东理工大学，2003
[43] 王继先．视频传输控制方法的研究(基于RTP)：[硕士论文]．成都：电子科技大学，2003
[44] 潘健．数字视频编辑及网络传输中若干问题研究：[博士论文]．上海：上海交通大学，1999
[45] 羌春华．一种基于Internet的MPEG-4视频网络传输体系结构：[硕士论文]．南京：东南大学，2002
[46] 古春生．DMIF原理及其在IP网上的实现．西南科技大学学报，2002，Vol．17(4)：5～9
[47] S. Blake, D. Black, M. Carlson, E. Davies, Z. Wang, and W. Weiss. An architecture for differentiated services. RFC2475, October 1998.
[48] 余兆明，李晓飞，陈来春．MPEG标准及其应用．北京：北京邮电大学出版社，2002
[49] Pentamicro Company. AT204x_AN01_PS_Type1_V12(Eng), V12, 2004
[50] 陶蒙华．IP视频通信的服务质量及其关键技术的研究：[博士论文]．北京：北京邮电大学，2002
[51] 丁兵，张占军．基于RTP MPEG-4视频流传输研究．装甲兵工程学院学报，2005，Vol．19(1)：4～6
[52] Joseph Kee-Yin Ng, A reserved bandwidth video smoothing algorithm for MPEG transmission. The Journal of Systems and Software, 1999, Vol.48 (3): 233～245
[53] Eren Gurses, Gozde Bozdagi Akar, Nail Akar, A simple and effective mechanism for stored video streaming with TCP transport and server-side adaptive frame discard. Computer Networks, 2005, Vol.48 (4): 489～501
[2] T Turletti, C Huitema. RTP Payload format for H.261 Video Streams[S]. RFC2032, Oct.1996.
[3] C Zhu. RTP Payload Format for H.263 Video Streams[S].RFC2190, Sept.1997.
[4] 钟玉琢，贺玉文，王琪。基于对象的多媒体数据压缩编码国际标准MPEG-4及其校验模型[M]．北京：科学出版社，2000。
[5] 徐惠惠，徐立鸿，邓梧鹏，赵振亮．基于嵌入式TCP／IP协议的网络传输的研究与应用．微型电脑应用，2007，Vol．23(1)：61-64
[6] D Hoffman, G Fernando, V Goyal. RTP Payload Format for MPEG-1/MPEG-2 Video[S].RFC 2038,Oct.1996.
[7] L Zhang, S. Deering, D. Estrin, S. Shenker, and D. Zappala. RSVP: a new resource Reser Vation Protocol. IEEE Network, September 1993.
[8] Leffler, S. J, McKusick, M. K, and Quarterman, J. S, The Design and Implementation of the 4.3BSD Unix Operating System, Addison-Wesley, Reading, MA, 1989 (XFS 主页)
[9] 黄晓东．基于以太网的MPEG视频传输研究：[博士论文]．上海：上海交通大学，2004
[10] 毛迪林．IP网络中的多媒体信息传输的若干问题：[博士论文]．上海复旦大学，2000
[11] Ingo Busse. 'Dynamic QoS control of multimedia applications based on RTP', Computer Communications. Vol 19 (1996) 49～58.
[12] 李善平，刘文峰，王焕龙．Linux与嵌入式系统．北京：清华大学出版社，2003
[13] D. Mills, Network time protocol version 3. RFC 1889 UDEL, March 1992.
[14] Widmer J,Denda R,Mauve M.'A survey on TCP-friendly congestion control',IEEE Network Magazine,2001,15(3):28～37
[15] 刘峥嵘，张智超，许振山等．嵌入式Linux应用开发详解．北京：机械工业出版社，2004
[16] 章立．嵌入式DVR中高效文件系统与中文GUI平台的研究设计：[硕士学位论文]．上海，同济大学，2006
[16] 陈震伟，项明．基于RTP的MPEG-2视频数据在IP网络中的实时传输的研究与实现．微型电脑与应用，2004，Vol．20(2)：53～55
[17] H. Schulzrinne, GMD Fokus, S. Casner. A Transport Protocol for Real-Time Applications. Audio-Video Transport Working Group, 1996
[18] 谢志华．MPEG-2TS流处理及其网络传输技术的研究：[硕士论文]．南昌：江西师范大学，2004
[19] 王军，吴志美。交换式以太网中连续实时流媒体的可靠组播[J]．软件学报，2004，15(2)：229—237
[20] 赵黔莉，涂国防，Internet视频传输的拥塞控制策略[J]．计算机工程，2004，30(1)：144—147
[21] 徐建军，李强。视频监控系统中基于MPEG-1数据流的丢帧机制[J]．空军雷达学院学报，2002，16(4)：28-30
[22] Sun Y.S.,Tsou F.-M., Tsai, Z.A TCP-friendly congestion control scheme for real-time packet video using prediction[C]. Global Telecommunications Conference, 1999, GLOBECOM '99, 1999,vol.3:1818-1822
[23] lain E. G. Richardson. H.264 and MPEG-4 Video Compression. WILEY, 2003
[24] http://www.omg.org
[25] 姜磊．嵌入式数字视频系统高可用性研究及其数字处理模块设计：[硕士学位论文]．上海，同济大学，2006
[26] Zefeng Ni, Zhenzhong Chen, King Ngi Ngan, A real-time video transport system for the best-effort Internet. Signal Processing: Image Communication, 2005, Vol.20 (3): 277～293
[27] Abdul H．Sadka．Compressed Video Communications(影印版)(M)，北京：科学出版社，2004，5：109-112
[28] Yao Wang，Jm Ostermann et al．视频处理与通信[M] ，侯正信等译。北京：电子工业出版社，2003．269-287
[29] Ingo Busse, Bernd Deffner, Henning Schulzrinne, Dynamic Qos control of multimedia applications based on RTP. Computer Communications, 2005, Vol.19(1): 49～58
[30] Jill M. Boyce, Packet loss resilent transmission of MPEG video over the Internet. Signal Processing: Image Communication, 1999, Vol.15 (1): 7～24
[31] 艾书华．基于MPEG-4的嵌入式视频监控系统网络传输技术研究及应用：[硕士学位论文]．上海，同济大学，2006
[32] Randa EI-Marakby, David Hutchison, Scalability improvement of the real-time control protocol. Computer Communications, 2005, Vol.28 (2): 136～149
[33] 任泰明．TCP／IP协议与网络编程．西安：西安电子科技大学出版社，2004
[34] 王田苗．嵌入式系统设计与实例开发．北京：清华大学出版社，2002
[35] 董振亚，张拥军，彭宇行．基于RTP的MPEG-4视频传输．计算机应用研究，2003，Vol．19(7)：52～55
[36] 沈全勇，徐德启，尹黎明．基于RTP的MPEG-4自适应传输方案．计算机应用，2004，Vol．24(6)：384～385
[37] 安晖．RTP协议研究与实现：[硕士论文]．武汉：武汉大学，2002
[38] 郓伟光．RTP协议在服务质量动态反馈控制方面的研究与应用：[硕士论文]．长沙：中南大学，2004
[39] 唐成．基于RTP的MPEG-4视频传输研究：[硕士论文]．西安：西安建筑科技大学，2004
[40] 张明华．基于RTP的视频传输控制方法的研究：[硕士论文]．郑州：郑州大学，2003
[41] 刘涛．基于RTP的视频流可靠传输：[硕士论文]．郑州：郑州大学，2004
[42] 王学光．流媒体在IP网络传输中关键技术的研究：[博士论文]．武汉：华东理工大学，2003
[43] 王继先．视频传输控制方法的研究(基于RTP)：[硕士论文]．成都：电子科技大学，2003
[44] 潘健．数字视频编辑及网络传输中若干问题研究：[博士论文]．上海：上海交通大学，1999
[45] 羌春华．一种基于Internet的MPEG-4视频网络传输体系结构：[硕士论文]．南京：东南大学，2002
[46] 古春生．DMIF原理及其在IP网上的实现．西南科技大学学报，2002，Vol．17(4)：5～9
[47] S. Blake, D. Black, M. Carlson, E. Davies, Z. Wang, and W. Weiss. An architecture for differentiated services. RFC2475, October 1998.
[48] 余兆明，李晓飞，陈来春．MPEG标准及其应用．北京：北京邮电大学出版社，2002
[49] Pentamicro Company. AT204x_AN01_PS_Type1_V12(Eng), V12, 2004
[50] 陶蒙华．IP视频通信的服务质量及其关键技术的研究：[博士论文]．北京：北京邮电大学，2002
[51] 丁兵，张占军．基于RTP MPEG-4视频流传输研究．装甲兵工程学院学报，2005，Vol．19(1)：4～6
[52] Joseph Kee-Yin Ng, A reserved bandwidth video smoothing algorithm for MPEG transmission. The Journal of Systems and Software, 1999, Vol.48 (3): 233～245
[53] Eren Gurses, Gozde Bozdagi Akar, Nail Akar, A simple and effective mechanism for stored video streaming with TCP transport and server-side adaptive frame discard. Computer Networks, 2005, Vol.48 (4): 489～501