半结构化数据管理的动态建模技术研究与应用
|
摘要
由于半结构化数据缺乏类型信息、结构隐含或不规则,因此半结构化数据的存储与管理是一个十分重要的研究课题。为此,本文提出一种半结构化数据管理的动态建模技术,可针对半结构化数据存储结构不规则的特点,解决其难存储与管理的问题,并最后以村镇土地审批处理系统为实例说明此动态建模技术的有效性和可实用性。
首先,本研究利用对象交换模型(OEM)建立半结构化数据的概念模型,解决半结构化数据描述不规则的问题。然后,深度优先遍历OEM模型,找出所有最大简单路径表达式,并利用分层结构思想和累加计数原则生成一个具有半结构化数据模式的动态树。由于此树形结构不仅能体现半结构化数据的模式信息,方便抽取数据结构,还可针对半结构化数据类型信息缺乏、描述结构不严格等特点,随时灵活地进行更新,从而克服数据存储的不确定性。因此,本文决定将此树形结构作为半结构化数据的存储模型(逻辑模型)。最后,本研究进一步提出一套映射规则,将生成的存储模型映射到关系数据库中,以实现半结构化数据在计算机内部的物理存储。这样,日后对数据的查询就可转化为对关系表的查询,同时,也可应用传统的关系查询优化思想和查询技术来选择具体的查询执行计划。另外,本研究还初步探讨了半结构化数据的增量更新算法。该算法再次引入一种树状结构,以保存视图在数据库求值过程中的信息。这样,当数据产生增量信息、数据库进行更新操作时,即可利用该树结构记录的信息对视图进行维护,从而有效降低计算量和数据的通信量。
该动态建模技术打破传统管理半结构化数据的思想,从建立半结构化数据的概念模型到生成存储模型,再到实现半结构化数据的物理存储,每个阶段都可有效克服半结构化数据结构灵活多变的特点,对半结构化数据的管理工作有着现实的意义。
As a result of the semi-structured data lack type information, so the storage and management of the data would be an important reaserch issue. In order to solve the difficult issue of the data storage and management, a dynamic modeling technology of the semi-structured data considring the feature of the structure irregular was proposed in this paper. Additionally, the treatment system for land approving in village-town was taken as an example to illustrate the effectiveness of this modeling technique.
First, this paper proposed a conceptual model of the semi-structured data based on Object Exchange Model(OEM) which could solve the descriptive problem of the data with the irregular structure effectively. Then, found all the biggest simple path expression by carrying out the OEM depth-first traversal and then, added them to the dynamic tree in turn by adopting the ideas of hierarchical structure and the principle of cumulative count. The dynamic tree could not only be able to reflect the model information, to abstract the data structures easily, but also to update momentarily and flexibly considering the feature of the semi-structured data that the lack in data type information and the relax as well as the changing in descriptive structure, so as to overcome the storage uncertainty of the data. Therefore, this paper proposed the tree as the storage model of the semi-structured data(logical model). Finally, the semi-structured data storage and query in the relational databases would be achieved after mapping the dynamic tree storage model to the relationship table through a set of mapping rules proposed in this study. In this way, the query on the data would be transformed into the query on the relational table in the future. At the same time, the optimization ideas and the technology of the traditional relational query would be applied to the choice of a specific query execution plan. In addition, this study also discussed the incremental update algorithms of the semi-structured data tentatively. Another tree structure was introduced in the algorithm, which could record the information for the evaluation of the view on the database. With the help of this recorded information could reduce the amount of calculation and the data communications volume effectively when the data generated the incremental information and the database was updated.
The dynamic modeling technology broke the traditional idea of the management of the semi-structured data, from the conceptual model of the semi-structured data to the storage model, and then achieved storage of semi-structured data, it could overcome the flexible characteristics of structure of semi-structured effectively at each stage, so it has a practical significance on the management of semi-structured data.
首先,本研究利用对象交换模型(OEM)建立半结构化数据的概念模型,解决半结构化数据描述不规则的问题。然后,深度优先遍历OEM模型,找出所有最大简单路径表达式,并利用分层结构思想和累加计数原则生成一个具有半结构化数据模式的动态树。由于此树形结构不仅能体现半结构化数据的模式信息,方便抽取数据结构,还可针对半结构化数据类型信息缺乏、描述结构不严格等特点,随时灵活地进行更新,从而克服数据存储的不确定性。因此,本文决定将此树形结构作为半结构化数据的存储模型(逻辑模型)。最后,本研究进一步提出一套映射规则,将生成的存储模型映射到关系数据库中,以实现半结构化数据在计算机内部的物理存储。这样,日后对数据的查询就可转化为对关系表的查询,同时,也可应用传统的关系查询优化思想和查询技术来选择具体的查询执行计划。另外,本研究还初步探讨了半结构化数据的增量更新算法。该算法再次引入一种树状结构,以保存视图在数据库求值过程中的信息。这样,当数据产生增量信息、数据库进行更新操作时,即可利用该树结构记录的信息对视图进行维护,从而有效降低计算量和数据的通信量。
该动态建模技术打破传统管理半结构化数据的思想,从建立半结构化数据的概念模型到生成存储模型,再到实现半结构化数据的物理存储,每个阶段都可有效克服半结构化数据结构灵活多变的特点,对半结构化数据的管理工作有着现实的意义。
As a result of the semi-structured data lack type information, so the storage and management of the data would be an important reaserch issue. In order to solve the difficult issue of the data storage and management, a dynamic modeling technology of the semi-structured data considring the feature of the structure irregular was proposed in this paper. Additionally, the treatment system for land approving in village-town was taken as an example to illustrate the effectiveness of this modeling technique.
First, this paper proposed a conceptual model of the semi-structured data based on Object Exchange Model(OEM) which could solve the descriptive problem of the data with the irregular structure effectively. Then, found all the biggest simple path expression by carrying out the OEM depth-first traversal and then, added them to the dynamic tree in turn by adopting the ideas of hierarchical structure and the principle of cumulative count. The dynamic tree could not only be able to reflect the model information, to abstract the data structures easily, but also to update momentarily and flexibly considering the feature of the semi-structured data that the lack in data type information and the relax as well as the changing in descriptive structure, so as to overcome the storage uncertainty of the data. Therefore, this paper proposed the tree as the storage model of the semi-structured data(logical model). Finally, the semi-structured data storage and query in the relational databases would be achieved after mapping the dynamic tree storage model to the relationship table through a set of mapping rules proposed in this study. In this way, the query on the data would be transformed into the query on the relational table in the future. At the same time, the optimization ideas and the technology of the traditional relational query would be applied to the choice of a specific query execution plan. In addition, this study also discussed the incremental update algorithms of the semi-structured data tentatively. Another tree structure was introduced in the algorithm, which could record the information for the evaluation of the view on the database. With the help of this recorded information could reduce the amount of calculation and the data communications volume effectively when the data generated the incremental information and the database was updated.
The dynamic modeling technology broke the traditional idea of the management of the semi-structured data, from the conceptual model of the semi-structured data to the storage model, and then achieved storage of semi-structured data, it could overcome the flexible characteristics of structure of semi-structured effectively at each stage, so it has a practical significance on the management of semi-structured data.
引文
曹文仙,赵雪岩,李建成,邓轲.2007.半结构化数据OEM图应用[J].西安工程科技学院学报.21(1):92-95
陈恩红,石竹,王煦法.2001.半结构化数据的表示及查询方法研究[J].计算机工程.27(5):5-7
陈继明,鞠时光,潘金贵.2007.基于正则路径表达式的XML查询优化技术研究[J].计算机科学.34(2):144-148
邓青春,辜寄蓉,江浏光艳.2007.基于ArcGIS的县(市)级土地利用规划建库流程研究[J].现代商贸工业.19(12):291-292
陈汝,王能斌.1999.半结构化数据查询的处理和优化[J].软件学报.10(8):883-890
陈一明.2002.半结构化数据模型与数据挖掘技术分析[J].中山大学学报论丛.22(1):266-270
邓春晖,黄冬梅.2002.半结构化数据OEM图的获取及应用[J].海南师范学院学报(自然科学版).15(1):40-44,55
冯建华,王钦克,周立柱,孟宪虎.2002.半结构数据的存储模型和查询执行[J].计算机科学.29(10):6-10
冯涛,梁虹,程满,刘蕊.2007.基于ArcGIS Engine的城镇土地定级估价系统[J].计算机工程与设计.28(11):2733-2735,2739
高军,唐世渭,杨冬青,王腾蛟.2002.半结构化数据查询重写[J].计算机研究与发展.39(2):165-171
韩恺,岳丽华,龚育昌.2005.利用关系数据库系统对半结构化数据进行近似查询[J].中国科学技术大学学报.35(5):674-682
何月顺,丁秋林.2005.计算机半结构化数据源的数据挖掘技术研究[J].哈尔滨工业大学学报.37(10):1363-1365,1369
胡茂,胡盛.2003.半结构数据中的结构推理[J].云南大学学报(自然科学版).25(1):17-21
金凤莲,单丹丹.2006.地理信息系统在满洲里市土地规划中的应用[J].科技与经济.(7):19-20
李生琦,徐福缘,徐莹.2004.一种结构化数据和半结构化数据的统一集成模型[J].计算机工程与应用.15:34-36,100
李新燕.2007.基于关系的XML数据存储技术[J].福建电脑.8:47-49
李钊,曹亮,唐春华,王茜.2001.一个XML的数据模型及其存储策略[J].计算机应用研究.11:134-136
刘芳,胡和平.2000.半结构化数据的模式发现[J].微型电脑应用.16(2):13-15
刘林霞,张自强,何安平.2009.基于模型检测的半结构化数据查询[J].计算机与数字工程.8(37):75-79
刘先锋,曾舸.2007.基于半结构化数据的关联规则挖掘模式[J].计算机工程与应用.43(19):171-173
刘先锋,李钒.2007.基于半结构化数据模型的频繁模式挖掘研究[J].计算机工程与应用.43(36):173-176
吕橙,魏楚元,张瀚韬.2006.基于OEM模型的半结构化数据的模式发现[J].计算机工程与应用.34:162-165,181
马玉春,孙冰.2005.半结构化信息抽取在股票交易中的应用研究[J].情报科学.23(9):1376-1380
蒙德龙,叶飞跃,李旭华.2006.半结构化数据的模式抽取[J].计算机工程与应用.27:162-165
聂培尧,李战怀.2002.一种基于XML的半结构数据模型[J].计算机应用研究.12:135-138,143
聂培尧,李战怀,胡正国.2003.一种基于XML的半结构数据的ORDB存储方法[J].计算机工程与应用.14:190-193,199
聂培尧,李战怀,胡正国.2003.基于OEM的XML半结构数据的模式描述方法[J].计算机工程与设计.24(1):9-12,29
潘洁珠.2003.半结构化数据及其数据模型[J].安徽教育学院学报.21(6):32-33
潘顺,金远平.2002.半结构化数据到结构化数据的模式抽取[J].计算机工程.28(5):57-58,280
沈兵明,王渊,曾志强.2007.基于ArcGIS的城市规划与土地利用总体规划协调——以浙江省龙泉市金沙新区为例[J].经济地理.27(1):93-98
沈晓娟,刘渊.2004. WEB半结构化数据查询[J].计算机工程与设计.25(7):1178-1181
师营霖,牛振东,宋精涛.2006.一种基于RDF的半结构化数据查询语言Rquery[J].计算机工程.32(5):13-14,25
陶春,汪卫,施伯乐.2004.半结构化查询重写的MiniCon算法[J].软件学报.15(11):1641-1647
万谦,陆建江,刘忠英,宋自林.2002.半结构化数据查询语言的特性[J].西安电子科技大学学报(自然科学版).29(1):133-137
王斌,张硕新,雷瑞德,刘华.2006.基于ArcGIS Engine的土地变更调查管理系统设计与实现[J].农业工程学报.22(10):109-112
王静,孟小峰.2000.半结构化数据模式及模式抽取研究[J].计算机世界.6(3):53-57
王静,孟小峰.2001.半结构化数据的模式研究综述[J].计算机科学.28(2):6-10
王蒙智,刘宏亮,施伯乐.2001.半结构化数据视图的增量维护.计算机研究与发展.38(2):163-169
吴共庆,陈恩红.2004.一种基于XML的半结构化数据存储方法[J].计算机工程.30(10):57-59
吴永春.2006.XML数据存储方法研究及应用[J].计算机技术与发展.16(2):139-141
肖海,武伟,刘洪斌.2006.基于ArcGIS Engine的农业资源信息管理系统的研究[J].计算机与现代化.(1):76-78
肖威,刘明远,代博兰.2009.半结构化数据模型的主要特征[J].中国水运.9(6):105-107
谢坤武.2009.半结构化数据的结构发现聚类算法[J].湖北民族学院学报(自然科学报).27(3):311-315
徐责红.1999.Web的半结构化数据模型和查询模型[J].内蒙古大学学报(自然科学版).30(3):299-303
徐慧,施化吉,李星毅,鞠时光.2004.一种基于RDBMS的XML数据的存储方法[J].计算机工程与应用.27:160-163
许学标,顾宁,施伯乐.1998.半结构化数据模型及查询语言[J].计算机研究与发展.35(10):896-901
杨骏,李永树,蔡国林.2007.基于对象一关系一属性数据模型的空间半结构化数据存储管理研究[J].计算机应用研究.24(6):55-57
杨平,骆俊.2006.基于ArcGIS Engine的地理信息数据库管理系统设计与实现[J].信息技术.3(14):20-23
叶飞跃,蒙德龙,员红娟.2006.一种用于存储与查询半结构化数据的新方法[J].计算机工程.32(19):91-93
张海军,韩晓勇,边柳.2007.基于ArcGIS Engine的县级土地利用规划管理信息系统设计[J].南阳师范学院学报.6(12):43-46
周超.2006.半结构化XML数据与关系数据之间的转换[J].软件导刊.10:42-43
周炎坤,金洪.2007.构建可动态更新的土地利用现状图库的研究与实践[J].信息技术.(4):26-28
褚东升.2004.基于XML的半结构数据查询语言研究[J].计算机工程与应用.33:179-183
朱华吉.2006.基于OEM的地形数据库增量信息数据建模[J].辽宁工程技术大学学报.25(4):507-510
朱华吉.2007.地形数据库增量信息数据建模及其RDF描述[J].吉林大学学报(地球科学版).37(1):195-199,203
庄毅,徐海力.2004.半结构化数据与关系数据的比较研究[J].计算机与现代化.(6):29-30,37
Abiteboul S.1997.Querying Semi-structured Data[C]. Proc. of ICDT Delphi, Greece Chen M S,Han J H,Yu P S.1996.Data Mining:An Overview from a Database Perspective[J].IEEE Trans.KDS.8(6):866-883
E.Stefankis.2003.Modelling Semi-structured Geographical Data[J].International Journal of Geographical Information Science.17(6):517-546
J.McHugh.1997.Lore: A Database Management System for Semistructured Data[J].SIGMOD Record,26(3): 54-66
Koperski K,Han J.1995.Discovery of Spatial Association Rules in Geographic Information Databases[C]. In Advances in Spatial Databases,Proceedings of 4th Symposium,SSD’95.Springer—verlag,Berlin:47-66
Li Wenwu,Jin Yuanping,Tong Mina.2002. Lossless Mapping from Semi-Structured Data to Structured Data[J]. Journal of Southeast University (English Edition).18(1):46-53
P. Buneman et al.1996.A Query Language and Optimization Techniques for Unstructured Data[C]. In Proc. SIGMOD
S. Abiteboul et al.1997.The Lorel Query Language for Semistructured Data[J].Int. J. on Digital Libraries 1(1): 68-88
Zhou Aoying,Jin Wen,Zhou Shuigeng,Qian Weining,Tian Zenping.2000.Incremental Miningof the Schema of Semistructured Data[J]. J.Comput.Sci.&Techno1.15(3):241-248 http:// www.cs.stanford.edu/
陈恩红,石竹,王煦法.2001.半结构化数据的表示及查询方法研究[J].计算机工程.27(5):5-7
陈继明,鞠时光,潘金贵.2007.基于正则路径表达式的XML查询优化技术研究[J].计算机科学.34(2):144-148
邓青春,辜寄蓉,江浏光艳.2007.基于ArcGIS的县(市)级土地利用规划建库流程研究[J].现代商贸工业.19(12):291-292
陈汝,王能斌.1999.半结构化数据查询的处理和优化[J].软件学报.10(8):883-890
陈一明.2002.半结构化数据模型与数据挖掘技术分析[J].中山大学学报论丛.22(1):266-270
邓春晖,黄冬梅.2002.半结构化数据OEM图的获取及应用[J].海南师范学院学报(自然科学版).15(1):40-44,55
冯建华,王钦克,周立柱,孟宪虎.2002.半结构数据的存储模型和查询执行[J].计算机科学.29(10):6-10
冯涛,梁虹,程满,刘蕊.2007.基于ArcGIS Engine的城镇土地定级估价系统[J].计算机工程与设计.28(11):2733-2735,2739
高军,唐世渭,杨冬青,王腾蛟.2002.半结构化数据查询重写[J].计算机研究与发展.39(2):165-171
韩恺,岳丽华,龚育昌.2005.利用关系数据库系统对半结构化数据进行近似查询[J].中国科学技术大学学报.35(5):674-682
何月顺,丁秋林.2005.计算机半结构化数据源的数据挖掘技术研究[J].哈尔滨工业大学学报.37(10):1363-1365,1369
胡茂,胡盛.2003.半结构数据中的结构推理[J].云南大学学报(自然科学版).25(1):17-21
金凤莲,单丹丹.2006.地理信息系统在满洲里市土地规划中的应用[J].科技与经济.(7):19-20
李生琦,徐福缘,徐莹.2004.一种结构化数据和半结构化数据的统一集成模型[J].计算机工程与应用.15:34-36,100
李新燕.2007.基于关系的XML数据存储技术[J].福建电脑.8:47-49
李钊,曹亮,唐春华,王茜.2001.一个XML的数据模型及其存储策略[J].计算机应用研究.11:134-136
刘芳,胡和平.2000.半结构化数据的模式发现[J].微型电脑应用.16(2):13-15
刘林霞,张自强,何安平.2009.基于模型检测的半结构化数据查询[J].计算机与数字工程.8(37):75-79
刘先锋,曾舸.2007.基于半结构化数据的关联规则挖掘模式[J].计算机工程与应用.43(19):171-173
刘先锋,李钒.2007.基于半结构化数据模型的频繁模式挖掘研究[J].计算机工程与应用.43(36):173-176
吕橙,魏楚元,张瀚韬.2006.基于OEM模型的半结构化数据的模式发现[J].计算机工程与应用.34:162-165,181
马玉春,孙冰.2005.半结构化信息抽取在股票交易中的应用研究[J].情报科学.23(9):1376-1380
蒙德龙,叶飞跃,李旭华.2006.半结构化数据的模式抽取[J].计算机工程与应用.27:162-165
聂培尧,李战怀.2002.一种基于XML的半结构数据模型[J].计算机应用研究.12:135-138,143
聂培尧,李战怀,胡正国.2003.一种基于XML的半结构数据的ORDB存储方法[J].计算机工程与应用.14:190-193,199
聂培尧,李战怀,胡正国.2003.基于OEM的XML半结构数据的模式描述方法[J].计算机工程与设计.24(1):9-12,29
潘洁珠.2003.半结构化数据及其数据模型[J].安徽教育学院学报.21(6):32-33
潘顺,金远平.2002.半结构化数据到结构化数据的模式抽取[J].计算机工程.28(5):57-58,280
沈兵明,王渊,曾志强.2007.基于ArcGIS的城市规划与土地利用总体规划协调——以浙江省龙泉市金沙新区为例[J].经济地理.27(1):93-98
沈晓娟,刘渊.2004. WEB半结构化数据查询[J].计算机工程与设计.25(7):1178-1181
师营霖,牛振东,宋精涛.2006.一种基于RDF的半结构化数据查询语言Rquery[J].计算机工程.32(5):13-14,25
陶春,汪卫,施伯乐.2004.半结构化查询重写的MiniCon算法[J].软件学报.15(11):1641-1647
万谦,陆建江,刘忠英,宋自林.2002.半结构化数据查询语言的特性[J].西安电子科技大学学报(自然科学版).29(1):133-137
王斌,张硕新,雷瑞德,刘华.2006.基于ArcGIS Engine的土地变更调查管理系统设计与实现[J].农业工程学报.22(10):109-112
王静,孟小峰.2000.半结构化数据模式及模式抽取研究[J].计算机世界.6(3):53-57
王静,孟小峰.2001.半结构化数据的模式研究综述[J].计算机科学.28(2):6-10
王蒙智,刘宏亮,施伯乐.2001.半结构化数据视图的增量维护.计算机研究与发展.38(2):163-169
吴共庆,陈恩红.2004.一种基于XML的半结构化数据存储方法[J].计算机工程.30(10):57-59
吴永春.2006.XML数据存储方法研究及应用[J].计算机技术与发展.16(2):139-141
肖海,武伟,刘洪斌.2006.基于ArcGIS Engine的农业资源信息管理系统的研究[J].计算机与现代化.(1):76-78
肖威,刘明远,代博兰.2009.半结构化数据模型的主要特征[J].中国水运.9(6):105-107
谢坤武.2009.半结构化数据的结构发现聚类算法[J].湖北民族学院学报(自然科学报).27(3):311-315
徐责红.1999.Web的半结构化数据模型和查询模型[J].内蒙古大学学报(自然科学版).30(3):299-303
徐慧,施化吉,李星毅,鞠时光.2004.一种基于RDBMS的XML数据的存储方法[J].计算机工程与应用.27:160-163
许学标,顾宁,施伯乐.1998.半结构化数据模型及查询语言[J].计算机研究与发展.35(10):896-901
杨骏,李永树,蔡国林.2007.基于对象一关系一属性数据模型的空间半结构化数据存储管理研究[J].计算机应用研究.24(6):55-57
杨平,骆俊.2006.基于ArcGIS Engine的地理信息数据库管理系统设计与实现[J].信息技术.3(14):20-23
叶飞跃,蒙德龙,员红娟.2006.一种用于存储与查询半结构化数据的新方法[J].计算机工程.32(19):91-93
张海军,韩晓勇,边柳.2007.基于ArcGIS Engine的县级土地利用规划管理信息系统设计[J].南阳师范学院学报.6(12):43-46
周超.2006.半结构化XML数据与关系数据之间的转换[J].软件导刊.10:42-43
周炎坤,金洪.2007.构建可动态更新的土地利用现状图库的研究与实践[J].信息技术.(4):26-28
褚东升.2004.基于XML的半结构数据查询语言研究[J].计算机工程与应用.33:179-183
朱华吉.2006.基于OEM的地形数据库增量信息数据建模[J].辽宁工程技术大学学报.25(4):507-510
朱华吉.2007.地形数据库增量信息数据建模及其RDF描述[J].吉林大学学报(地球科学版).37(1):195-199,203
庄毅,徐海力.2004.半结构化数据与关系数据的比较研究[J].计算机与现代化.(6):29-30,37
Abiteboul S.1997.Querying Semi-structured Data[C]. Proc. of ICDT Delphi, Greece Chen M S,Han J H,Yu P S.1996.Data Mining:An Overview from a Database Perspective[J].IEEE Trans.KDS.8(6):866-883
E.Stefankis.2003.Modelling Semi-structured Geographical Data[J].International Journal of Geographical Information Science.17(6):517-546
J.McHugh.1997.Lore: A Database Management System for Semistructured Data[J].SIGMOD Record,26(3): 54-66
Koperski K,Han J.1995.Discovery of Spatial Association Rules in Geographic Information Databases[C]. In Advances in Spatial Databases,Proceedings of 4th Symposium,SSD’95.Springer—verlag,Berlin:47-66
Li Wenwu,Jin Yuanping,Tong Mina.2002. Lossless Mapping from Semi-Structured Data to Structured Data[J]. Journal of Southeast University (English Edition).18(1):46-53
P. Buneman et al.1996.A Query Language and Optimization Techniques for Unstructured Data[C]. In Proc. SIGMOD
S. Abiteboul et al.1997.The Lorel Query Language for Semistructured Data[J].Int. J. on Digital Libraries 1(1): 68-88
Zhou Aoying,Jin Wen,Zhou Shuigeng,Qian Weining,Tian Zenping.2000.Incremental Miningof the Schema of Semistructured Data[J]. J.Comput.Sci.&Techno1.15(3):241-248 http:// www.cs.stanford.edu/
© 2004-2018 中国地质图书馆版权所有 京ICP备05064691号 京公网安备11010802017129号 地址：北京市海淀区学院路29号 邮编：100083 电话：办公室：(+86 10)66554848；文献借阅、咨询服务、科技查新：66554700 |