数据处理与数学建模方法范例(12篇)
数据处理与数学建模方法范文篇1
关键词：大数据；教学研究方法；模型
中图分类号：G640文献标识码：A文章编号：1002-4107（2017）08-0043-03
目前，国内外对于教育教学大数据的价值都有充分的认识。国外，特别是美国在政府层面，以及高校、企业、教育者和教育教学研究者对大数据的利用都有着比较多的实践，产生出较多的已经投入使用的应用系统。而国内的教育教学研究者多停留在理论研究的层面，而实用系统，多为企业行为，如一些网站，也仅仅在局部应用上提供一些基于大数据分析的个性化服务。国内高校大数据视角下的教学研究主要是对MOOC/SPOC平台上产生数据的分析，主要关注对于在线课程的教学实施提供帮助。利用教育教学大数据进行教师教学和学生学习两个方面的线上线下、全过程、全方位的支持和服务的研究，还正在起步阶段。
国内外对于大数据视角下教学研究方法的讨论较少，特别是新视角下教学研究的一般过程、规律和方法的涉及较少。长期以来，教学方法的研究得到教育教学工作者的普遍关注，产生了大量的教学法和教育教学技术，也形成了专门的学科――教育技术。但是对于教学研究方法论的关注不够，多数教学研究还只是停留在经验总结和实验实证研究层面。随着大数据时代的计算机互联网技术、数据采集及处理技术、分析方法的发展和进步，教学模式的变革、大数据视角下的教学研究的方法论研究越来越得到关注。笔者试图将视角放在大数据之下，探索这一新视角下的教学研究的新方法、新范式，发现教学研究的一般性过程和规律，建立教学研究方法模型，用于指导教学研究，从而最终在教学中发挥科学方法和技术手段的优势。
一、国内外对于教育教学大数据的应用综述
（一）国外利用大数据进行学习过程和行为分析，学习评价、学习干预、学习引导和学习成绩预测，设计学习自适应系统
国外的学者已经通过对学生的在线课程资料阅读、作业提交、学生之间的沟通交流、考试测验成绩等过程进行数据采集和分析，对学生的不良学习成绩表现给予干预性指导，从而有效、高效地改善学生的出勤率、辍学率等，提高学习成绩，改进教学。如，美国Harford和MIT对EDX平台上产生的大数据进行分析，研究世界各国学习者的行为模式，增加了行为评价和学习诱导的成分，以便打造更好的在线平台；美国DreamBoxLearning公司和Knewton公司，已经成功设计了利用大数据的自适应学习系统，旨在为学生提供个性化学习服务；美国McGraw-Hill公司、英国的Pearson集团共同开发的“课程精灵”系统，能够跟踪学生的学业进展，并显示学生的学习参与度和学习成绩等大量的数据信息；加拿大的Desire2Learn公司面向高等教育领域的学生推出“学生成功系统”，系统地分析每个学生的在线学习数据，从而及时诊断学习问题，提出改进建议，并预测学生的期末考试成绩；等等[1]。
美国教育部在《通过教育数据挖掘和学习分析促进教与学》的简报中指出，大数据在教育领域的应用主要体现在两个方面：学习分析（LA，LearningAnalytics，以下简称LA）和教育数据挖掘（EDM，EducationalDataMining，以下简称EDM）。EDM的目的是研究和利用统计学、机器学习和数据挖掘方法来分析教和学的过程中产生的数据；LA的目的是理解和优化学习以及学习情境，其中一个重要应用是监测和预测学生的学习成绩，及时发现潜在的问题，并据此做出干预以预防学生在某一科目或课程学习中产生风险。国外学者对于大数据在教育领域的研究几乎侧重于这两个方面的研究[2]。应用LA和EDM数据分析结果，教师可以更好地了解学生、理解和观测学生的学习过程、发现最合适的教学方法和顺序，及时发现问题并进行干预，以提供个性化的学习服务[3]。
（二）国内集中在在线教育网站或所有引擎网站为学习者或用户提供个性化W习指导和个性化需求服务方面
相比而言，国内的研究者针对大数据在教育领域中的应用研究相对少些。少数学者从理论层面进行了大数据学习分析在考试评价、促进高校教师专业发展等方面的研究。部分从事在线教育的网站利用大数据，跟踪学生的学习轨迹，为学习者提供个性化学习方案、个性化考试指导，报告学习问题、学习能力的增长、学习状况的预警等。一些搜索引擎网站利用对搜索数据的分析，利用大数据与自然语言算法将搜索数据与个性化需求相匹配，为用户提供个性化帮助，如高考估分、专业选择和学校报考。一些国内著名高校，如清华大学，它利用在MOOC/SPOC教学中产生的数据，对其进行分析，从而对在线课程内容、顺序、进度进行改进，为学生提供更好的学习体验和服务[4]。
二、教学研究方法模型构建视点和依据
（一）模型构建的视点
1.时代特征在教育教学领域的投影带来教学和教
学研究实践的变革。大数据时代的突出表现之一是对思维方式和工作方式的重大变革，带来了在教育教学研究领域的思维方式和研究方式、方法的变革。大数据时代：（1）研究事物的全面性，即非采样性的全面数据模式；（2）研究事物之间的关联关系而非因果关系；（3）数据的价值在于利用和创新等思维方式和工作方式在教育教学研究领域带来的变革主要体现在：教学研究不再仅仅是经验的总结和体验的提炼，而是在采集到所有教与学数据的前提下，进行数据分析和挖掘，找出学生学习过程、行为、习惯的特征，发现规律和联系，使教学和教学研究趋向量化、科学化和智慧化。
2.在教学和教学研究实践中，关注和重新认知大数据的价值。根据IBM、Gartner等定义的大数据一般具有4V特征，包括数据体量大（Volume）、数据种类繁多（Variety）、实时性强所要求的处理速度快（Velocity）和数据提纯后的价值高（Value）。随着互联网技术、移动技术、传感器技术等的不断发展，MOOC、SPOC、微课等在线课程在教学中发挥着越来越大的作用，在教与学的过程中产生出越来越多的教育教学大数据，这些数据除了量大之外，种类也多，有传统方式产生的传统学习数据，如考勤数据、测验数据、作业数据、考试成绩数据等也有利用网络平台或移动互联技术自动采集的学生学习观看视频、课件等学习资料的时间、时长、频数数据；学生检索和浏览主题或页面的数据；学生交流讨论、分享等日志、Wiki、讨论区记录数据等。而这些数据所具有的潜在的“大价值”正是教育教学工作者在教学研究中建立数据意识的意义。
大数据促进信息化教学变革，产生出新的资源观、教学观和教师发展观。教学资源向学习资源转变，MOOC、SPOC、微课和翻转课堂使教育教学信息化前移，教师信息素养的要求进一步提高，教学研究中科学方法和数据分析技术得到更多的运用。
与“教育教学+大数据”不同，“大数据+教育教学”是从根本上改变传统教学研究观念和模式，并充分认识和利用数据价值服务于教育教学，这正是构建教学研究方法模型的基本视点。
（二）模型构建的理论依据
教学研究通常是以教学问题为研究对象，运用科学的理论和方法，有目的、有意识地对教学领域中的现象进行研究，以探索和认识教学规律，提高教学质量。19世纪末出现了“教学是一种艺术还是一种科学”的争论。前者认为教学是一种教师个性化的、没有“公共方法”的行为；后者认为教学不仅有科学的基础，而且还可以用科学的方法来研究。20世纪上半叶西方出现了教学科学化运动，产生了后来著名的“教学有效性理论”。在教学研究理论的发展过程中，无论是巴班斯基的教学过程最优化理论，还是奥苏贝尔的有意义接受学习理论，都与教学有效性理论有着密切的关系和相关的阐述。教学有效性理论所倡导的教学科学化，教学研究的目的要改进学生的学习方式和方法、促进学生有效学习的观点，正是大数据视角下进行教学研究所秉承的思想方法和目的。
（三）模型构建的应用价值
随着国内外高校基于网络平台和在线课程管理系统开展教学活动越来越普遍，MOOC和SPOC理念下的教学研究和教学实践正在蓬勃开展。在此条件和环境下，教学中产生和采集大数据成为可能，教师充分有效地利用这些数据也成为目前迫切要探索和实践的。利用哪些数据、怎样获取和利用、利用效果评价等问题的解决是大数据视角下教学研究的任务，也是这类教学研究方法论要研究和解决的问题。
三、教学研究方法模型的关键问题
模型本身就是对某个实际问题或客观事物、规律进行抽象的形式化表达。大数据视角下的教学研究方法模型就是用形式化方法，抽象表达大数据观念下的、以教学有效性理论为指导的教学研究方法。故该模型要描述的关键问题包括如下几个方面。
1.面向数据处理及应用问题的研究维度，包括数
据、操作、过程和应用四个维度。
2.面向科学化方法的科学体系问题的研究体系，包括主题、研究方法、研究框架、研究指标和人员结构。
3.面向大数据处理和应用的复杂性问题的研究保
障，包括政策保障、人员保障、技术保障、软/硬件保障和时间保障。
四、大数据视角下的教学研究方法模型
（一）研究维度
多个维度描述教学研究过程中的数据支持。数据维度为数据种类，如使用传统方式收集的传统数据，如学生和教师的基本数据、学生作业测验考试数据、问卷调查数据等；大数据，特指使用网络教学平台或其他交互式交流讨论平台自动采集的数据；元数据，即描述数据的数据，对研究系统中的数据的含义、特征、指标、取值范围、有效性、处理和应用方法等进行描述的数据。操作维度主要描述整个数据处理过程及其各处理阶段的技术和工具，包括数据的采集、集成、清洗、表示和存储，结构化数据、非结构化与半结构化数据的表示和存储，多种采集方式下、不同格式的数据集成，冗余、缺失和噪声数据的处理等；面向主题的数据仓库的设计和实现，数据分析和挖掘结果的利用方式，如学习内容的选取和推送，学习途径的设计、学习模型的建立等。过程维度主要描述大数据视角下的研究过程，可以从个别一般个别的归纳演绎的过程入手。可从具体课程入手，研究其特点、一般过程、规律、环境等，在大数据视角下，研究开展教学研究的方法，找到一般性规律和过程，形成教学研究范式或模型。在将该模型用于教学研究工作中，并将教学研究结果应用于具体课程的教学实践中，评价验证模型。应用维度的应用目的很大程度体现了大数据的应用价值，包括学生学习行为和过程的可视化、学习成绩预测、学习干预和指导、学生学习的个性化服务以及评估等。
（二）研究体系
科学化教学研究体系的要素，包括问题边界明确的研究主题，规范化和系统化的研究方法、自然科学研究模式下的研究框架和研究指标以及人员结构[5]。其中自然科学研究模式主要对各种事实和现象进行观察、分类、归纳、演绎、分析、推理、计算和实验，从而发现规律，并对各种定量规律予以验证和公式化。在人员结构中除了学生和教育工作者外，数据工程师在整个研究体系中也扮演着重要角色。
（三）研究保障
大数据视野下的教学研究因其内容和过程的复杂性，使得研究保障尤为重要。为了保证教学研究的顺利开展，从政策层面到具体的技术层面，以及支撑的软硬件条件和人员配备，都需要有严格的要求。
五、教学研究方法模型的应用评估
（一）模型的应用
在研究保障具备的情况下，选择具体课程或教学活动，确定研究主题，在一定的研究框架下，在研究方法的指导下，选取和应用操作技术和方法，获取各类数据，依照研究过程，获取符合研究指标的研究成果，包括分析数据、模型、模式、报告等。围绕应用目的，依据一定的应用方法在设定的时空下，应用于研究对象，获得用评价。
（二）模型的评估
它可以从两个方面评估模型――定性评估和量化评估。
1.定性评估。在应用评价中，可调查研究者（教育工作者）和研究对象（学生或受教育者）对模型应用的主观感受，来进行质性分析和评估。研究者深入教学活动，而不是人为设定的实验环境，充分地收集资料，对各种教学和学习表现进行整体性的研究，与研究对象进行实际互动，对资料进行归纳分析，通过理解他们的行为，得出模型的有效程度、可信程度、可推广程度等定性结论。
2.量化评估。依据研究指标的量化以及应用评价的量化结果，通过对数据的特征、数据之间的关系、数据的变化趋势等进行分析，从而对模型进行量化评估。
六、结语
把握时代脉搏，建立大数据意识，转变教学研究观念，改革教学研究方法，使教学研究更趋于科学化、规范化和系统化，指导和规范符合时代要求的教学研究，是建立大数据视角下的教学研究方法模型的目的。使用大数据视角下的教学研究方法模型，利用多种数据采集、处理、分析和挖掘技术，开展教学研究工作，为学生提供个性化教学服务、指导和干预学生的学习过程、科学评价学生的学习行为和预测学习成绩，体现建立大数据视角下的教学研究方法模型的价值。模型仅为概念模型，根据具体的问题，还需进一步具体化。
参考文献：
[1]姜强，赵蔚，王朋娇等.基于大数据的个性化自适应在线
学习分析模型及实现[J].中国电化教育，2015，（1）.
[2]祝智庭，沈德梅.基于大数据的教育技术研究新范式
[J].电化教育研究，2013，（10）.
[3]侯冬梅，谷雨，谷新胜.大数据在科技、教育与信息领域
的应用[J].计算机教育，2014，（1）.
[4]金陵.基于大数据的教育技术研究新范式.大数据与信
息化教学变革[J].中国电化教育，2013，（10）.
数据处理与数学建模方法范文篇2
关键词：磁悬浮陀螺全站仪；干扰力矩；随机性漂移；数据处理；Vondrak滤波；均方根；寻北力矩
中图分类号：P22文献标志码：A
0引言
高精度磁悬浮陀螺全站仪是一种将磁悬浮技术成功应用于陀螺全站仪的精密定向测量仪器，它能够精确测定任意测线真北方位角，实现准确贯通和精确定向，通常用于地下工程，如大型隧道、矿山等的贯通测量工作，为地下工程提供精确的方位基准或相关的方位角检核条件［－5］。然而，在实际施工现场，由于受到外界干扰力矩的影响，陀螺在寻北过程中旋转轴产生缓慢的偏北进动，陀螺采样数据往往包含系统性漂移和随机性漂移。系统性漂移可以通过试验标定或建立数学模型消除其影响，而随机性漂移具有弱非线性、非平稳、慢时变的特点，并且外界不确定干扰因素对随机性漂移的影响大小，无法建立其数学模型［6－7］，因此需要对陀螺采样数据进行适当的平滑处理来尽可能消除随机性漂移的影响，进而提高磁悬浮陀螺全站仪观测结果的精度。
对于陀螺随机性漂移的消除，已经有很多学者做了大量研究。李士心等对陀螺数据采用各种小波变换重构信号，进行滤波处理［6－8］；魏国等提出灰色时序建模新方法，并依据所建模型对激光陀螺数据进行alman滤波［9］；张通等采用粒子滤波方法对陀螺随机性漂移消噪［0］。笔者借助在天文数据处理中广泛应用的Vondrak滤波法［－2］对磁悬浮陀螺采样数据进行平滑处理，Vondrak滤波法不要求建立估计量与观测量之间的函数模型，而通过选择不同平滑因子控制数据的平滑程度对采样数据进行平滑处理，从而在最大程度上滤除随机误差或干扰成分，保留数据中的有用信息。
数据处理与数学建模方法范文篇3
关键词：智能电网；电力数据；质量模型；数据质量；自学体系；监测体系
中图分类号：TP181文献标识码：A文章编号：1009-3044（2016）31-0003-03
Abstract：Withtherapiddevelopmentofsmartgridconstruction，resultinginavarietyofcomplexanddiversedatatypesanddataqualityofthestatusquo.Basedonthetraditionaldataqualitymodelanddataqualitymanagementtheory，thispaperintroducestheadvantagesanddisadvantagesofthetraditionaldataqualitysystem.Basedonthemodel，thedataqualitymonitoringmodelbasedonself-learningsystemisputforward，andthemonitoringsystemisbuiltaccordingtothemodel.Thedataqualitymonitoringsystemisintroducedindetail，andtheconstructionstrategyisanalyzed，andtherulesoftheconstructionofthesystemareintroducedindetail.Toprovidetheoreticalsupportfordataqualitymonitoringmodel，andimprovethedataqualitymonitoringsystem，improvedataqualitymonitoringsystem，supporttheenterprisescientificdecision-making，enhancethemanagementlevelofenterpriseinformatizationsupport.
Keywords：SmartGrid；ElectricPowerData；Qualitymodel；Dataquality；SelfLearningSystem；Monitoringsystem
S着高新技术产业的不断更迭，国内各个行业都建立了信息采集系统，搜集海量数据。国网通过实施“SG186”、“SG-ERP”工程，已经初步建成并投入运行了国内领先、国际一流的信息化平台和覆盖主要生产、经营、管理业务领域的信息化应用，电网业务数据从总量和种类上都已初具规模[1]。随着智能电网建设加快推进，电网业务数据将从时效性层面进一步丰富和拓展，这对企业信息化建设提出了新的挑战。同时，“三集五大”构建了纵向贯通、横向集成的一体化平台，产生了大量多样化的数据，企业开始逐渐进入数据驱动业务的时代。
推进信息化支撑企业管理水平的全面提升。在公司一体化信息平台及业务数据的基础上，分析、监测各项核心业务的整体运营状况，及时发现并预警各类异动，支撑企业科学决策。数据共享和业务融合、各业务的深化、精益化管理应用、企业运营监测均离不开高质量的数据，更好地提升数据质量，发挥和利用好数据的价值，迫切需要提高数据质量模型的合理性和科学性，提高建立数据质量模型工作的效率，促进数据治理、建立健全技术支撑体系和管理支撑体系工作，辅助企业掌握生产经营全局，进行科学决策，更深入、具体地完成企业部署的各项管理要求。
建立数据质量模型是为了对数据质量进行量化评价并以支撑数据质量提升工作，评价一般指用户数据客观倾向较强的指标。例如，通过规范质量的分别规则来查找和评价质量，通过统计分析、模式分析和匹配分析等方法来测度和监测数据质量，通过数据分析来发现质量[2]。
1数据及数据质量现状
电力业务管理频度低，业务管理数据多以报表式月度数据为主，没有实现按天（或更高频度）对业务进展和状态的管理。其次，业务过程数据录入维护不及时，数据生成时间滞后于业务过程。如人员进入退出信息不及时，业务拓展流程存在部分工程在整体完工后，才统一输入各环节业务信息，无法真实反应业务扩展流程实际执行过程；一是部分数据在多个系统重复维护，导致数据多源。加上业务管理重叠造成数据在不同业务系统中重复。二是由于数据多源及管理要求不同，导致同一指标数据口径不一致。
数据质量管理是数据管理的重中之重，是发挥数据价值[4]，发展高阶应用的基础。数据质量模型的建立、数据质量规则的识别是数据质量模型管理的核心支撑[3]。
2自学体系和传统数据质量监测系统间联系
基于自学体系的数据质量评价系统需基于海量历史数据，自动分析挖掘数据质量因素，为用户推荐相应质量评价模型，而基于海量历史数据的分析，单靠线下人工是很难完成的，而质量模型建立后，依托此模型构建的监测系统，需对数据进行分门别类，应用质量评价模型，实现数据质量实时评价，通过预警、核查、整改等一系列手段完成数据修正，提升数据质量。
2.1传统数据质量监测系统存在问题
传统数据质量监测系统对数据质量的评价采用的是全局采集方式，即针对全集数据（如所有设备的基本型数据），选择传统评价方法得到评价结论[2]。虽然传统方式易于理解、方法种类多样，也相对较成熟，但是，传统评价理论存在很大局限性，具体存在两方面问题：
1）对数据全集的直观评价结果是不可能表述客户的要求。事实上，客户得到的数据是通过信息采集系统加工处理之后的有关全集数据的一幅或多幅视图，经过仅仅是所有数据中的一个组成部分。客户对于数据的质量、需求和评价必然由这些数据来反映，而不是整体数据。经过分析过滤后，数据的质量与原始数据的质量相比可能不会呈线性关系，它忽略了数据分析过滤过程中带来的影响。事实上，部分查询结果集的数据质量与原数据集质量二者间有较大的差异。
2）面对当前国网数据量不断快速增长，企业对各项业务融合、深化应用、运营监测及分析预警和决策支撑应用要求不断提高，而数据整体质量有待进一步加强，数据质量相关的业务规则常态化变动的形势，提升数据质量，加强管控必须依托信息化手段，通过建立模型、配置管理业务规则，分析模型和规则运行效果数据，进而不断优化模型和规则，形成适用的模型和规则库，尽可能减少人工重复劳动和干预，分析影响数据质量的关键因素，真正有效促进数据质量提升。
2.2自学体系的数据质量监测系统构建策略
基于数据中心和运监中心的海量历史数据，分析挖掘数据[5]质量评价关键点，使用自我演M、自我完善的思想，识别各数据对象初始化质量规则，并依据不断增长的新数据情况，及时动态调整质量规则，形成基于自学体系的数据质量模型，形成可量化的数据质量评价方法，支撑数据质量评价工作。
使用自学体系的数据质量模型为基础设计监测系统，动态监测业务数据质量，对不符合数据质量规则的数据进行告警，并支撑数据问题处理流程跟踪[6]。
2.3自学体系中建立的规则
基于自学体系的数据质量监测模型建立系统包括以下自学规则：
1）基于数据关联度的自学规则，通过数据关联关系规则、数据关联符合度等彼此间关联关系进行学习。
2）基于历史数据的自学规则，根据历史数据分析结果，历史数据选取规则以及历史数据维护规则等进行学习，建立数据质量（评价）模型，包含了历史数据分析设置、历史数据选取、历史数据类型的分析设置等功能。
3）基于数据校检规则的自学规则，依据模型中指标标准、计算方法、冗余性校检规则和偏差分析规则维护等数据校检规则进行学习，建立数据模型，包含了数据集整体的完整性校验规则维护、冗余校检规则维护、一致性校验维护、取值标准分析规则维护和偏差分析规则维护等。
4）数据异动监测与预警，基于数据质量监测系统设计，实时监测数据，当数据出现异动情况时，能够预警告警，并给出相应的处理建议，存储到不同地方。构建模型包含了实时监测数据设置、数据异动处理建议设置和异动处理建议内容查询等。
3自学体系的数据质量监测模型总体设计
建立数据质量模型是为了对数据质量进行量化评价并以支撑数据质量提升工作，通过定义质量判别规则来发现和评价质量，通过统计分析、模式分析和匹配分析等方法来测度和评价数据质量。模型主要是应用架构层、技术架构层和安全架构层三个层面构成。
总体架构设计如下图：
3.1应用架构层
模型中应用架构方面设计主要考虑到用户体验层、展示层、应用层、服务层、数据层以及外部系统。其中应用层是基于自学体系建立的规则，包含数据异动监测预警、数据关联度的自学规则、和数据质量模型自学规则等。服务层和数据层包含了数据报表分析设计、历史数据学习数据和数据质量自动建立数据等如图2应用架构设计。
3.2技术架构层
模型中技术架构层面设计包含了数据源层、服务层、接口层和应用层面。一方面提供模型的实现界面并提供接口和组件，从历史数据学习中进行模型管理。另一方面处理并展现数据集如图3技术架构设计。
1）应用层
应用层，即界面控制层，一方面是向最终用户提供使用界面，负责数据的展现，同时接受用户输入数据，并对输入的数据进行校验，另一方面负责封装界面层输入的数据，页面跳转控制，对异常进行处理。
2）接口层
接口层提供业务逻辑的Java编程接口、R语言编程或PLSQLJDBC/ODBC驱动接口，实现业务逻辑，对事务进行控制，对外提供Web服务或调用外部系统提供的Web服务等。
3）服务层
服务层，即应用支撑层，由自定义开发的基础服务组件，或开发平台和第三方产品提供的各类基础组件组成。
4）数据源层
数据源层，主要包括接口信息和运行数据、系统接入数据、监控和消息数据、数据中心和日志数据等。实现数据的抽取、存储，计算，分析模型建立，数据质量的检查，数据价值评估、查询及分析统计，可视化展示信息的存储等功能。
3.3安全架构层
模型的构建中完善了信息安全防御体系和信息安全治理体系。信息安全是保证基于自学体系的数据质量监测系统安全稳定运行的关键，总体安全防护方案包括数据安全、网络安全、物理安全和安全管理等。
4研究成果
根据自学体系中建立的规则，通过数据质量分析和数据质量评估，对选取的数据建立基于自学体系的数据质量监测模型的监测系统，解决了数据多义性和冗余性等有关问题，研究电力数据质量监测管理，进而提高了电力数据的数据质量水平[7][8]，形成以下研究成果：
1）建立数据关联度的自学规则、历史数据的自学规则和数据校检规则等，为构建模型提供了理论和思想基础。
2）通过应用架构层、技术架构层和安全架构层三个层面，分层面进行自学体系的数据质量监测系统设计提供理论基础。
3）分析了自学体系的数据质量监测模型，设计的数据质量监测系统是参照传统数据质量模型设计的，它具备数质量模型优点，同样也解决其部分不足，为数据质量监测和合理利用提供支撑。
5结语
基于自学体系的数据质量监测模型采取对用户获得的数据视图逐一（或部分）进行监测，从而得到监测结果。通过自学体系的数据质量监测模型建立系统[9]，不仅可以使工作量将大大减少，支撑数据质量评价模型建立和数据质量实时监测，通过预警、核查、整改等一系列手段完成数据修正，提升数据质量。同时也能提高数据质量模型的合理性和科学性。
参考文献：
[1]刘周斌，谭潇.大数据应用创新团队建设的研究与实践[J].管理观察，2015（1）：163-165.
[2]陈卫东.数据质量模型及关系代数运算下质量传递理论与方法研究[D].长沙：国防科技大学，2007.
[3]MadnickSE，WangRW，LeeYW，etal.OverviewandFrameworkforDataandInformationQualityResearch[J].ACMJournalofDataandInformationQuality，2009，1（1）：1-22.
[4]袁满，张雪.一种基于规则的数据质量评价模型[J].计算机技术与发展，2013，23（3）：81-89.
[5]刘军，吕俊峰.大数据时代及数据挖掘的应用[N].国家电网报，2012-05-15（10）.
[6]TodoranI，LecornuL，KhenchafA，etal.AMethodologytoEvaluateImportantDimensionsofInformationQualityinSystems[J].ACMJournalofDataandInformationQuality，2015，6（2-3）：1-22.
[7]陈建长.电力企业统计内容、范围应拓展[J].中国统计，2007（05）.
数据处理与数学建模方法范文篇4
摘要:
医疗信息的复杂性和动态性给医疗信息系统带来巨大的挑战，openEHR规范的两层建模思想提高医疗信息系统的灵活性，适应医疗信息需求的变化。但面临查询数据量巨大、查询条件复杂多变的个性化操作需求时，基于openEHR两层建模方法实现医疗信息系统查询性能较低，这主要与底层数据存储模型有关。数据仓库多维数据模型具有高性能查询的优点，通过建立满足个性化需求的数据集市，可以加快数据查询速度。由于基于openEHR规范两层建模方法实现的医疗信息系统的特殊性，传统的数据仓库构建方法使得用户的参与性较低并且费时费力。针对这一问题，以openEHR规范的两层建模思想为基础，提出模板到动态数据仓库多维数据模型的映射方法，实现多维数据模型的用户可配置，利用映射路径加快ETL的实施，为医疗行业提供一种可操控、可扩展并真实反映用户需求的数据仓库构建方法。对该方法进行性能上的验证，结果表明，在10861522条数据中查询329条数据时，基于该方法构建的数据集市是基于openEHR两层建模方法生成的数据库的5.6倍，是基于传统方法构建的数据集市的0.97倍。
关键词:
openEHR;模板;数据仓库;多维数据模型
医疗领域的医学知识和医疗业务需求复杂多变，采取传统的医疗信息系统开发方法，工程技术人员不仅要在医疗信息系统开发之时即与医疗领域专家反复讨论确认，而且在系统的使用过程中还要不断对系统进行维护和更新，这使得医疗信息系统很难及时响应医疗人员对医疗信息的需求。openEHR规范作为一套开放的EHR(electronichealthrecord)体系结构，其核心在于将医疗领域知识从具体的临床信息中分离出来，并建立两层模型———参考模型和原型模型［1－2］。按照openEHR规范的设计，系统底层结构的开发主要基于参考模型，而系统中所涉及的领域概念全部由原型定义，这就有效降低了系统底层结构对领域知识的依赖性，从而使系统对领域知识变化的适应能力大大增强。领域知识层由原型和模板组成，允许领域专家直接定义，从而“把临床医生放回了驾驶员的座位上”［3］。
目前，国际上开展了很多基于openEHR规范的医疗信息系统的研究［4－5］，对openEHR两层建模思想进行了验证。在基于openEHR规范构建的医疗信息系统数据持久化层方面，国内外已研究出基于openEHR两层模型方法建立的医疗数据存储平台。该平台通过读取由领域专家定义的openEHR领域模型来满足相应的数据存储需求，实现医疗数据存储结构的高度可适应性和可扩展性。其中，开源的基于openEHR体系结构的Opereffa原型系统底层使用关系数据库存储医疗数据［6］，瑞典林雪平大学的SergioMirandaFreire等实现了使用XML数据库存储基于openEHR规范的医疗数据文档［7］，日本会津大学的AasthaMadaan等实现了由原型驱动的基于NoSQL数据库的医疗数据存储平台［8］。除此之外，浙江大学的王利等为了管理复杂和不断发展的医疗信息，利用openEHR两层模型和原型驱动方法的高度可适应性和可扩展性，设计并实现了一个由原型驱动的基于关系型数据库的医疗数据存储平台，由原型映射到关系型数据库表来实现灵活的数据存储。在ARM的基础上，该研究将AQL扩展为具有完整数据操作功能的数据操作语言，并在数据存储平台上进行了技术实现，从而使该数据存储平台通过一组网络服务对外提供灵活的数据访问［9］。基于openEHR两层建模实现的医疗信息系统提高了系统的灵活性，适应了医疗信息的变化和更新，但面临数据查询量巨大、查询条件复杂多变的个性化操作需求(报表、集成视图等)时，基于openEHR两层建模实现的医疗信息系统查询性能较低。这主要与底层数据存储模型有关，数据仓库多维数据模型拥有高性能查询的优点，通过改变基于openEHR两层建模实现的医疗信息系统底层数据存储结构，可以解决个性化操作需求中存在的性能问题。对于此类问题，目前采用数据驱动和应用驱动相结合的数据仓库开发方法，即根据数据源和具体的需求来设计多维数据模型，再进行相应的ETL设计实现，建立数据仓库［10］。由于基于openEHR规范两层建模方法实现的医疗系统的特殊性，系统持久化层会伴随领域知识的改变而发生变化，相应的数据仓库多维数据模型以及ETL设计都需随之发生改变;采用传统的数据仓库构建方法，在数据仓库的开发与维护过程中，技术开发人员需要不断地与用户进行沟通交流来明确用户的需求，费时费力且容易出错，用户的参与性较低，不能很好地适应领域知识的变化。针对这一问题，为了提高数据仓库构建时用户的参与性，加快数据仓库的构建速度，更好地满足用户的个性化需求，本研究以国际标准openEHR为基础，采用两层建模的方法，提高用户的可操控性，利用数据仓库多维数据模型高性能查询的优点，提出模板到动态数据仓库多维数据模型的映射方法。与传统的数据仓库构建方法相比，该方法实现了数据仓库多维数据模型的用户配置，提高了建立数据仓库时用户的参与性;在多维数据模型与数据源之间建立了映射关系，根据自动生成的映射路径可以快速地访问数据源中的数据结构、数据类型等信息，加快了ETL工作的进行，降低了构建数据仓库的周期。
1多维数据模型映射方法
openEHR原型通常是对临床知识完整定义，而在实际的医疗环境中，往往不需要记录如此完整详尽的信息。openEHR模板是根据实际临床需求，对若干原型合理组合并做进一步的语义约束，不会对原型施加任何新的语义。模板与原型的不同之处主要在于:原型通常需要在国家甚至国际层面上进行统一制定，以保证得到的原型具有通用性，可以被广泛共享。而模板的制作通常是相对局部化、本地化的事情，每个软件系统都可以根据自己的本地化需求，定义出一系列特定的模板。研究模板到动态数据仓库数据存储模型映射方法，更能切实地满足医疗工作者的个性化需求［11－12］。基于openEHR原型关系映射方法构建医疗信息系统，在显著提高数据持久化性能的同时，使医疗信息系统能够适应医疗信息需求快速发展变化的形势，促进医疗信息系统的应用［9］。目前，该构建方法被广泛采用，本研究选取基于openEHR原型关系映射方法生成的关系型数据库，作为构建数据仓库的数据源。数据仓库技术采用多维数据模型，多维数据模型把数据看作是多维空间中的点集，把集合的属性分为维和度量两类:维属性用来描述度量属性，是多维空间的维度;度量属性的值用来进行分析处理，是多维空间中的点。根据事实表和维表的关系，又可将常见的模型分为星型模型和雪花模型。两者在数据冗余度和查询性能上有所区别:雪花模型冗余度低，查询性能较低;星型模型虽然冗余度高，但查询性能好。因此，在冗余可以接受的前提下，实际中运用星型模型更多，也更有效率［13－14］。采用基于openEHR的临床医疗数据仓库构建方法，其主要技术路线如图1所示。模板真实反映了基于openEHR规范两层建模方法实现的医疗信息系统底层数据存储结构。该技术路线从模板出发，通过映射模块在模板与多维数据模型之间建立关联，在此基础上进行基于模板的元数据处理和ETL过程，实现数据集市建立。映射模块实现模板到动态数据仓库多维数据模型的映射，具体实现方法为:映射模块对传入的模板进行解析，生成反应模板内部数据结构信息的树形结构，根据原型关系映射规则对树形结构中的可选项进行筛选。用户通过对树形结构中节点的挑选，组合成满足需求的多维数据模型，并自动收集模板到多维数据模型的映射关系以及必要的元数据。ASP．NET是建立、部署以及执行Web应用程序的平台，它为构建新一代动态网站和基于网络的分布式应用提供了有力的支持。ASP．NET下MVC设计模式将程序分成相对独立而又能协同工作的3个部分———模型、视图、控制器，可以清楚地分离用户界面与业务逻辑，能够为系统开发提供基本的分析方法和清晰的设计框架［15］。本研究基于ASP．NET下MVC设计模式开发来实现。
1.1模板解析模板遵循TOM(templateobjectmodel)定义，原型由ADL(archetypedefinitionlanguage)定义。openEHR模板是根据实际需求对若干原型的合理组合，在模板解析中需要访问模板引用的原型。openEHR参考模型和原型定义了大量的类和属性，以及类之间的关系，尤其是参考模型，它不仅定义了openEHR的上层组织结构，而且对openEHR中各类信息的组织结构以及数据类型、数据结构等都进行了详细定义。因此，直接访问完整的参考模型和原型的实施将会是一项非常庞大的工程。目前，国际上已经出现了多个openEHR规范实施项目，其中比较有代表性的是瑞典Linkping大学RongChen等人组织开展的openEHRJAVA开源参考实施项目。该项目已经对RM和AM进行了比较完整的实现，因此，本研究RM和AM的实现直接基于此JAVA参考实施项目。根据实际需要，采用了openEHRJAVA的模块adl-parser和模块xml-serializer。模块adl-parser实现了ADL文件到AOM、AP对象的解析，模块xml-serializer实现了AOM、AP对象到XML文件的序列化。通过以上两个模块，可以将ADL文件转化为既方便计算机处理又具有一定可读性的XML数据文件。JAVA类文件并不能直接在ASP．NET下运行，IKVM．NET是开源的基于．NETCLR的JAVA虚拟机，该项目虽然在安全性上有待改进，但实现了JAVA程序在．NET下的运行。本研究通过引用以上两个模块和IKVM．NET，将ADL文件转化为方便计算机处理并且具有一定可读性的XML数据文件。JSON作为一种轻量级的数据传输格式，可以在多种语言之间进行数据交换。JSON易于阅读和编码，并且是JavaScript规范的子集，能够被支持JavaScript的浏览器所解析;相比XML，它减少了解析时带来的性能和兼容性问题，使其成为了理想的数据交换语言［16］。因此，本研究将JSON作为数据交换语言。在实现中，主要是XML文件到JSON对象的转换，这一过程借助XML2JSON插件完成。
模板解析技术的实现路线如图2所示。将模板转化为JSON对象后，传入后台解析模块，后台解析模块依次调用需要的原型，原型经过一系列的转化后转变为JSON对象，返回后台解析模块，后台解析模块解析模板，并生成一个真实反映模板内部结构的JSON对象，传入前台解析模块，前台解析模块遍历该JSON对象，生成模板对应的树形结构。在本研究中，将基于openEHR原型关系映射方法生成的关系型数据库作为构建数据仓库的数据源。为了真实地反映数据源中的数据结构信息，根据原型关系映射规则，对树形结构中的可选项进行了筛选，原型关系映射规则［9］如下:1)每个原型映射为一个关系数据库表，数据库表名为原型名。2)每个基本类型的原型属性映射为一个关系数据库表字段，字段名为属性名，字段类型为属性数据类型，字段长度为属性数据长度。3)每个集合类型的原型属性映射为一个单独的数据库表，数据库表名为“原型名_集合类型属性名”，包括主键字段，字段名为“原型名_集合类型属性名”;关联到原型对应的数据库表的外键字段，字段名为原型名，字段类型与原型对应的数据库表的主键字段类型相同;集合类型属性对应的字段，字段名为集合类型属性名，字段类型为集合类型属性数据类型，字段长度为集合类型属性数据长度。4)每一个archetypeslot类型的原型属性映射为一个单独的数据库表，数据库表名为“原型名_archetypeslot属性名”，包括主键字段，字段名为“原型名_集合类型属性名”;关联到原型对应的数据库表的外键字段，字段名为原型名，字段类型与原型对应的数据库表主键字段类型相同;archetypeslot类型属性对应的字段，字段名为“archetypeslot类型属性名”，并关联到目标原型对应的数据库表。根据以上规则，树形结构中能够映射到关系型数据库表字段名的节点为可选项，其他节点为不可选项。树形结构各节点name按照是否可选进行了不同的命名方式。不可选项name为对应模板层次结构中节点的属性名，可选项name由对应模板层次结构中节点的属性名、属性数据类型、该属性节点在模板中的完整路径三者拼接而成，以方便信息的传递。
1.2可操控配置个性化需求复杂多变，而模板包含了满足实际应用的信息，用户通过对解析模板生成的树形结构中有价值节点的选择，组合成满足个性化需求的事实表和维表，构建数据集市的多维数据模型。具体实现方法如下:根据数据仓库多维数据模型的相关定义，允许用户在建立数据集市时创建一张事实表和多张维表。在创建表的过程中，表名由用户手动输入，并进行唯一性检验，避免表名重复。用户通过对树形结构中有价值节点的选择，将该选中项的name信息传送到对应表，生成对应表的行信息，用户可以指定已创建表中的某一行为主键或某些行组合成复合主键，并可以对已创建的事实表和维表进行主/外键关联操作，组合成多维数据模型。数据集市是聚焦的、面向特定主题的，它通常致力于单一的某个领域，且为特定用户服务。为了方便对数据集市的使用与管理，在用户建立多维数据模型时，需用户输入数据集市的唯一性命名以及面向对象等元数据信息。
1.3数据库生成该模块的主要功能是根据用户已经建立好的多维数据模型，生成数据库，并收集部分元数据信息。用户输入命名的事实表名和维表名通常不符合实际数据库表名的命名规则，需经过解析转化符合命名标准的表名。解析用户配置生成的事实表和维表的各个行信息，得到该行的属性名、属性数据类型、属性节点的完整路径。解析后的属性名和属性数据类型主要为生成数据库表字段服务，而属性节点的完整路径提供AQL查询，可以查询到生成表字段的对应节点在原型中的信息，并可与通过原型关系映射生成的关系数据库中的表字段关联起来，方便数据的集成处理。解析后的属性名并不能直接作为生成数据库表的字段名，需经过解析和唯一性处理生成对应表的字段名，字段类型为对应属性数据类型。然后，收集主/外键关联信息，生成对应的创建关系型数据库表的SQL语句，在数据库中创建事实表和维表，并记录下生成的数据集市名、数据集市面向对象、表名、表字段、表字段对应的属性节点的完整路径等元数据信息，便于对数据集市的管理。
2结果
为了验证该方法是否可行，笔者针对查询检验信息的相关报表中存在的性能问题，根据模板到动态数据仓库多维数据模型映射方法，构建了满足需求的多维数据模型，通过专业的ETL工具SSIS，对数据进行了集成处理，建立数据集市，希望通过改变底层数据存储结构，提升查询性能，实现数据仓库的快速构建。选取了与检验信息相关的模板中有价值的节点，配置基于openEHR模板的多维数据模型，生成的数据库表结构如图3所示。该模型为包含一张事实表和三张维表的星型模型，涵盖了满足个性化需求的所需数据。其中，事实表FactLaboratoryTest存放了检验结果的相关数据，复合主键为TestReport_ID、ItemOrder。维表DimPatient存放了病人基本信息的相关数据，主键为PatientIdentifier_Identifier;维表DimAdmin_PatientAdmission存放了病人就诊的相关数据，主键为EncounterIdentifier;维表DimInst_LaboratoryTestRequest存放了检验申请的相关数据，主键为RequestorIdentifier。3个维表通过主键与事实表FactLaboratoryTest建立关联。在ETL过程中，基于openEHR原型关系映射生成的关系型数据库为数据源，利用构建多维数据模型时收集的表字段的完整路径与基于openEHR原型关系映射生成的关系型数据库中的表字段进行关联，快速地查找到其在数据源中对应数据的数据结构、数据类型等相关信息，在此基础上进行数据的集成处理。数据抽取频率设定为每天一次，抽取策略采用全量抽取，在ETL引擎中完成数据转换，然后对数据进行装载。
为了检验查询性能是否得到了提升，在基于模板到动态数据仓库多维数据模型映射方法建立的数据集市和基于传统方法建立的数据集市、基于原型关系映射生成的关系型数据库间进行查询性能对比，挑选了三者中的部分数据作为测试数据集，数据包括57465位病人基本信息、1210798条检验申请记录、840746条检验报告记录、10861522条检验结果记录。分别在三者中对某病人的相关信息、26条检验申请记录、24条检验报告记录、329条检验结果记录进行了查询。测试电脑配置CPU为Intel(R)Core(TM)2DuoCPU，内存为4GB，操作系统为Windows7.1Enterprise32位，数据库为SQLServer2012Enterprise32位。在三者中，分别进行了3次查询，所花费的时间以及各自平均查询时间的结果如表1所示。查询结果表明，在基于模板到动态数据仓库多维数据模型映射方法建立的数据集市中，对某病人的检验相关信息进行3次查询所花费的时间均值为274ms。在基于传统方法建立的数据集市中，花费的时间均值为265ms;在基于openEHR原型关系映射生成的关系型数据库中，花费的时间均值为1520ms。在查询性能上，基于模板到动态数据仓库多维数据模型映射方法是基于传统方法建立的数据集市的0.97倍，基本持平。与基于openEHR原型关系映射生成的关系型数据库相比，基于模板到动态数据仓库多维数据模型映射方法构建的数据集市在性能上提升了约5.6倍。总体表明，根据模板到动态数据仓库多维数据模型映射方法，可以配置满足个性化需求的多维数据模型，利用多维数据模型与数据源中数据建立的映射关系，方便了ETL过程的进行，实现了数据集市的快速建立。查询时间对比表明，该方法切实可行，大幅提升了个性化需求的查询性能。
3讨论
在本研究中，基于openEHR规范，提出了模板到动态数据仓库多维数据模型的映射方法。与传统的数据仓库构建方法相比，该方法充分利用了openEHR两层建模思想的模板领域知识驱动、易扩展、反映本地化需求等优点，使用户在无需了解数据源底层数据存储结构的基础上，实现了数据仓库多维数据模型的用户可配置，提高了在数据仓库构建过程中用户的参与性，避免了数据仓库开发前期的需求分析工作，满足了用户的个性化需求。在数据仓库多维数据模型的构建过程中，自动收集了数据源与多维数据模型间的映射关系，利用映射路径，方便ETL过程的处理，提高了数据仓库的构建效率。用户参与数据仓库中多维数据模型的设计有利也有弊。用户临床医疗知识和计算机操作水平的差异，会影响到多维数据模型的质量，并直接关系到数据集市的服务水平。在这一点上，本研究提出的模板到动态数据仓库多维数据模型的映射方法做了妥协。用户需要在技术人员的指导下进行模型的设计，借助专业的ETL工具实现数据集成。提高用户在临床医疗数据仓库系统开发过程中的参与性，让用户成为数据仓库构建的主角，是缩短系统开发周期、满足用户个性化需求的重要手段。但是，让用户独立配置数据仓库还是具有一定的风险，所以领域专家的指导和培训非常重要。通过培训，让用户了解临床医疗数据仓库的相关知识，以及将医疗数据仓库的领域概念与医疗领域知识相结合，对于数据仓库配置过程中以用户为主体具有一定的可操作性。
4结论
数据处理与数学建模方法范文1篇5
Abstract:Discretemathematicsisnotonlycurriculumwithwiderange,butalsoanimportantbasiccourseincomputerscienceandtechnologyprofession,especiallinrecentdecades,duetotherapiddevelopmentandwiderangeofcomputerapplications,alargenumberofmathematicsrelatedtotheactualproblemsoftenneedfirstlyconverttheproblemofdiscretemathematics.Thispaperdiscusseddiscretemathematicsandcomputersciencecoursesandmadeitsownassessmentonrelatedissues.
关键词:离散数学;离散建模;课程改革
Keywords:discretemathematics;dispersionmodeling;curriculumreform
中图分类号:TP3-05文献标识码:A文章编号:1006-4311(2010)10-0204-02
0引言
离散数学课程自上世纪70年代出现以来一直是计算机专业的核心课程之一,离散数学课程的教学目的,不但作为计算机科学与技术及相关专业的理论基础及核心主干课,对后续课程提供必需的理论支持。计算机专业中这样重要的课程竟会出现这样奇怪的现象,不禁使人疑惑:离散数学到底出了什么问题?
更重要的是旨在“通过加强数学推理,组合分析,离散结构,算法构思与设计,构建模型等方面专门与反复的研究、训练及应用,培养提高学生的数学思维能力和对实际问题的求解能力。”
由于数字电子计算机是一个离散结构,它只能处理离散的或离散化了的数量关系,因此,无论计算机科学本身,还是与计算机科学及其应用密切相关的现代科学研究领域,都面临着如何对离散结构建立相应的数学模型;又如何将已用连续数量关系建立起来的数学模型离散化,从而可由计算机加以处理
1课程的目标定位
在长达三十余年的课程发展历史中,离散数学在计算机专业,特别是应用型计算机专业中的目标定位,要改变离散数学目前的局面首先需从明确目标定位做起。
1.1一般认为,应用型本科计算机专业目标定位有掌握离散数学的基本理论与方法,同时培养抽象的离散思维能力与逻辑思维能力。为诸多后续课程提供支持。用于计算机领域的离散建模。大多数人怀疑用于计算机领域的离散建模。作为计算机学科工具,离散建模是离散数学区别高等数学的根本之处,是使离散数学成为计算机专业核心课程的原因之一,也是离散数学与计算机紧密关联之处由此可看,明确这个目标定位是离散数学课程改革的当务之急。
1.2离散数学是计算机科学与技术应用与研究的有力工具计算机专业人员通过离散数学逻辑思维能力与抽象思维能力的培养,在这些能力的作用下使他们的应用、研究能力有所提高。这种说法虽有一定道理,但远不止如此。离散数学成为计算机专业的核心课程,主要原因就是由于它与计算机学科直接的、紧密的关联,特别是它作为研究与应用计算机学科的工具,历史的发展可以证明这一点。
在计算机的发展历史中,离散数学起着至关重要的作用,在计算机产生前,图灵机理论对冯#8226;诺依曼计算机的出现起到了理论先导作用;布尔代数作为工具对数字逻辑电路起到指导作用;自动机理论对编译系统开发的理论意义、谓词逻辑理论对程序正确性的证明以及软件自动化理论的产生都起到了奠基性的作用。此外,应用代数系统所开发的编码理论已广泛应用于数据通讯及计算机中,而应用关系代数对关系数据库的出现与发展起到了至关重要的作用。近年来,离散数学在人工智能、专家系统及信息安全中均起到了直接的、指导性的作用。以上充分证明,离散数学在计算机科学与技术的研究与开发中作为一种强有力的工具,起着重要作用。
1.3离散建模是离散数学应用于计算机学科的有效手段离散数学在计算机科学中占有相当重要的地位。因此我们要较好的把握离散数学学习。离散数学与计算机学科发生关系,主要通过离散建模实现了从离散数学到计算机领域的应用。
首先,对计算机(或客观世界)中的某领域建立起一个抽象的形式化(离散)数学模型,称离散模型,而建立模型过程称离散建模。该领域的研究归结为对离散模型的研究。其次,用离散数学的方法对离散模型求解,由于离散模型具有强大的离散数学理论支撑,因此对它的求解比对领域的求解更为有效。最后,可将离散模型的形式化解语义化为某领域的具体结果。
这样,我们可以将对某领域的研究通过建立离散模型而归结为对离散模型的研究,最后可将其研究数学结果返回为领域中的语义结果从而最终实现问题求解的目的。
有关的研究例子有很多,如在数据库研究中建立的关系代数模型、在编译系统中建立的自动化模型、在数字逻辑电路中建立的布尔代数模型以及在数据通讯中建立的纠错码模型等。
下面以关系代数模型为例说明离散数学对计算机科学技术发展的作用。对数据库领域的研究始于上世纪60年代,最初采用的是图论模型从而形成了当时有名的层次数据库与网状数据库,它们对构作数据静态结构起着重要作用。在数据的动态结构要求与数据操作要求越加重要形势下,IBM公司F.F.Codd于1970年提出了数据库的关系代数模型。该模型用离散数学中的关系表示数据库中数据结构,用代数系统中的代数运算表示数据库中的动态结构与数据操作要求。这个离散模型较为真实地反映了数据库发展的需求,因而成为当时数据库中最为流行的模型,它称为关系模型。
2数学建模与计算机的关系
随着计算机的出现和广泛应用,计算机软硬件技术的迅速发展,数学的应用已从物理领域深入到经济、生态、环境、医学、人口和社会等更为复杂的非物理领域。今天,许多基础学科已从定性描绘走向定量分析,边缘学科不断涌现;数学在金融、经济、工程技术以及自然科学中具有广泛的应用,它的重要性已逐渐成为人们的共识。利用数学方法解决实际问题时,要求从实际错综复杂的关系中找出其内在规律,然后用数字、图表、符号和公式把它表示出来,再经过数学与计算机的处理,得出供人们进行分析、决策、预报或者控制的定量结果。数学建模过程需要经过模型假设、模型建立、模型求解、模型分析与检验、模型应用等几个步骤,在这些步骤中都伴随着计算机的使用。
计算机的产生正是数学建模的产物,20纪40年代,美国为了研究弹道导弹飞行轨迹的问题,迫切需要一种计算工具来代替人工计算,计算机在这样的背景下应运而生。计算机的产生与发展又极大地推动了数学建模活动,计算机高速的运算能力,非常适合数学建模过程中的数值计算;它的大容量贮存能力以及网络通讯功能,使得数学建模过程中资料存贮、检索变得方便有效;它的多媒体化,使得数学建模中一些问题能在计算机上进行更为逼真的模拟实验;它的智能化,能随时提醒、帮助我们进行数学模型求解。此外,如Mathlab、Maple、SAS、SPSS等一批优秀数学软件的出现更使数学建模如虎添翼。再者,数学建模与生活实际密切相关,所采集到的数据量多,而且比较复杂,比如DVD在线租赁,长江水质的评价和预测,银行贷款和分期付款等,往往计算量大,需要借助于计算机才能快捷、简便地完成。数学建模竞赛与以往所说的那种数学竞赛(纯数学竞赛)不同,它要用到计算机,甚至离不开计算机,但却又不是纯粹的计算机竞赛,它涉及到物理、化学、生物、医学、电子、农业、军事、管理等各学科、各领域,但又不受任何一个具体的学科、领域的限制。数学建模过程需要经过模型假设、模型建立、模型求解、模型分析与检验、模型应用等几个步骤,在这些步骤中都伴随着计算机的使用。例如,模型求解时,需要上机计算、编制软件、绘制图形等,数学建模竞赛中打印机随时可能使用,同时,数学建模的学习对计算机能力的培养也起着极大推动作用,如报考计算机方向的研究生时,对数学的要求非常高;在进行计算机科学的研究时,也要求有极强的数学功底才能写出具有相当深度的论文,计算机科学的发展也是建立在数学基础之上的,许多为计算机的发展做出杰出贡献的科学家都出身于数学专业,显而易见,比赛中的一个重要环节是使用计算机来解决问题,这对使用计算机的能力的提高是很明显的。
数学模型是描述实际问题数量规律的、由数学符号组成的、抽象的、简化的数学命题、数字公式、图表或算法。当我们使用数学方法解决实际问题时,首先要把实际事物之间的联系抽象为数学形式,这就是数学建模。在数学教学中,利用数学建模,可提高学生的运算能力、分析推理能力,进而提高解决问题和探究问题的能力。
数学建模的目的是构建数学建模意识,培养学生创造性思维能力,在诸多的思维活动中,创新思维是最高层次的思维活动,是开拓性、创造性人才所必须具备的能力,培养创造性思维能力,主要应培养学生灵活运用基本理论解决实际问题的能力,在数学教学中培养学生的建模意识实质上是培养、发展学生的创造性思维能力,因为建模活动本身就是一项创造性的思维活动,它既具有一定的理论性,又具有较强的实践性,还要求思维的深刻性和灵活性,而且在建模活动过程中,能培养学生独立、自觉地运用所给问题的条件,寻求解决问题的最佳方法和途径,可以培养学生的想象能力、直觉思维、猜测、转换、构造等能力,而这些数学能力正是创造性思维所具有的最基本的特征,在培养创新思维过程中要求必须具有一定的计算机基础,只有具有一定的计算机知识才能更好的处理数据,发现事物之间的内在的联系,才能更好的进行知识的转换,才能更好的构造出最优的模型。总之,具有必备的计算机知识是培养建模意识的关键,是培养数模创新能力的前提。计算机也为数学建模竞赛活动提供了有力的工具。
数据处理与数学建模方法范文
【关键词】无线网络技术建筑物健康监测传感器
引言
建筑物的数量和高度的日益增加，其安全性也日益受到关注。建筑物通常受到地质变化、天气状况、建造技术等因素的影响发生变形，具体形式有整体或部分沉降，轻微振动，楼体倾斜等形变现象。目前发展较成熟的监测技术有液体静力水准测量法、三角高程测量法等，文献对建筑物变形原因、测量方法进行阐述，文献介绍了一种建筑物倾斜变形测量的新方法。无线网络技术可实现建筑物实时监测，对安全预警、健康诊断等工作具有积极意义。
1建筑物安全监测系统
大型建筑物的健康检测，即是通过在建筑物上固定一些测量传感器，如位移、应力、裂缝宽度测量等传感器，来监测建筑物沉降、倾斜变形、偏移等形变量，将采集信号转化成数字信号，通过对信号对处理，来实时评估建筑物安全状况、稳定性、载荷能力等性能，有些监测系统还能实现提前预警。健康评估主要包括机构寿命、强度、经济性等，主要通过检测值与标准值对比。评估安全状态主要通过预测测量值，常见的预测模型有灰色系统模型、回归预测、多项式回归预测、组合模型等，预测效果与预测精度有所不同，各有优点。
建筑物监控的项目主要以下几个方面，主要是物理状态：
（1）建筑物在地质变化、天气变化时，受到挤压和结构的受力状态；
（2）建筑物在灾难如地震、地陷、大风之后，结构和受力的变化及状态；
（3）建筑物在发生形变时间，微小的振动等；
（4）建筑物的生存环境，温度、风速、地质等。
传统的监测不可能监测到这些物理参数，受测量和读数误差约束，灵敏度不高。且人力、物力有限，沉降、倾斜变形等监测工作也是定期安排，无法实现实时监测与动态显示。所以安全监测系统的建立尤为必要。
2系统设计
2.1传感器选择与配置
大型建筑物监测系统及监测的内容以及所对应的传感器、传感器的功能主要有以下几方面：
（1）加速度传感器，主要监测建筑物结构倾斜。建筑物受风力等影响发生一定的倾斜，在倾斜瞬间，建筑物产生一个加速度，加速度传感器记录反应的加速度大小及方向。将记录数据传输到数据处理模块，可得到倾斜程度。
（2）应力传感器，主要监测结构表面所受挤压、拉伸、扭转力或力矩大小。具体的应力传感器有应变仪、测力计等。应变仪记录建筑物应变应力，测力计记录钢筋等结构的拉伸数据。监测应力及拉伸数据通过数据处理，可得建筑物受力状态。
（3）位移传感器，主要监测结构相对位移。建筑物发生的位移主要有沉降、倾斜、表面形变等。沉降是竖直位置变动，倾斜有水平变动分量，位移传感器监测的水平和竖直变动量可确定建筑物在一个平面的位置。采集的数据通过数据处理，可得建筑物的偏移量。
2.2系统总体设计
建筑物监测系统主要包括两个过程，第一是通过各种传感器对数据采集，将采集的物理信号转化成电信号，通过无线网络发射到上一级进行处理；第二是接受和处理监测数据，与监测主机实现通讯。实现这两个过程的系统组成有两部分，一是网络协调器，主要完成组件网络、接收和处理终端节点传输的数据、与主机之间实现相互通讯这三项工作。二是检测终端节点，它主要包括测量传感器和各种处理器，可以实现建筑物形变、位移、倾斜等量的测量，并把采集的数据通过无线网络发射到网络协调器，进一步发送到电脑主机处理与显示。
2.3系统硬件设计
根据系统的总体设计，监测目的等，确定系统硬件的硬件组成。数据采集模块包括各类传感器，具体包括位移传感器三个、应力传感器三个、加速度传感器一个。数据传输模块包括主要是网络终端节点。数据接收和传输模块主要是网络协调器。
系统硬件最核心的部分是处理器。处理器在处理速度和数据处理精度上有区别，处理器实现了与玩味电路的相互联系。在实验室中，搭建的监测系统，短距离的网络传输，考虑性价比和系统实现功能等，选择处理器择，它包含8051内核，前端设有RF无线收发功能，8KBRAM，64KBFLASH，12位ADC，21个通用GPIO，在此基础上配置串行通信接口就可以构成一个Zigbee网络的协调器。在CC2530F64配置各类传感器接口电路、传感器就可以形成一个终端节点。
2.4系统软件设计
系统软件实现的功能及内容也可分为两步。第一是通过CC2530平台，协调器监控程序主要完成通道的扫描、初始化、建立网络、节点加入记检测数据的接收、验证、上传。第二是终端节点的软件程序主要完成接口初始化、申请入网、传感器控制、数据采集等编写。整个软件程序实现网络的建立、数据传输，在各方面协调一致。
3系统模拟与实验
实验室搭建模型模拟建筑物健康检测，检验系统的可行性与实用性。实验主要通过加速度传感器陀螺仪检测加速力，根据之前的监测系统经验，优化各部分结构组成。系统监测原理图如下图所示：
监测系统的监测流程大致包括数据的采集、数据处理与评估预测。在实验室监测健康状况，利用传感器监测位移、应力等物理信号通过传感器外接电路转化成电信号，通过CC2530处理器处理，在串行口转换电路之间通信，在PC机上动态显示。在实验室模拟的小型建筑物上固定陀螺仪，没晃动一次陀螺仪，PC机上的显示界面均会发生变化。显示界面上有指针盘和数据框组成，指针随着陀螺仪的晃动而变化，反应较为灵敏。对应的动态数据在数据框中给出，包括反应力与倾角等。
检测系统的令一个任务是对建筑物的安全进行评估和预测。系统也提供了许多评估的方法，主要包括建筑物应力在结构承受应力范围内、建筑物倾角范围在安全范围内等。通过程序控制这些变量，当这些变量超出范围时，报警系统启动，实现报警。
4总结
本文主要介绍了实验室开发的一种建筑物健康安全监测系统，通过模拟大型建筑物实现数据的采集、处理和健康评估预测。系统利用多种传感器，并基于无线网络技术，实现传感器数据的传输。无线网络技术应用广泛，通过组网、入网申请等环节，实现的网络的开发与利用。整个系统运行稳定，效果较好。
参考文献
[1]郑志勇，张光华.高大型建筑物沉降监测的方法及精度分析[J].地矿测绘，2005，21（3）：20-21.
[2]宋发良.建筑物变形测量方法探讨[J]，中国高新技术企业，2009，3：108-109.
[3]夏阿梅，王全海.建筑物倾斜变形测量的一种新方法[J].山东冶金，2008，5（30）：77-78.
[4]邬晓光，徐组恩.大型桥梁健康监测动态及发展趋势[J].长安大学学报（自然科学版），2003，1（23）：39-42.
[5]吕丽娟，王莹.基于无线网络的振动监测系统的设计与实现[J].青岛远洋船员学院学报，2006（04）：36-39.
作者简介
姜涛（1994-）男，江苏省人。现为徐州工程学院学生。Pro/E高级工程师。大学本科在读。研究方向机械设计制造及其自动化方向。
作者单位
数据处理与数学建模方法范文篇7
（昆明理工大学津桥学院，昆明650106）
（OxbridgeCollege，KunmingUniversityofscienceandTechnology，Kunming650106，China）
摘要：以昆明理工大学津桥学院的虚拟校园建设为例，来说明用Sketchup软件建立三维模型的流程、技术方法。主要对三维模型构建中的数据收集，建筑物的细节建模等所遇到的技术要点进行阐述。通过实践表明该方法在小范围区域应用效果良好，对大范围区域三维建模有参考价值。
Abstract：ThispapertakesthevirtualcampusconstructionofOxbridgeCollege，KunmingUniversityScienceandTechnologyastheexampletoexpoundtheprocessandtechnologymethodsofestablishingthree-dimensionalmodelbasedonSketchup.Thispapermainlydescribesthedatacollection，thedetailsmodelingofthebuildingandotherkeypointsofthetechnologyintheconstructionof3Dmodel.Throughthepractice，theresultofthismethodshowsthattheapplicationeffectofthismethodisgoodinthesmall-scalepositional，andprovidesreferencevaluefor3Dmodelinginlarge-scalepositional.
关键词：数字校园；Sketchup；三维建模
Keywords：digitalcampus；sketchup；3Dmodeling
中图分类号：TP391.9文献标识码：A文章编号：1006-4311（2015）25-0168-02
基金项目：云南省教育厅科学研究基金项目（2013C159），昆明理工大学津桥学院国家大学生创新创业训练计划项目。
作者简介：时盛春（1983-），女，江苏扬州人，昆明理工大学津桥学院，讲师，硕士，主要研究方向为测量数据处理。
0引言
随着“数字地球”的提出，很多高校建立了数字校园，但很多是基于二维的，不能直观表达校园信息[1]，三维的数字校园建模是校园可视化的一个重要方面，通过建立视觉效果逼真的三维虚拟校园，可以将真实的校园景观全方位、立体化地展现在用户面前[2]，用户可通过互联网对学校进行浏览、查询，促进了学校对外的宣传[3]。
GoogleSketchup功能强大且易学，比其他三维建模软件优势明显：效率高、命令少、界面简洁，建模思路简单明了，能快速的建立三维模型，完全避免其他三维建模软件的复杂性[4]。Sketchup自带材质纹理功能，可以实现快速渲染贴图，提高工作效率。本文以昆明理工大学津桥学院为例，使用GoogleSketchup软件，探讨建立三维虚拟校园模型的流程、技术方法。
1校园三维建模的流程
以津桥学院的1：500的CAD地形图作为建模的底图结合专业建模软件Sketchup进行建模，将津桥学院每个独立建筑物分块建模，最后整合成整体的三维模型。然后将已经处理好的津桥学院实际的纹理材质贴入到Sketchup软件中建立好的津桥学院三维建筑模型进行纹理材质贴图。最后将建立好的树木、道路、草坪、路灯等模型，整合到数字校园三维模型中。（图1）
2数据获取与处理
建模过程需要两种数据，一是地理数据，主要为建模区域CAD地形图数据（DWG格式）以及建筑物高度数据；二是建筑物表面、树木、道路等纹理材质数据。
2.1地理数据
本文将1：500地形图作为建模底图，是使用测绘仪器在实地进行测量，接着利用CAD软件进行绘制得到，高度数据也是同样使用测绘仪器利用三角测量得到的。虽然利用测绘仪器进行实地测量会花费很多时间，而且受外界（如天气，地形等）的影响，但是通过此类方法测量得到的数据相对来说是比较精确的。对于阳台、窗户、楼门等长、宽、高等信息则采用钢卷尺量取得到。
2.2纹理数据
纹理数据通过两种方法获取：①通过高清数码相机对建筑物表面拍照获取实际材质纹理，但是在实地拍摄的时候，建筑物前面的绿化会造成很大的干扰，所以在拍摄时候要选择合适的角度，以减轻在后续通过Photoshop处理时候的难度。②Sketchup软件亦有自带材质纹理，建筑物等表面纹理采用相机获取，对于道路、树木、路灯、草坪等采用Sketchup自带纹理材质。
建筑物表面的材质纹理通过相机拍照获取，利用Photoshop对拍摄的照片进行去除杂色，包括去除绿化所影响的部分，然后进行色调的调整，以及后续的旧修补和镜头变形，得到纹理图（透明纹理和无缝纹理）。最后在Sketchup中进行材质优化。
图2是处理材质的流程图。
3三维模型的建立
3.1建筑物几何三维模型建立
按照图1的建模流程建立津桥学院三维模型，首先需要对收集到的1：500津桥学院地形图数据进行处理，删除不需要或无用的图层，如文字标注、高程点、装饰图层等，仅保留建筑物、道路、花坛等有用图层；对于留下的图层进行拓扑处理，检查的面状地物是否闭合，并删除重叠地块；将处理好的地形底图数据（dwg格式）导入Sketchup中。
由于Sketchup软件不支持海量数据显示，在建模过程中模型数据量不能过大，会影响运行的速度，通过分块建模，即将各个建筑物作为一个独立对象进行建模、贴图等，以减少模型的数据量，最后再将各模型与绿化带、操场、空地等整合在一起。
对独立建筑物进行建模之前，在Sketchup中根据CAD地图找到建筑物的位置，然后在Sketchup中建模：根据地形数据找到相应建筑的底层位置——在Sketchup使用推/拉工具建立建筑物主体初步模型——窗户、阳台等建筑物表面模型的建立。建模图形如图5、图6所示。
3.2纹理映射
本实验中纹理材质数据来自高清数码相机拍照获取和Sketchup软件自带纹理材质设计工具。对于高清数据相机拍照获得的数据由于拍照时光线、位置等因素使得纹理数据无法使用，需要在Photoshop中对其进行处理，方可进行纹理贴图。在Sketchup中双击建筑物组件，既可进行贴图操作。对于场景中的树木、路灯、道路等采用Sketchup自带纹理进行纹理映射。建筑物纹理映射效果图如图7。
3.3三维景观整合
将分块建立的每个独立模型以及各个点状的模型（如：数木、路灯等）结合地形底图依次把建筑物摆放在地形图相对应的位置上，实现昆明理工大学津桥学院的三维虚拟校园景观，成果图如图8。
4结论
本文基于Sketchup构建了津桥学院虚拟三维校园模型，介绍了数字校园三维可视化方式的具体实现过程。虚拟三维校园模型可通过其他三维平台（ArcGIS，3DMAX，VRML等）实现资源共享。研究成果可以应用到数字工厂、房地产开发等小范围的三维建模[5]，该技术对数字城市、自然保护区等大范围的三维建模也有重要的参考价值。
参考文献：
[1]吴庆双，王楠.安徽师范大学三维虚拟校园系统建设研究[J].重庆文理学院学报：自然科学版，2012，31（1）：62-67.
[2]郭雨龙，蔡先华.基于GoogleSketchup的三维虚拟校园的建立[C].第十三届华东六省一市测绘学会学术交流会论文集，2011，06.
[3]兰玉芳，付金霞，徐霞，马文勇.基于Sketchup与Arcgis的校园3DGIS的设计与实现[J].遥感技术与应用2013，28（2）：346-352.
数据处理与数学建模方法范文篇8
关键词:空间决策支持系统;城市规划;地理信息系统;模型库.
随着城市规模的扩大和设施的现代化,城市规划已经受到人们的重视,如何规划好一个城市直接关系到整个城市的总体发展.城市规划历来是以地理空间信息作为其设计与管理的基础.GIS技术的应用不仅仅是辅助绘制规划图纸,而是已经直接用于编制规划方案、城市规划管理与决策的过程中.在城市建设中,很多发达国家的政府管理部门已较普遍地将GIS和计算机及其网络等先进技术手段应用在城市规划与管理方面,使电子地图和城市基础信息(图形/属性)及城市规划数据取代了传统的图纸、文档和手工作业方式,在局域网或者Internet/Intranet网络上可以完成对城市基础信息的检索、查询和空间分析.国内有很多地区及大、中、小城市也将目光瞄准采用现代GIS技术和计算机网络技术来建设城市规划管理信息系统,并建立起完备的系统软件和城市规划地理信息数据库(刘纪平等,2005).
1城市规划管理信息系统的发展研究
大多数GIS软件在国内城市规划管理应用中都是基于关系型数据库的网络版系统,论文具有较强大的功能,主要有下面几个特点.
1.1GIS与OA紧密结合
根据城市规划管理工作的特点,建立以工作流办公自动化技术为主线,以GIS技术为核心的集成系统来实现整个城市规划管理工作的自动化是目前比较理想的方法,并且也得到比较成熟广泛的应用.工作流办公自动化作为贯穿规划管理审批工作始终的骨架,主要处理有关审批文档资料和网络数据传输等方面的工作,同时采用GIS作为整个系统的技术核心,处理大量繁杂的城市规划空间数据.与传统的办公系统或者文档管理系统的实现方法不同,城市规划管理所需的所有数据(图形的和非图形的)以及所有操作(文字性的和非文字性的,内业的和外业的)应该完全地融于一个自动化的工作流程之中,通过工作流引擎以统一的界面将不同的工作内容送至每个相关操作人员.整个系统则是以规划管理业务流程为核心,将其所需的业务数据及各类基础图形数据通过工作流引擎贯穿到一个自动化的工作流程中.应用Internet/Intranet和Workflow技术,充分与各种规划管理模式相适应,为规划管理部门提供一个全新概念的集成化的规划管理工作环境(朱光,2002).
1.2城市规划数据一体化管理
城市规划的图形数据/属性数据和各种文档资料(各种报表、批件、表单等)在实质上存在着紧密联系,只有在系统设计时从根本上充分考虑其内部关联并实现一体化管理才能符合城市规划管理的现代化需要,才能保证整个系统的先进、高效和实用.
现在国内外大多数的GIS软件都已经研发出自己的空间数据引擎(spatialdataengine,SDE).毕业论文完全能够在大型关系型数据库中实现图形/属性数据一体化存储.将规划数据的空间信息与属性信息统一管理,充分利用大型关系数据库的优势,拓展数据管理的范围,使系统扩展为不仅能处理结构化数据,而且具有处理非结构化数据的功能,同时还能将这2种管理功能完全地、有机地融为一体的系统.其实质是把各种空间数据的处理方法尽可能地放在数据模型的内部.总之,数据模型应该是面向空间实体的,空间位置只是空间实体众多属性中的一类,为实现真正意义上的图形/属性数据的一体化存储和查询,城市规划的结构化和非结构化数据都应有机地组织在一起并统一存储,即将复杂庞大的规划数据在统一的系统上处理.
1.3面向规划的数据组织与管理
城市规划工作基本上是建立在对地图的处理模式上的.目前城市规划管理信息系统的主要数据源也主要是各种纸质地图及其相应属性数据,通过数字化存入计算机,系统根据数据采集的对象和手段来设计数据组织与处理模式,都是面向地图的(朱光,2002).因此,为了使这些地理空间数据所表达出的地理信息模型能够贴切、等价地反映出地理现实世界,在对规划数据组织和管理上,应该考虑改变以地图为基础的模式,不再将各类空间计算局限在图层范围内进行,而是直接面向客观世界中的空间实体及其相互之间的关系,在人们感兴趣的范围内进行计算.城市规划信息系统建设的核心是数据问题.在数据组织上应该突破原有的实体点线面、图层、地图和图库的结构,直接面向空间区域或空间实体集合,从中处理面向城市规划的信息数据.
1.4采用Client/Server、Browse/Server混合模式结构
在城市规划管理信息系统建设中,采用Internet/Intranet技术意味着规划管理工作不再受空间限制,使城市规划信息社会化服务、远程办公、远程系统维护成为现实.城市规划管理信息系统的“前台办公自动化系统”可以统一用B/S(Browse/Server)结构,用网络浏览器作为普通办公办文界面,办文过程的普通查询和统计工作可以使用Web方式.同时考虑系统的安全性和扩展性,这就需要建立以数据服务器为中心的三层服务体系结构,具体划分为数据服务层、应用逻辑层和表现层,并分别运行于网络的不同计算机硬件设备之上.数据服务层可包括数据库及数据库服务器、空间数据引擎(SDE)等,其功能是存储和提供城市规划的空间数据;应用逻辑层包括应用服务器、各种应用开发组件和网络服务器等,其功能是提供网络和数据处理的应用工具;表现层则是利用应用逻辑层提供的工具开发出的针对用户的各种具体应用界面(扈震和张欣,2002).
B/S(Browse/Server)结构的优点就是利用了Internet网络的强大资源平台,解决规划管理中的远程数据操作的问题,同时系统另外还具有“瘦客户端”的软件特点,为用户尽可能提供简便、丰富、易用的操作界面.但这并不代表C/S(Client/Server)结构模式就可以淘汰了,因为目前GIS的许多数据操作还是要在局域网内完成,如复杂的图形编辑、空间分析等.因此城市规划管理系统的后台数据维护系统将采用C/S结构模式,通过这种模式对海量的地理信息数据提供强大的维护功能,为“前台办公自动化系统”提供丰富有效的数据支持.
2城市规划空间决策平台体系结构
目前大多数城市规划管理系统建设主要完成规划地理信息数据的管理维护以及城市规划办公管理业务的处理.只有少数大、中型城市开始着手研究利用计算机与GIS技术辅助城市规划管理与设计中的决策性业务,并且只在某些局部取得了一定的效果,但这些都还不能完全满足城市规划中的需要.从目前大多数GIS在城市规划行业的应用情况来看,运用最多的还是空间数据获取、存储、查询、显示、制图、制表等工作上,只是通过GIS的空间分析功能对城市信息进行简单的分析得出结果,缺少对复杂空间问题决策的有效支持能力,同时即使通过分析得出的结果也不能很好地同城市规划管理的业务有效结合,很难满足城市规划的各级决策者的需要,难以发挥其辅助决策的作用.因此,建立统一的符合城市规划要求的空间辅助决策支持平台已经成为目前城市规划行业最为紧迫的任务之一(王亮等,2005)
一般来说,空间决策支持系统(spatialdecisionsupportsystem,SDSS)能帮助决策者从错综复杂、扑朔迷离的现象中抓住本质、理清头绪、明确自己的主要任务和目标:自主、灵活地生成各种解决问题的方案,研究和比较它们的利弊与矛盾,进而找出切实可行的解决办法,采取相应的措施与行动(于卓和吴志华,2001).
在城市规划管理业务中,审批的首要依据是对规划设计方案的审核.通过对审批项目的规划设计方案的各项经济技术指标的计算,硕士论文确认是否符合整个城市的总体规划的要求,同时符合我国城市规划法律法规的相关规定,为城市规划管理部门提供科学的决策依据(图1).
在整个体系结构中以城市规划空间地理信息数据为基础(包括现状数据、规划数据、法规数据),以规划设计方案数据(设计数据)为对象,同时建立完备、科学的决策模型库,在进行空间辅助决策业务的工作中,根据工作的需要提取特定决策模型,利用GIS的空间分析、海量数据检索得到决策分析结果,供决策者参考.同时,可以利用三维景观技术真实模拟实际场景,为决策者提供更为逼真的决策效果.
3建立城市规划空间决策应用模型
城市规划空间辅助决策的应用模型由空间数据、属性数据、空间决策知识库、决策模型库、算子、决策结果组成(图2).空间数据是指按矢量或者栅格存储的空间实体的集合,是空间算子的处理对象.属性数据是指规划管理业务涉及的各种文本数据,包括文字、图像、录音和录像等,城市规划决策知识库定义了城市规划相关数据,包括总体规划、控制性规划、道路规划及专题规划等信息以及城市规划法律法规等信息,这些信息是算子工作时的参考依据.决策模型库和决策算子是从决策模型库中运用各种决策模型,从而提炼出来的各种数据操作,包含如空间量算、空间关系和空间分析等功能,另外还包含了数据挖掘、元数据管理、数据统计与分析等.空间决策结果和属性决策结果分别是空间数据库和属性数据库运算得出的计算结果,该结果往往表现为统计数字或逻辑关系.决策知识库定义了和各种专业背景相关的知识、决策结果的表示参数等,以空间结果和非空间结果为基础、结合决策知识库最终生成用户的决策结果.建立完备的城市规划决策模型是实施空间辅助决策工作的核心.在建立模型时,首先充分理解和分析决策模型的知识内容,逐步分解成每一个细致的知识点,然后针对每一个知识点赋予相应的决策算子,最终形成决策模型数据库.在实施空间辅助决策工作中,决策平台提供数据输入、数据处理、提取模型、决策运算、结果表达几个步骤(图3).逐步建立空间辅助决策工作规范化操作流程(雷兵等,2005).
在城市规划管理的业务工作中,规划设计方案的审核是城市规划管理审批中的重要依据,这样就需要利用空间辅助决策平台对大量的规划信息数据进行统计与分析,计算后得出相关结果数据,供规划管理部门决策.
在设计方案的审批决策中,首先定义规划设计方案的图档标准,结合空间辅助决策平台操作流程,在数据输入阶段,决策平台提供自动识别设计方案的所有信息的接口,在数据处理阶段时对设计方案的数据进行整理,对方案中的各个要素进行分类,在决策运算阶段时提取方案指标计算模型,通过模型中的各个决策知识点自动计算方案的各项经济技术指标,如:容积率、绿地率、建筑密度、日照时间等,最后对运算出来的结果与规划的预计指标进行比较,滤出不符合的指标.最后在结果表达阶段,可以将辅助决策结果以多种形式表达出来,一种就是列出符合的指标项和不符合的指标项,使得决策者对设计方案的决策结果能清楚地识别,另外一种表现结果就是采用三维虚拟现实技术,将决策结果形成三维景观,模拟反映设计方案的真实效果,使决策者更能直观地了解设计方案的各项指标,从而准确发现设计方案的问题,及时完善(雷兵等,2005).
4空间辅助决策平台的设计与实现
空间辅助决策平台的应用服务采用B/S结构,系统维护采用C/S结构(图4);通过统一的系统结构设计、数据库结构设计、功能模块设计和组件化开发方法,职称论文实现地理信息系统与决策支持系统的紧密结合及相互灵活调用,构建统一的城市规划空间辅助决策软件平台.
整个空间辅助决策软件平台采用大型关系型商用数据库Oracle9i或者SQLServer2000数据库作为基础数据库,通过GIS的空间数据引擎(SDE)建立城市规划基础地理数据库、规划设计数据库、决策模型库、决策知识库及元数据库.针对庞大的数据库维护在局域网内完成(C/S结构),包括:数据录入与更新、模型库管理、用户管理、权限管理、系统管理等模块.同时利用COM技术建立空间辅助决策平台的组件库接口.其中包括:查询、分析、显示、管理这
4大模块.用户界面采用B/S结构,基于.NET或JSP环境下建立操作简便、直观的软件界面,一种是将决策结果提供给领导决策,这种决策结果通俗易懂,容易理解,另外一种是提供给技术人员复杂的分析结果,这种决策结果全面、复杂,需要技术人员通过整理选择性的提炼,然后再交于领导决策.
5结语
城市规划空间辅助决策软件平台的建立,为城市规划管理中诸多决策任务提供更为科学准确的理论依据,通过建立和完善城市规划通用模型,不仅可以规范空间辅助决策支持系统建设,而且可以推进城市信息共享.目前SDSS技术已经逐渐应用于城市规划行业,但在应用模型的通用性、结果表达等方面还不够成熟和完善.随着GIS技术、建模技术、人工智能、决策支持技术等相关技术的不断发展,城市规划空间辅助决策软件平台应该向着人工智能专家系统的方向发展.
附中文参考文献
扈震,张欣,2002.基于Internet的城市规划管理信息系统应用研究.计算机工程与设计,(23)6:56-58.
雷兵,刘纪平,谭海,等,2005.空间辅助决策支持系统的应用模型及管理研究.测绘科学,(30)2:55-56.
刘纪平,李静华,王亮,等,2005.电子政务空间辅助决策综合数据管理研究与实践.测绘科学,30(1):10-11.
王亮,刘纪平,雷兵,等,2005.基于GIS与DSS技术的空间辅助决策软件平台设计与开发.测绘科学,30(1):19-20.
数据处理与数学建模方法范文篇9
[关键字]激光扫描空间三角网建模点云
[中图分类号]TS951.7+3[文献码]B[文章编号]1000-405X（2013）-3-299-1
三维激光扫描技术能够在短时间内快速获取目标表面精确而密集的点集，是一种高效的数据获取模式，在很多领域都得到了应用[1]。而实际应用中由于处理的需要，例如：可视化、数据简化等，都需要将这些离散点进行三角化构成三角网。目前有多款软件可以进行三角网模型的建立，其中瑞士徕卡三维激光扫描软件Cyclone是最常用的软件之一。但是Cyclone软件的三维建模功能有些不足。有时会出现一个点与多点相连。而且拼接处会出现裂缝和狭长三角形，造成三角网的不连续。所以本文对单景点云数据网模型构建方法进行了研究。找到一种更加完善的三维建模方法，从而改进现在的不足，使拼接处也能够很好的连接，不产生裂缝等问题
1三维激光扫描概述
三维激光扫描测量技术是最近发展迅速的一种新技术，已成为空间数据获取的一种重要技术手段，特别是机载激光扫描系统发展得很快，基于地面的三维激光扫描系统可用于城市三维重建和局部区域空间信息获取，目前正引起广泛的关注，也是三维激光扫描技术发展的一个重要方向。
1.1三维激光扫描仪的基本原理
地面三维激光扫描测量系统对物体进行扫描后采集到的物体表面各部分的空间位置信息是以其自身特定的坐标系统为基准的[2]，我们将这种特殊的坐标系统称为仪器坐标系统，其定义为：坐标原点位于激光束发射处；Z轴位于仪器的竖向扫描面内，向上为正；X轴位于仪器的横向扫描面内与Z轴垂直，且垂直于物体所在方向；Y轴位于仪器的横向扫描面内与X轴垂直，且与X轴、Y轴一起构成右手坐标系，同时Y轴正方向指向物体。
1.2三维激光扫描应用
作为新的高科技产品，三维激光扫描仪已经成功的在文物保护、城市建筑测量、地形测绘、采矿业、变形监测、工厂、大型结构、管道设计、等领域里应用。这种能力是现行的三维建模软件所不可比拟的。
2激光扫描点云数据的预处理
2.1三维激光数据获取
利用三维激光扫描仪获取点云数据[4]，首先进行设站，对于雕像，获取数据时可设三站，正面设一站，然后每隔120°设一站，这样就能够扫描到整个雕像表面，使得数据完整。站点与实际物体的距离要控制在50到100米之间。
然后，进行布设控制点，布设控制点必须遵循一条原则就是控制点所设的位置必须使三维激光扫描仪每两站扫描到的控制点至少要有三个是相同的。扫描后在Cyclone软件下获得的原始点云。
2.2相邻扫描站的拼接
由于一幅扫描点云图无法获取实际物体的全貌，而不同扫描站获得的点云分别采用其各自的局部坐标系。因此需要将它们配准到一个统一坐标系下，来完成图像的拼接。
2.3数据的去噪处理
在数据采集中，为保证精度，采用密集的采样方式[5]，所测量得到的点云数据可达到几十万到几百万个点，甚至更多；另一方面，由于测量采用光学原理，受光照条件、传感器的噪声等的影响，测量数据中会存在着大量无用的数据，即所谓的“噪声”点，这些数据的存在对曲面重构是十分有害的，应将其剔除。
2.4数据的过滤处理
即进行数据的重采样过程。对于高密度“点云”[3]，由于存在大量的冗余数据不仅会使计算量加大，而且还会影响到曲面的光顺性，所以需要按一定要求减少测量点的数量。同样使用Cyclone软件中的过滤功能进行处理。
2.5点云图像的导出
本文是在AUTOCAD下进行VBA开发来实现三角网模型的构建，所以要将Cyclone软件生成的.imp文件导出并转化成.dwg或.dxf格式。
3基于单景点云的空间三角网实现
3.1实现过程
（1）首先，创建窗体，方便选择待构网的图层，以及处理后图层的存储处。将所有图层添加到窗体组合框，同时返回选中的待处理图层名。
（2）将待处理图层中的所有离散点[6]的三维坐标记录到数组ElvPn（）中，以便于以后的使用，并定义初始球面，确定半径以及原点。
（3）求出各点在球面上的投影坐标。存到数组tydset（）中。
（4）构建第一个三角形，选择tydset（）数组中第一个元素作为初始三角形的第一个顶点，然后寻找与第一个点空间距离最近的点作为初始三角形的第二个点，同时记录该点在数组中的下标值
（5）取与第一个点和第二个点形成的角度最大的点作为初始三角形的第三个点，然后将第一个三角形存储到数组tri（）中，形成的三条边存储到zbianset（）数组中。
4结论
本文主要根据获得的三维激光扫描数据，依据数据本身的特点，重点探讨建立空间表面模型的基本方法以及实际应用。主要讨论了三种建模方法：平面不规则三角构网，基于球面投影构网方法以及基于空间三角算法的构网方法。通过研究以上三种构网方法的优势与不足，考虑到单站地面激光扫描点云数据的特点，具体给出了空间三角网生长算法的模型。该算法的构网实现较为简单，但只适合于简单数据的构网，而且形成的三角网局部地区可能会出现三角形的叠加问题，也可能出现狭长三角形，并不能保证所有的三角形都符合Delauanay准则，所以需要对选点的约束条件进一步完善。但这些问题并不影响整体效果，用此法所构成的三角网效果较佳，能够很好的反应实际物体的表面。而且不会产生三角网的断裂，裂缝等现象。
参考文献
[1]郑顺义，苏国中，（等）.三维点集的自动表面重构算法[J].武汉大学学报，2005.
[2]刘鑫，严建华，（等）.基于3D栅格的点云三角网格模型重构研究[N].上海大学学报，2003.
[3]张帆，黄先锋，（等）.基于球面投影的单站地面激光扫描点云构网方法[N].测绘学报，2009.
[4]李清泉，杨必胜，（等）.三维空间数据的实时获取、建模与可视化[M].武汉大学出版社，2003.
数据处理与数学建模方法范文
【关键词】岩土工程勘察；数字化；GIS；数据库
0引言
岩土工程地质勘察是工程设计的先决条件，但传统的岩土工程地质勘察资料一般都局限于二维、静态的表达，这种表达描述场地地质空间构造起伏变化的直观性差，不能充分揭示场地地质空间变化的规律，难以使人们直接、准确、完整的理解和感受场地土的物理力学性质变化情况，也越来越不能满足岩土工程的空间分析要求，因此不能很好的服务于工程设计。如何突破传统岩土工程勘察的技术缺陷，如何利用岩土工程勘察资料来推断场地土的区域分布规律，如何利用岩土工程勘察资料来预测场地土的岩土工程性质，是岩土工程界一个古老而又有新意的问题。岩土工程地质勘察数字化主要解决的是岩土工程勘察中场地方域的数字化、场地物性指标的数字化、场地地层的数字化和岩土工程勘察数据库的设计。本文在分析、总结前人理论的基础上，提出了岩土工程地质勘察数字化的体系和具体的实现方法。
1场地方域的数字化―地理信息系统
地理信息系统（GeographicalInformationSystem，简称GIS）是一门集计算机科学、信息科学、地理学等多门学科为一体的新兴学科，它是在计算机软件和硬件支持下，运用系统工程和信息科学的理论，科学管理和综合分析具有空间内涵的地理数据，以提供对规划、管理、决策和研究所需信息的空间信息系统。一个典型的GIS系统应包括四个基本的组成部分：计算机系统（硬件、软件）、空间数据库系统、应用人员与组织机构和应用模型。
1.1地理信息系统的功能与应用
作为地理信息自动处理和分析系统，地理信息系统的功能与应用贯穿数据采集、分析、决策应用的全部过程，具体可概括为以下几个方面：
（1）数据采集与编辑。即在数据处理系统中将系统外部原始数据传输给系统内部，主要用于获取数据，保证系统数据库中的数据在内容上与空间上的完整性、数据值逻辑一致性等。目前可用于地理信息系统数据采集的方法和技术很多，如跟踪数字化、扫描数字化、遥感等。
（2）数据操作。包括数据的格式化、转换、概化。数据的格式化是指不同数据结构的数据间变换；数据转换包括格式转换（如矢、栅格式的转换）、数据比例尺的变换、投影变换等；数据概化包括数据平滑、特征集结等。
（3）数据的存储与组织。这是一个数据继承的过程，也是建立地理信息系统数据库的关键步骤，涉及到空间数据和属性数据的组织，其关键是如何将二者融合为一体。
（4）查询、检索、统计、计算功能。这是地理信息系统应具备的最基本的分析功能。
（5）空间分析功能。这是地理信息系统的核心功能，也是地理信息系统与其它计算机信息系统的根本区别。地理信息系统的空间分析可分为三个不同的层次。一是空间检索，包括从空间位置检索空间实体及其属性和从属性条件集检索到空间实体。第二是空间拓扑叠加分析，空间拓扑叠加实现了输入特征的属性的合并以及特征属性在空间上的连接。第三是空间模拟分析，包括外部的空间模拟分析（将地理信息系统作为一个通用的空间数据库，而空间模拟分析功能则借助于其它软件）、内部的空间模拟分析（利用地理信息系统软件来提供空间分析模块）和混合型的空间模拟分析（尽可能利用地理信息系统所提供的功能，同时充分发挥地理信息系统使用者的能动性）。
（6）输出功能。以报表、图形、地图等形式显示输出全部或部分数据。
1.2地理信息系统在岩土工程勘察中的应用
岩土工程勘察设计一体化系统与地理信息系统虽属于两个不同研究领域，但岩土的工程力学性质具有地理信息的属性，即二者之间存在着一个重要的相似之处，即它们都蕴含着与空间坐标有关的信息。岩土工程勘察设计一体化侧重于在空间信息基础上进行设计、并对设计结果做出分析、评价和决策。它离不开全面的空间信息的支持。而地理信息系统侧重于对各种空间信息的采集、管理和分析。如将地理信息系统技术，应用于岩土工程勘察设计，利用GIS强大的数据采集、管理能力和空间查询、空间分析能力，对岩土工程勘察、设计、施工中获取的大量的、形式多样的信息进行有效地管理和分析，并为设计方案的生成、分析、评价和决策提供全面的信息支持，将为岩土工程勘察设计走向一体化开辟一条有效途径。
将地理信息技术用于岩土工程勘察设计，与传统的岩土工程勘察设计技术相比，具有以下优势：
（1）地理信息系统强大的数据采集和数据处理能力，使岩土工程勘察数据来源更加广泛，数据采集质量更高、速度更快。
（2）勘察设计数据具有内容上的复杂性和形式上的多样性等特点，传统的勘察设计系统对其处理显得无能为力。能够描述和表达复杂的空间实体且对于图形、图像数据和属性数据高度集成的地理信息系统数据库，为全面管理勘察设计信息提供了可能，从而为建立完善的专业设计模型、分析模型、评价和辅助决策模型提供了全面的信息支持。
（3）GIS空间分析功能，如拓扑叠加、缓冲区分析、数字地形分析等，为建立完善的专业设计、分析、评价、辅助决策模型提供了强有力的分析工具。
（4）GIS强大的可视化操作能力，为岩土工程勘察提供一个可视化操作平台。
2场地地层的数字化―岩土工程建模
所谓模型，就是根据实物、设计图、构想，按比例、生态或主要特征（属性）做成相似的物体或图件，用以显示、展示、揭示一类事物和问题。在岩土工程学科中，岩土工程地质模型，就是依据工程性状，将重要的岩土工程条件，亦可称要素，按实际状态，简明醒目地用图形表示出来，简言之，即工程与地质条件相互依存关系的图示。这种地质与工程结合形式一一模型，能较好地解决了地质与工程的脱节，便于设计人员充分认识与真正应用好岩土工程工作成果，它深化了岩土工程条件的研究，更抓住了影响工程岩土变形或破坏的关键条件，与此同时，还促进地质与工程结合后的岩土变形规律、效应与法则的理性化，在理论与实用的两方面均会得到实质性的进展。
2.1岩土工程地质模型的特点
（1）确定性
岩土工程地质模型的应用特点是针对工程所涉岩土实体，它一般表现为场地
或地基。岩土工程工作者解释研究的对象是确定的岩体，相应的它的地质模型应
具有确定性，不应当只局限在有限个剖面上。
（2）可视性
可以有多种方式对岩土工程地质模型进行可视化表述，常见的有以下5种：
①三维景观方式。它容许人们从不同角度、不同方位、不同距离观看三维工程地质模型的表面。为了增强模型的真实感，还要加上光照、纹理等效果，给人以逼真的感觉。但它还是只能看到模型的表面。
②掀盖层三维景观方式。在三维景观方式的基础上，想象掀开上覆的盖层看到下伏工程地质界面，其实是第一种方式的变形。
③透视三维景观方式。假象穿透地质体的一些部分，看到内部的工程地质界面，这也可以看做是掀盖层三维景观方式的一种变形。
④切面方式。假象切开工程地质模型，看到地质模型内部的水平或垂直切面上的地质构造形态。由于在二维切面上能方便地进行量算、修改等操作，还可以采用平行切出一系列切片的方式来形象地反映工程地质模型的内部结构，因而它是用二维方式来表达三维模型内部结构的一种理想方式，地质工作中常用的剖面图就是这种方式的原形。在三维模型的支持下，用切面方式能产生很好的二维与三维联动效果，即在二维剖面上的修改将影响到三维模型的形态。
⑤投影等值线方式。将工程地质界面的等高线或界面交线垂直地投影到水平面上形成等值线图，地震勘探层位构造图、矿床标高或厚度等值线图等就是投影方式的原形。使用者可以根据工程地质界面的等高线图对工程地质界面的空间形态有着非常好的把握能力，因此，该方法是传统的用二维方式表达三维模型的重要方式之一。
（3）可修改性
要求工程地质模型具有可修改性是基于以下原因。一是由于勘探的实施获取了新的数据资料，需要对己经建立的地质模型进行细化；二是随着研究的深入，岩土工程师对地质模型有了新的认识，需要修改地质模型；三是利用已建立的地质模型指导进一步的勘探工作。可修改性使人们能对地质模型进行修改和处理，使设想中的东西变成虚拟现实。
2.2岩土工程地质建模的实现方法
岩土工程地质建模的方法目前采用的主要有表面模型法，表面模型法（也叫数字表面模型）的历史较早，它的基本内容就是通过精确的表示出工程地质体的外表面来表示均质地质体的建模方法。也是目前广泛使用的建模方法。
表面模型法的数据来源是通过测点获得的一系列离散的测点资料，包括测点的几何特征数据和属性特征数据。然后利用数据解释结果重构地质体界面。可以抽象为把一系列同属性的点按照一定的规则连接起来，构成网状曲面片，进而确定整个地质体的空间属性。有很多方法用来表示表面，常用的方法主要有数学模型法和图示模型法。
（1）图示模型法
常用的图示模型法有边界表示法、规则格网法、等值线法、不规则格网法等。
①边界表示法：通过面、线、点等简单几何元素的属性来表示工程地质体的位置、形状、属性，这种方法用来表示简单物体时十分有效。但对于很不规则的地质实体则很不方便，只有再降低精度要求的情况下，才可以使用。
②规则格网法（Grid）规则网格：通常是正方形，也可以是矩形、三角形等规则网格。规则网格将区域空间切分为规则的格网单元，每个格网单元对应一个数值。数学上可以表示为一个矩阵，在计算机实现中则是一个二维数组。每个格网单元或数组的一个元素，对应一个属性值。
③等值线模型：等值线通常被存成一个有序的坐标点对序列，可以认为是一条带有属性值的简单多边形或多边形弧段。由于等值线模型只表达了区域的部分属性值，往往需要一种插值方法来计算落在等值线外的其它点的属性值，又因为这些点是落在两条等值线包围的区域内，所以，通常只使用外包的两条等值线的属性值进行插值。
④不规则格网法（TIN）：TIN模型根据区域内有限个点将区域划分为相连的三角面网络，区域中任意点落在三角面的顶点、边上或三角形内。如果任意点不在顶点上，则该点的数字属性值通常通过线性插值的方法得到（在边上用边的两个顶点的高程，在三角形内则用三个顶点的高程）。所以TIN是一个三维空间的分段线性模型，在整个区域内连续但不可微。
3岩土工程勘察数据库的建设
岩土工程勘察数据具有多源性和空间性特点，常规关系数据库技术已不能满足人们对这些数据处理的需要，并且岩土工程勘察数据显著的空间特征和复杂的结构属性，使岩土工程勘察成为计算机科学可视化的一个既非常重要又十分复杂的应用领域。如何有效地在数据库系统的基础上利用计算机技术实现岩土工程勘察数据的时空分析、并开展定量结构刻画和空间建模，是摆在当今岩土工程勘察工作者面前的一道难题。值得庆幸的是，随着计算机信息处理技术飞速进步而迅猛发展起来的地理信息系统（GIS）技术，集计算机科学、地理学、地图学、计算机图形学、测绘学、遥感学、环境科学、空间科学、信息科学、管理科学以及数据库技术于一体，以其对空间地理数据强大的储存查询和分析处理功能、鲜明地区别于普通管理信息系统，它将空间数据处理、属性数据处理、空间分析与模型分析等技术与计算机技术紧密结合，展示了极强的空间表现力，它能够对复杂的地球空间数据进行采集、储存、分类、检索查询、刻画表述、分析建模，从而为我们开展相关研究提供了一个不可多得的、多学科集成的基础平台。因此，建立以处理空间数据为特征的岩土工程勘察数据库系统和高效、快捷地岩土工程勘察数据进行采集、储存、分类、检索查询、刻画表述、分析建模等功能的GIS平台是完全可以实现的。
3.1基于GIS的岩土工程勘察数据库的建设
地理信息系统集数据库、制图、空间分析功能为一体，它的出现为地质领域繁杂的数据管理、多源的成果表达形式和空间数据分析提供了快速、方便、准确的手段。建立正确有效的信息数据库无疑是地质数据分析、研究的重要基础，一个高质量的数据库系统将使系统的功能得到最大限度的发挥。
（1）岩土工程勘察数据库的概念模型设计
岩土工程勘察信息处理系统是一个信息处理系统，信息或数据及其作用在信息或数据之上的处理是系统需求分析的主要任务，即要弄清需要有哪些数据，数据之间有何联系，数据本身有何性质，数据的结构和应对数据进行哪些处理，每个处理有什么逻辑功能。因此，为了把用户的数据要求明确地表达出来，首先在较高的抽象层面上，使用一种面向问题的数据模型（概念性数据模型），按照用户的观点来对数据和信息建模。
（2）数据库建立实现
岩土工程一体化系统的数据有三类：用户输入的原始数据、系统生成的中间数据及最终数据。
原始数据由测点数据组成，而测点数据又由测点几何属性数据（位置）和测点信息属性数据（地层厚度、地层顶面标高、含水率、孔隙度、抗压强度等物性参数）。
中间数据包括根据原始数据系统自动生成的地层层面等值线模型、三维表面模型、剖面模型等，根据这些模型可以生成用户需要的各种图件，还可以进行各种信息查询操作。
最终数据种类繁多，主要是根据用户需要由中间数据生成，包括图形资料（如单孔柱状图、连线剖面图等）和文档资料（如地质勘察报告等）。由于岩土工程的复杂关系，对于岩土工程的数据库管理必须严格遵循时间序列，即遵循原始数据―中间数据―最终数据的关系。
3.2基于GIS的岩土工程数据库的主要功能
（1）数据输入
数据输入的时候关键是需要注意数据有效性检验和规范化处理。确保进库数据满足实际需要的精度和误差范围。
（2）数据库检索
某一实体的信息包括空间位置数据和属性数据两部分，相应地，数据库检索就可以依据实体的空间位置检索或依据实体的属性进行检索。空间检索包括“图示点检索”、“图示矩形检索”和“区域检索”，而“条件检索”和“交叉条件检索”则属于属性检索。利用数据库检索这一功能检索和提取数据中的地质信息。
（3）空间分析
空间分析包括以下3个内容：
①叠加分析。包括区对区叠加分析，区对线叠加分析，区对点叠加分析，点对线叠加分析等。
②缓冲区（Buffer）分析。包括点缓冲区分析，线缓冲区分析，区缓冲区分析。
③多层立体叠加。
（4）属性分析
包括为单属性统计分析、单属性累计直方图、单属性累计频率直方图、单属
性分类统计、单属性基本初等函数变换、双属性累计直方图、双属性累计频率直
方图、双属性分类统计、双属性四则运算等。
（5）数据输出
数据库中单表、双表、多表的单项数据、双项数据、多项数据的单向和多向输出和多组合输出。这项功能的完成有赖于上述各项任务的完成程度，其目的是使用数据库中装载的数据来完成某项任务或为某项任务提供数据。
4结论与建议
本文主要论述了基于GIS的岩土工程数字化系统涉及到的相关理论知识，如地理信息系统理论、地质统计学、土性相关距离理论、地质建模技术、岩土工程数据库技术等，在此基础上，对基于GIS的岩土工程数字化系统进行了研究，提出以下建议：
1、在岩土工程建模中没有考虑断层、透镜体等地质现象的影响，岩土工程
地质模型有一定的局限性。为解决此问题，其中重要的环节是获取研究区域关于
这方面的实际资料，通过知识反馈不断来修正工程地质模型。
2、将研究区域当成一个统一体来看待的，没有区分不同地质单元的差别，如河流、湖泊与陆地的差别，这个问题的解决，应当通过划分区块，将不能统一对待的区域从研究区剔除出来。但这样做，会引起另外一个问题，就是研究区域在平面上就不是连续的，在插值计算时会有突变现象发生。对此问题的研究有待加强。
3、在地质物理力学性质指标的统计计算中是将研究区域作为一个区域体来看待的，而实际上往往是一个大区域在物理力学性质指标上可以划分为几个小区域。对此问题的解决首先确定小分区的边界，然后对每个小分区单独进行统计。
作者简介：赵斌，男，1982年生，2006年7月毕业于沈阳农业大学水利学院，毕业后于辽宁省第五地质大队工作，现主要从事岩土勘察工作。
参考文献：
[1]钟登华，刘东海.工程可视化辅导设计理论方法与应用[M].北京：中国水利水电出版社，2004.
[2]包惠明，胡长顺.GIS支持下岩土工程勘察设计一体化[J].水文地质工程地质，2002，2：74-74.
[3]沈芳，黄润秋.地理信息系统与地质环境评价[J].地质灾害与环境保护，2000，27（2）：6-10.
[4]方海东，施斌，王宝军.GIS在环境岩土工程中应用的回顾与展望[J].桂林工学院学报，2001，21（4）：371-375.
[5]肖斌，赵鹏大.地质统计学新进展[J].地球科学进展，2000，15（3）：293-295.
[6]谭晓惠，王建国.土性相关距离计算方法的分析探讨[J].合肥工业大学学报，2004，27（11）：1420-1421.
[7]李永兵，陈旭瑞，胡俊峰.基于GIS的地质数据库系统研究现状和发展趋势[J].地球科学进展，2002，24（3）：122-129.
[8]栾骏，唐新军，严和平.工程地质勘查信息系统的设计与开发[J].新疆农业大学学报，2002，25（1）：56-56.
数据处理与数学建模方法范文篇11
关键词：GIS-T;动态分段;面向对象;数据模型
中图分类号：TN95文献标识码：A
文章编号：1004-373X(2009)03-183-03
Object-orientedSpatio-temporalDataModelBasedonDynamicSegmentationinGIS-T
HUANGShaoluan,XIONGShengwu
(DepartmentofComputerScienceandTechnology,WuhanUniversityofTechnology,Wuhan,430070,China)
Abstract：TheexpressionoftransportnetworkisveryimportantinGIS-T.Notonlythetrafficfacilitiesmanagementandroadtrafficinformationmanagementneedagooddatastructure,moreoverdevelopingtraditionalGISdataconstructionisneededintransportplanningandnetworkplanning.DataisabaseofGIS,anddatamodelisusedtoexpresstherelationbetweenthedataandtheformsoflogicorganizations.Becauseofagreatvarietyoftransportationinformationoftheirowncharacteristics,thedataneedtobeorganizedbyalogicalform.IthasagreatsignificanceofstudyingthedatamodelofGIS-T.Thisarticlediscussesaobject-orientedspatio-temporaldatamodelbasedondynamicsegmentation.
Keywords：GIS-T;dynamicsegmentation;object-oriented;datamodel
动态分段技术只是从数据存储的方面解决时空数据的问题，但是对时空数据的时空关系没有解决。面向对象技术的发展以及在GIS领域的应用，为人们提供了一种更为科学的数据组织方式。面向对象的数据模型更符合客观世界的本质特征，在GIS-T的数据模型研究中，面向对象技术的应用可以很好地解决时空数据的空间关系问题。
1动态分段技术
动态分段是在传统GIS数据模型的基础上利用线性参照系统和相应算法［1］，在需要分析、显示、查询及输出时，在不改变要素位置(坐标)的前提下，建立线性要素上任意路段与多重属性信息之间关联的技术。动态分段实质上是建立在弧段-节点数据结构上的一种抽象方法，通过一定映射关系，将动态段对应回原有的GIS数据库中的一种技术［2］。动态分段大大提高了GIS对线性数据的处理能力，解决了传统GIS中只能处理一个固定属性数据集的问题。
1.1动态分段的优势
(1)任何一个要素的变化不会影响其他要素;
(2)容易添加和删除要素;
(3)应用时只需处理具有特殊意义的要素，减少处理和存储的数据量;
(4)一些实体可以被表述成结点和弧段。
1.2动态分段技术的线性参照系
与传统的平面坐标系统相比较,在GIS-T的应用中,线性参照系具有以下优点:
采用线性参照系使得GIS-T能够采用一个统一界面融合各类不同的交通信息数据,简化系统的查询方式［3］。目前一般认为线性参考系统是交通信息系统中最合适的位置参考系统。
线性地物的各个分段是由动态分段方法实时计算得到的，用户只需要维护属性事件表中的度量值,如道路的起点桩号、终点桩号,而不需要在矢量化时进行手工打断，大大减少了地图数字化的工作量。线性参考系统相对独立地管理图形数据和属性数据，一个线性空间地物可以对应多重属性，线性地物不同类型的属性以及空间分布特征可以独立地维护而不会相互影响［4］。
1.3动态分段技术的算法实现
为了说明问题，以一实例来阐述动态分段技术的算法。
问题：从标识点B至C的路面宽度为30m，B与C的里程值为MPB，MPC。
求解：(XB,YB)，(XC,YC)。
条件：已知控制点A的坐标和里程分别为(XA,YA)，MPA，控制点D的坐标和里程分别为(XD,YD)，MPD，公路上的几何特征点(曲线主点)坐标,如图1所示。
实现过程：
第一步，查询路面宽度为30m、由链组成的公路路段及里程，包括满足条件的路程的起始里程、链标识、终点里程等。
第二步，按里程计算起始点至终点的偏移值，对于图1，即AB/AD，AC/AD。
第三步，根据公路的几何图形和几何特征点的坐标，沿包含起始点和终点的链段累计计算里程，并将计算的里程与链路里程比较，直到计算的比例偏移值大于第二步计算的比例偏移值。或者为提高内插精度，采用距待求点最近的两特征点的坐标内插出该点的坐标值，即根据公路的几何图形和特征点的坐标，沿包含起始点和终点的链段累计计算里程，并将计算里程和链路里程比较，直到计算的里程的偏移值大于第二步中的偏移值，记录该点的坐标。
第四步，确定比例偏移值小于第二步计算的比例偏移值且查询点最近的公路几何特征点的里程，或确定比例偏移值小于第二步计算的比例偏移值且查询点最近的公路几何特征点并刻录该点的坐标。
第五步，按线性内插方法计算B，C两点的坐标。
动态分段是一种新的线性特征的动态分析、显示和绘图技术，极大地提高了GIS-T中线性要素的处理能力，然而，传统动态分段技术在处理具有时态性线性数据时却存在明显的不足。为了体现数据的时空属性，在动态分段的基础上，我们采用面向对象的方式来建立时空数据模型。
2面向对象的时空数据模型
2.1面向对象的优越性
随着面向对象技术的出现，面向对象的数据模型以丰富的语义、描述复杂对象的功能和数据抽象技术等优点受到专家的关注。国内外的众多专家学者如WorBoys［5］、龚健雅\等都曾经或者正利用面向对象的思想进行时空数据模型的研究。面向对象的时空数据模型的优越性主要体现在以下几个方面：
(1)以面向对象分析方法和程序设计方法为基础的面向对象的模型方法，提供了丰富的数据建模机制对象(封装、对象标识)、类型与类、概括(继承)、多态、聚集、传播等，能够很好地模拟和描述地理空间中复杂的时空对象。面向对象数据模型它在复杂结构数据建模、数据和操作重利用方面具有比关系、扩展关系、层次数据和网状模型更大的优点，而时空数据的最大特点莫过于大数据量和复杂的结构。空间数据和无限变化的历史累积数据属海量数据，且空间数据的明显层次结构、有序、不定长、复杂关系、时态数据的时间序列等特点要求数据库系统提供复杂结构或语义建模机制。
(2)面向对象的时空数据模型可以建立自然的、充分表示现实世界地理空间的概念模型。通过多种语义抽象机制，可以采用与人们在科学认识模型中一致的方式表示地理空间，并以此来建立地理空间的数据模型。这种数据模型即可以表达人们对地理现象和地理性质认识的概念体系，按照人们自然思维方式中的分解和抽象机制来表示地理空间的结构和相应的各种复杂对象，又可以支持较完备的空间关系集的表示。
(3)面向对象数据模型提供了概念模型到逻辑数据模型以至物理数据模型一致的表示方法，模型抽象的各个阶段可以自然过渡，不需要人为地模型转换，特别是概念模型和逻辑数据模型之间的界限变得模糊起来。也就是说人们在设计和使用地理信息系统时直接使用提供的数据定义语言。
由于面向对象时空数据模型具有以上的许多优越性，因此使用而向对象技术进行时空数据建模，发展时空对象数据模型将是时空数据建模的重要手段［7］。
2.2面向对象的时空数据模型的概念模型
GIS-T数据中的时空信息可以用描述事件的五元组＜对象、时间、空间、事件、属性>来描述时空模型，该概念模型中信息联系如图2所示。
模型各元组关系描述如图3所示。
这种五元组的描述方式，显式地描述了变化的五个方面，即变化主体、变化时间、变化地点、变化因由和变化的结果(量变)，同时也隐含地表达了地理信息的变化状态质变的情况下，通过记录变化的对象间接记录状态量变的情况，通过记录属性(专题)信息的变化间接记录状态。
该模型中时间从概念上可分为时间点(基于点的时间)和时间段(一个时间间隔)。当描述固定时间发生的事件时，时间是一个固定点的值，所描述的事件是一个时间点的事件。当记录事件的发生、发展、消亡的过程时，采用的是记录离散的时间点、地点、人物及重要的事件，从而达到记录事件发生、发展、消亡过程的目的。据波粒二象性理论，在宏观世界，时间是连续的，在微观世界，时间也是由时间粒子组成，也就是说连续的时间是由时间点组成的。相应地，对于地理实体可以用对象标识、时间点、空间定位、对象属性、事件及其关系进行描述，而且整个描述可由对象标识进行关联，这样在量变时，可通过记录一个对象在某时刻发生的事件、空间位置及属性信息变化进行记录，质变时则可以通过对象的改变和导致对象
改变的事件来记录。
3结语
时空数据建模是研究领域的一个重要方向［8］。近年来，对时空数据的查询统计、历史分析、历史再现、动态分析及趋势预测等方面提出了更为迫切的要求，本文以动态分段技术为基础，提出面向对象的时空数据模型［9］。动态分段是一种新的线性特征的动态分析、显示和绘图技术，极大地提高了GIS-T中线性要素的处理能力，然而，传统动态分段技术在处理具有时态性线性数据时却存在明显的不足。为了体现数据的时空属性，在动态分段的基础上，采用面向对象的方式来建立时空数据模型。
参考文献
［1］BoGUO,CarlEKURT.TowardsTemporalDynamicSegmentation［J］.GeoInformatica,2004,8(3).
［2］李军利,查良松,王中.动态分段思想在公路地理信息系统中的实现［J］.测绘与空间地理信息,2006,29(1):67-70.
［3］王超,王泉,秦前清,等.动态分段技术在GIS-T中的应用研究\.测绘信息与工程，2008,33(2):41-42.
［4］张青年.线状要素的动态分段与制图综合［J］.中山大学学报:信息科学版,2004,43(2):104-107.
［5］WorboysMF.HeamshowHM,MaguireDJ.Object-orientedDataModelingforSpatialDatabase\.InternationalJournalofGeograhicalInformationSystem,1990,4(4):369-383.
［6］龚健雅.GIS中面向对象时空数据模型\.测绘学报,1997,26(4):289-298.
［7］MichaelZeiler.ModelingOurWorld［Z］.ESRIPress,2004.
［8］陆锋.基于特征的城市交通网络GIS数据组织与处理方法［D］.北京:中国科学院遥感应用研究所,1999.
［9］张晓芳,刘云生.一种支持时态数据的实时数据模型\.计算机科学，2006,33(2):119-121.
［10］石建军,许国华,何民,等.交通地理信息系统数据模型的研究进展［J］.北京工业大学学报,2004,30(3):318-322.
［11］MillerHJ,ShawSL.GeographicInformationSystemsforTransportation:PrinciplesandApplications［M］.Oxford:OxfordUniversityPress,2001.
数据处理与数学建模方法范文1篇12
关键词：三维地质建模；关键技术；地质建模分类
中图分类号：P641.2文献标识码：A文章编号：1674-7712（2012）14-0194-01
在地质勘探中，地质构造是相当复杂的，地质体也是千变万化的，如何根据众多的前人收集的地、化、物、遥等二维图件资料，构建出能反映地质信息和地质现象本质的三维地质模型，让地质工作者全面、准确的掌握整体地质情况，更加科学、高效的、直观的分析并解决地质问题，预测隐伏矿体，三维地质建模可以提供很好的解决办法。三维地质建模通过对钻孔资料、剖面图、地震数据、等深图、地质图、地形图、物探数据、化探数据、工程勘察数据、水文监测数据等各种原始数据建立数据库，利用地球科学与信息科学技术，使用数值模拟和空间分析的技术方法，进行三维地质建模，构建能真实反映地质构造形态、构造关系、地质体内部属性变化规律的三维地质模型，为矿体的预测提供支持。
一、三维地质建模分类
三维地质建模可以分为很多种类，有主要侧重于反映地质体表面形态的表面建模，侧重于反映地质体内部变化规律的实体建模；根据建模的对象的空间尺度分有对整个矿区建模的宏观建模和对岩石和化石建模的微观建模；有针对固定时刻的静态建模和适用于地下水流动模拟的动态建模；有用于表达地质界面和地质体空间形态的拓扑不一致建模和可以对体元进行插值模拟和空间分析的拓扑一致建模；有对单个地质体建模的单体建模和对多个地质体进行建模的多体建模；有对分层较好的地质体的单值建模和针对倒转褶皱地质形态的多值建模。
二、三维地质建模方法
基于钻孔的建模方法对没有断层的层状地质体的模拟具有很好的效果，如果钻孔数据不多，可利用插值方法模拟虚拟的钻孔；利用三棱柱的建模方法可以解决具有简单断层的地质体三维建模问题，但对具有复杂的断层结构的地质体不能很有效的解决；非层状地质体的建模能对少数几个复杂矿体进行建模，也能对具有复杂断层的地质体进行建模，但矿体较多，就很难保证数据的一致性；利用贝塞尔曲面和NURBS曲面实现的曲面建模方法，能很好的解决地质体的表面建模，通过表面建模后，然后利用实体建模方法构建地质体的实体模型，可以解决复杂地质体的模拟；对于复杂的单个地质体的建模经常使用基于平行剖面的单体建模方法，能有很好的效果。地质体的三维模拟一般要根据具体的地质体来定，由于地质体的复杂性，一般要使用几种方法综合建模，达到真实体现地质体的三维形态的效果。
三、三维地质建模关键技术及研究方向
三维地质建模融合了多门学科的知识，要准确的描述地下地质体的复杂空间关系和属性关系，就要对三维地质建模的关键技术有所突破。
（一）对三维地质建模起到基础性作用的是准确获取地下地质体的三维空间数据和属性数据，通过钻孔获得的数据可以直接应用到地质建模中，并对三维地震、地质CT、地球物理等技术获得的地质数据进行解释和解译，转化成对地质建模有用的数据。
（二）真实折剖面技术，在一个勘探剖面中，由于钻孔会发生倾斜，存在某个钻孔或某几个钻孔偏离勘探线较远的情况，平剖面数据是在一个勘探线平面上的数据，和勘探工程所反映的真实地质情况之间必然就会存在一定的误差，这种误差在很多情况下，会对建模的结果造成较大的影响。怎样由平剖面转换到真实折剖面技术，是三维地质建模的关键技术之一。我们采用如下的方法把钻孔控制下的平剖面转换成真实剖面：第一步、利用钻孔的孔口坐标信息及测斜信息生成钻孔的空间分布轨迹图；第二步、把不同格式的平剖面数据通过坐标变换，由二维数据转换成为三维空间数据；第三步、将平剖面上有钻孔控制的部分，向钻孔轨迹进行投影，使平剖面上这一部分信息与真实钻孔的空间位置重合；第四步、对于平剖面上的外推部分，按两种方式进行处理：一是校正到勘探线上；二是校正到最外侧相邻钻孔的延长线上。
（三）三维地质建模软件能使用多种建模方法，如面建模、体建模、面体结合的建模方法，能使用多种建模数据类型。
（四）利用获得的多源数据建立一个合理、高效的空间数据库，能提供高效的空间查询与索引，友好的用户界面，是三维地质建模的关键技术之一。
（五）地层矿层一体化建模技术，使用剖面数据的一致离散化处理和“层间相似、层内一致”的地层矿层拓扑结构两种方法，剖面数据的一致离散化，指的是沿地质剖面进行序列化扫描，将剖面上的地层矿层线同时转化成竖直的类似钻孔样品的形式；地层各层之间及其内部、矿层各层之间及其内部及地层与矿层之间，在空间上的重叠、包含关系能够以最简单的方式得到处理和体现。这套处理流程的另外一个附带优势就在于，对于所构建的每个地层矿层模型，在每个数据结点上都有一个样品数据与之对应。
（六）我们在三维地质建模中大多用的是钻孔和剖面数据，要能真实的体现地质体的形态，我们要拓宽数据的来源，地质、物探、化探、地震、遥感等一系列数据也要用上，如何尽最大效果的用好这些数据，对三维地质建模有很关键的作用。
（七）三维地质模型中各个地质体之间的数据要保持一致性，各个地质体之间要避免存在空隙和交叠的情况。保持数据一致性对体素华和实体的数值模拟，空间分析具有重要的意义。
（八）对各种特殊地质体的描述，如对于侵入体、分支断层、倒转褶皱等特殊地质现象的建模，也是三维地质建模的关键技术之一。
（九）怎样利用曲面求交的方法解决地质体中存在各种情形的特殊地层面，如地层不整合、断层错断岩层、地层尖灭和地下水出露于河谷地表等情形。
四、小结
三维地质建模是利用各种多源地质数据，特别是钻孔数据，利用多种地质建模方法，如表面建模、实体建模或者面体结合的建模方法，结合各种地质建模的关键技术，建立一个真实的三维地质模型，为用户展示一个虚拟的现实地质环境，还可以利用数值模拟和空间分析对隐伏矿体进行预测和对储量进行预测。能给我们的隐伏矿体的预测提供科学的指导。
参考文献：
[1]屈红刚.基于交叉折剖面的三维地质表面建模方法研究[D].北京大学，2006.
