WebGIS中基于控制点库进行SHP数据坐标转换的一种查询优化策略

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

1.前言

目前项目中基于控制点库进行SHP数据的坐标转换,流程大致为:遍历图层要素,获取每个要素的坐标串,查询控制点库,分别进行坐标转换,构建新的要素,最后构建新的图层。此方法效率如下:

a.控制点库有100W个控制点对。

b.待转换SHP数据有5K个面要素。

转换完毕大概需要120分钟。

此效率是相对较低的,如果想对更多包含大量要素的图层组数据进行批量转换,耗时会成倍增长。这里,我们进行了一些列优化探索。

2.思路分析

以上方法,耗时最多的是大表查询,即在控制点库中查询对应参考坐标。

对大表查询有很多种优化策略,比如将大表改成多个小表,根据业务建立相关索引等等。这里我们一起探讨另外一种方法,流程图如下:

                       

该思路的核心为:遍历获得单个feature后,便根据该feature的extent建立包含局部信息的视图,减少不必要的全表查询。

最后结果测试为:

a.控制点库有100W个控制点对。

b.待转换SHP数据有5K个面要素。

转换完毕大概需要5分钟。

3.进一步优化

以上方法是利用视图来进行查询优化,但是每个视图建立完后还需要控制代码销毁。这个过程会影响效率。

3.1事务临时表

临时表分为了会话临时表和事务临时表。

会话临时表是指:该临时表肯定与会话有关。会话在不退出时,则些临时表中的数据存在,会话退出,该临时表中的数据也会随之消失。并且,在多用户操作的情况下,一个会话从来不阻塞另一个会话使用临时表。即使锁定临时表,一个会话也不会阻塞其他会话使用临时表。

事务临时表是指:该临时表与事务相关,当进行事务提交或者事务回滚的时候,临时表中的数据将自行被截断。

根据业务需求,这里选用事务临时表,主要利用其事务结束后会自动将数据做TRUNCATE的功能。

事务临时表的构建规则如下:

Create global temporary table table_name
(col1 type1, col2 type2 …)
On commit delete rows;

3.2测试结果

使用事务临时表进行改造后,测试结果如下:

a.控制点库有100W个控制点对。

b.待转换SHP数据有5K个面要素。

转换完毕大概需要2.5分钟。

4.总结

这里的核心思想还是进行大表改小表,不过将小表设计为临时表,此种方法在过滤查询数据时效果十分明显。

 

                                                                        -----欢迎转载,但保留版权,请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

 

时间: 2024-10-12 08:35:08

WebGIS中基于控制点库进行SHP数据坐标转换的一种查询优化策略的相关文章

wsn 数据收集-wsn中基于移动SINK的高效数据收集算法

问题描述 wsn中基于移动SINK的高效数据收集算法 哪位大神可以帮帮忙CSDN移动问答 其中最短路径用佛洛依德算法实现最好

移动云计算环境中基于代理的可验证数据存储方案

移动云计算环境中基于代理的可验证数据存储方案 杨健,王剑,汪海航,杨邓奇 现有云计算可验证数据存储协议无法直接应用于终端存储和计算能力有限的移动计算环境.针对该问题,提出移动计算环境下基于代理的可验证云存储协议,在终端和云服务器之间引入一个半可信的安全计算代理,利用代理来帮助移动终端用户完成计算密集的操作,从而使得可验证数据存储方案可用于移动计算环境.提出一个具体的可验证数据存储协议,形式化证明了所提协议满足随机预言机模型下的选择明文攻击(CPA)安全,量化分析结果表明协议设计适用于移动计算环境

在Python3中使用asyncio库进行快速数据抓取的教程_python

web数据抓取是一个经常在python的讨论中出现的主题.有很多方法可以用来进行web数据抓取,然而其中好像并没有一个最好的办法.有一些如scrapy这样十分成熟的框架,更多的则是像mechanize这样的轻量级库.DIY自己的解决方案同样十分流行:你可以使用requests.beautifulsoup或者pyquery来实现. 方法如此多样的原因在于,数据"抓取"实际上包括很多问题:你不需要使用相同的工具从成千上万的页面中抓取数据,同时使一些Web工作流自动化(例如填一些表单然后取回

在Python中利用Pandas库处理大数据的简单介绍_python

在数据分析领域,最热门的莫过于Python和R语言,此前有一篇文章<别老扯什么Hadoop了,你的数据根本不够大>指出:只有在超过5TB数据量的规模下,Hadoop才是一个合理的技术选择.这次拿到近亿条日志数据,千万级数据已经是关系型数据库的查询分析瓶颈,之前使用过Hadoop对大量文本进行分类,这次决定采用Python来处理数据:     硬件环境         CPU:3.5 GHz Intel Core i7         内存:32 GB HDDR 3 1600 MHz      

iOS中 基于LBXScan库二维码扫描

 每日更新关注:http://weibo.com/hanjunqiang  新浪微博 首先声明这个二维码扫描是借助于zxing. 功能模块都完全封装好了,不过界面合你口味,直接使用就好,如果不合口味,后面告诉你怎么修改.  - 1.cocoaPods导入pod 'LBXScan', '~> 1.1.1'  导入方法看这:  - 2.将JQScan文件夹拖到你的工程中(这个是写好的). <code class="language-Objective-C hljs objectivec

iOS中 基于LBXScan库二维码扫描 韩俊强的博客

首先声明这个二维码扫描是借助于zxing. 功能模块都完全封装好了,不过界面合你口味,直接使用就好,如果不合口味,后面告诉你怎么修改. - 1.cocoaPods导入pod 'LBXScan', '~> 1.1.1' 导入方法看这: - 2.将JQScan文件夹拖到你的工程中(这个是写好的). //导入头文件 #import <LBXScanViewController.h> #import "SubLBXScanViewController.h" - (IBActi

WebGIS中等值面展示的相关方案简析

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1.背景 等值面是气象.环保等相关项目上常用到的效果展示.在传统的CS项目中,可以利用一些二次开发工具进行开发,具有科研性质的项目上还会利用一些工具进行复杂建模出图然后流程化.这里,我们撇去复杂的建模各因子,谈谈通用的等值面如何在WebGIS中进行展示. 首先,我介绍下几种可以在前端进行等值面渲染的方案: a.利用arcgis的model进行建模,设置好输入项,插值工具

(十)WebGIS中地理坐标与屏幕坐标间的转换原理

 文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/. 1.前言 地图本身是拥有坐标的,一般可以大致分为平面坐标和经纬度坐标,在这里我们统称为地理坐标,比如北京,(115.9°E ,39.6°N)和(506340,304400)均是其地理坐标,只是表示形式不同而已. 我们在上一章讲解了矢量图层中数据的来源,最后提出了一个还未解决的问题,即当我们获得了矢量数据后,如何在屏幕中将这些数据里的地理(Geometry)坐标转换为

WebGIS项目中利用mysql控制点库进行千万条数据坐标转换时的分表分区优化方案

文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/ 1. 背景 项目中有1000万条历史案卷,为某地方坐标系数据,我们的真实需求是将地方坐标系坐标反转成WGS84坐标,如果现在需要将其转换成百度坐标系数据.常规方案是先建立好整个该市的本地坐标和百度坐标之间的控制点库后再进行转换.但是在具体实施中发现转换特别慢,由于控制点库也有200多万条记录,大概一个点需要一秒钟才能转换完. 2.将Update变成Insert关键字段值