【数据蒋堂】第13期:怎样看待存储过程的移植困难

存储过程移植困难是经常被诟病的,在罗列存储过程的缺点时,这一条几乎从来不会被遗漏。

存储过程的移植确实很困难,一般业务逻辑复杂到需要写存储过程的地步,总会不可避免地用到数据库独有的特性和语法,更换数据库时这部分代码就需要重写。如果只是简单地替换函数名和参数规则(如日期转换等),那成本还不高;如果用到了新数据库不支持的某种特性(如窗口函数),那还要重新设计算法来编写计算逻辑;如果还要再兼顾性能因素,有时候就会是个不可能完成的任务了。

不过,还好,存储过程移植的情况并不频繁。

多年前数据库市场还处于混战阶段时,用户更换数据库是相对常见的事情。而如今,传统关系数据库市场的竞争已经趋于稳定,各个行业和业务采用的数据库已经基本定型。更换数据库并不只是存储过程移植这么一件事,用户从使用习惯到维护人员配备等各方面都要做出很深刻的改变,这是个成本巨大的工程。如果没有重大事件,一般不会发生数据库移植的事件。存储过程移植虽然困难,但并不足以成为不采用它的重要理由。

至于需要面对各种行业不同用户的通用BI类软件,虽然经常要接入不同的数据库,但很少会用到存储过程,只是些SQL函数更换,就没有难度了。

其实,仔细研究一下会发现。存储过程的移植困难主要发生于从商用数据库到开源数据库(包括一些近年来兴起的一些基于大数据平台的数据仓库)的切换过程。同价位的商用数据库之间的移植难度并不是很大,而从开源数据库到商用数据库则更是容易(虽然这种现象发生较少)。

如前所述,存储过程在数据库之间的移植难度,语法不同只是个载体,更深层次的原因在于各个数据库的功能特性不同。同价位的商用数据库,其功能相差并不大,移植时主要就是更换语法,难度就不会很大。而开源数据库在功能方面和成熟的商用数据库相差很远,虽然大家都叫数据库,都能跑基本SQL,但差别是巨大的,从许多关键的特性上看根本就是两个不同的产品。比如世界上最著名的那个商用数据库,对SQL2003的标准支持得很好,有较完整的窗口函数;而世界上那个最著名的那个开源数据库,别说窗口函数,连FULL JOIN都要转换成UNION来做。这时候想移植存储过程,那就是相当于完全重新开发。这个困难根本就不是移植造成的,如果当初选择开源数据库建设应用,那困难一样的大。

我们说移植成本,是指基于两个能力基本相当的平台,最初的开发工作无论基于哪个平台,复杂度是差不太多的。比如一段C++程序,在Windows上写和在Linux上写,难度区别并不大,这时候讨论移植工作量才有意义;但要把一段Java程序转换成C++程序,这就不是个移植问题了,初始的开发复杂度就相差巨大。从商用数据库到开源数据库的迁移大抵类似于这种。

目前,从商用数据库切换到开源数据库或大数据平台是一个业内趋势,这样做在数据库建设成本上会下降许多。不过这个世界是公平的,购置数据库的成本下降了,而这并不是技术进步带来的结果,那就从开发成本上找补回来吧。

原文发布时间为:2017-7-4

本文作者:蒋步星

本文来自合作伙伴“数据蒋堂”,了解相关信息可以关注“数据蒋堂”微信公众号

时间: 2024-11-03 21:49:18

【数据蒋堂】第13期:怎样看待存储过程的移植困难的相关文章

数据蒋堂 | 怎样看待存储过程的移植困难

存储过程移植困难是经常被诟病的,在罗列存储过程的缺点时,这一条几乎从来不会被遗漏. 存储过程的移植确实很困难,一般业务逻辑复杂到需要写存储过程的地步,总会不可避免地用到数据库独有的特性和语法,更换数据库时这部分代码就需要重写.如果只是简单地替换函数名和参数规则(如日期转换等),那成本还不高:如果用到了新数据库不支持的某种特性(如窗口函数),那还要重新设计算法来编写计算逻辑:如果还要再兼顾性能因素,有时候就会是个不可能完成的任务了. 不过,还好,存储过程移植的情况并不频繁. 多年前数据库市场还处于

开源大数据周刊-第13期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.3.4版本 (已经发布) 升级jdk到1.8 升级Hadoop到2.7.2 添加python2.7.1及python3.4版本 添加numpy库 支持Presto.phoenix.jstorm.oozie 支持Hadoop跟Hbase混合部署 支持深圳.上海机房 1.4版本(正在研发): 用户执行计划及集群运行状态自定义报警 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 从Hadoop Summit 2016看

开源大数据周刊-第15期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.5.0版本 交互式查询(支持hive.spark) 资讯 中国大数据发展10大趋势5大挑战 中国大数据发展10大趋势5大挑战,如:大数据的首席数据官开始崛起.可视化推动大数据平民化.智能

开源大数据周刊-第17期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(已经发布) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 大数据投资人必读:中国大数据发展与投资分析报告 随着大数据蕴涵价值的逐步释放,使其成为IT信息产业中最具潜力的蓝海.大数据正以一

开源大数据周刊-第16期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(已经发布) 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本(正在研发) 完善失败报警 完善定时任务,增加小时.分钟定时任务 1.5.0版本 (正在研发) 集群整体运行情况的仪表盘 集群状态监控报警 1.6.0版本 交互式查询(支持hive.spark) 资讯 Apache Spark 2.0.0 发布,APIs 更新 该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强

开源大数据周刊-第14期

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本(正在发布): 作业运行失败报警 作业并行提交 添加sqoop.shell类型的作业 1.4.1版本 集群整体运行情况的仪表盘 集群状态监控报警 资讯 创业公司如何构建数据指标体系? 对于庞大的创业群体和数据运营新手来说,这将是一篇非常具有参考价值的干货贴,作者将在文章中深入阐述两套构建指标体系的方法,即关键指标法和海盗指标法. 怎样选择数据平台的建设方案 文中对比了MPP.Hadoop传统的数据库等不同方案的优缺点,值得一

【数据蒋堂】第12期:存储过程的利之弊

存储过程是数据库领域中应用非常广泛的技术,关于它的利弊讨论由来已久,我们这里针对存储过程的两个公认度较高的优点进行剖析,从而更清楚存储过程的潜在风险及应用场景. 存储过程利于界面与逻辑分离! 界面与逻辑分离是现代应用开发的一个基本准则.相对于后台数据处理逻辑,界面会有更多样性的环境,如PC.手机等,而且业务稳定性也不强,经常会改.如果能把两者分离,开发和维护界面时绑着数据处理逻辑一起改,成本就低很多. 支持存储过程的观点认为,使用存储过程能实现界面与逻辑分离.存储过程在后台数据库中运算,只要向前

【数据蒋堂】第3期:功夫都在报表外-漫谈报表性能优化

应用系统中的报表,作为面向业务用户的窗口,其性能一直被高度关注.用户输入参数后都希望立即就能看到统计查询结果,等个十几二十秒还能接受,等到三五分钟的用户体验就非常恶劣了. 那么,报表为什么会慢,又应当从哪里入手进行性能调优呢? 数据准备 当前应用中的报表大都用报表工具开发,当报表响应太慢时,不明就里的用户就会把矛头指向使用报表工具的开发人员或者报表工具厂商.其实,大多数情况报表的慢只是个表现,背后的原因是数据准备太慢,在数据进入报表环节之前就已经慢了,这时再去优化报表开发或压迫报表工具并没有用处

【数据蒋堂】第15期:开放的计算能力为数据库瘦身

[数据蒋堂]第14期:计算封闭性导致臃肿的数据库 我们在上一期谈到,数据库的臃肿,也就是过多的中间表以及相关存储过程,是由于其计算封闭性造成的.如果能够实现独立的计算引擎,使计算不再依赖于数据库提供,那么就可以为数据库瘦身了. 内部来源的中间数据不必再以数据表的形式落地在数据库中,而可以放到文件系统中,由外部计算引擎提供进一步的计算能力.对于只读的中间数据,使用文件存储时不需要考虑再改写,可以更为紧致并采用一定的压缩手段,而且在访问时也不必考虑事务一致性,机制大为简化,这样能获得比数据库更好多的