震精 - 数据库还能这样玩 - 三十六计 (中)

PostgreSQL 三十六计 - 中

13. 金融风控、公安刑侦、社会关系、人脉分析 等业务场景,高效实现图式数据搜索。

利用PostgreSQL函数编程,异步消息,复杂JOIN等手段,解决高效的图式数据查询需求。

1. 猎头挖人

作为IT人士或者猎头、HR,对Linkedin一定不陌生,领英网实际上就是一个维护人际关系的网站。

通过搜索你的一度人脉,可以找到与你直接相关的人,搜索2度人脉,可以搜索到与你间接相关的人。

当然你还可以继续搜索N度人脉,不过那些和你可能就不那么相关了。

如果你知道和美女范冰冰隔了几度人脉,是不是有点心动了呢?

其实在古代,就有这种社会关系学,还有这种专门的职业,买官卖官什么的,其实都是人脉关系网。看过红楼梦的话,你会发现那家子人怎么那么多亲戚呢?

2. 公安破案

公安刑侦学也是一类人脉相关的应用,只是现在的关系和行为越来越复杂,这种关系也越来越复杂,原来的人能接触的范围基本上就靠2条腿,顶多加匹马。

现在,手机,电脑,ATM机,超时,摄像头,汽车等等,都通过公路网、互联网连接在一起。

一个人的行为,产生的关系会更加的复杂,单靠人肉的关系分析,刑侦难度变得越来越复杂。

3. 金融风控

比如银行在审核贷款资格时,通常需要审核申请人是否有偿还能力,是否有虚假消息,行为习惯,资产,朋友圈等等。 同样涉及到复杂的人物关系,人的行为关系分析等等。

此类围绕人为中心,事件为关系牵连的业务催生了图数据库的诞生。

目前比较流行的图数据库比如neo4j,某些图数据库在数据量超过内存大小时,性能下降会非常严重。

PostgreSQL是一个功能全面的数据库,其中就有一些图数据库产品的后台是使用PostgreSQL的,例如OpenCog, Cayley等。

除了这些图数据库产品,PostgreSQL本身在关系查询,关系管理方面也非常的成熟,十亿量级的关系网数据,3层关系运算仅需毫秒。

还可以用于运算人与人之间的最短关系,穷举关系等。

主要用到的技术plpgsql服务端编程、异步消息、数组、游标、pgrouting路由算法等。

14. with recursive递归查询有妙用。

大量数据的求差集、最新数据搜索, 最新日志数据与全量数据的差异比对, 递归收敛扫描,提升数百倍性能。

15. 数据一致性分享、数据泵

在IoT的场景中,有流式分析的需求,也有存储历史数据的需求,同时还有数据挖掘的需求,搜索引擎可能也需要同一份数据,还有一些业务可能也要用到同一份数据。

但是如果把数据统统放到一个地方,这么多的业务,它们有的要求实时处理,有的要求批量处理,有的可能需要实时的更新数据,有的可能要对大数据进行分析。

10万级别左右的机器,PostgreSQL 的数据吞吐量可以达到100万条/s以上,同时数据库本身具备了严格的可靠性和一致性保证。

PostgreSQL为分享数据提供了插槽的概念,每个插槽对应一个目标端,支持断点续传,支持多个目标端。用于流式的分享数据是非常好的选择。

16. ad lock解决高并发更新少量记录的秒杀问题

秒杀在商品交易中是一个永恒的话题,从双十一,到一票难求,比的仅仅是手快吗?

其实对于交易平台来说,面对的不仅仅是人肉,还有很多脚本,外挂自动化的抢购系统,压力可想而知。

秒杀的优化手段很多,就拿数据库来说,有用排队机制的,有用异步消息的,有用交易合并的。

PostgreSQL提供了一种更极端的秒杀应对方法,裸秒。可以让用户尽情的释放激情,以一台32核64线程的机器为例,每秒可以获取、探测约130万次的ad lock。

试想一下,对单条记录的秒杀操作,达到了单机100万/s的处理能力后,秒杀算什么?100台机器就能处理1亿/s的秒杀请求。

17. PostgreSQL 使用bitpack支持实时用户画像

用户画像在市场营销的应用重建中非常常见,已经不是什么新鲜的东西,比较流行的解决方案是给用户贴标签,根据标签的组合,圈出需要的用户。

通常画像系统会用到宽表,以及分布式的系统。

宽表的作用是存储标签,例如每列代表一个标签,但是通常数据库到2000个列基本就是极限了,上万TAG的话,只能使用多表JOIN来实现,效率较差。

另一方面,使用宽表(甚至列存储),标签的筛选性能也比较差(无法达到实时级别)。

以PostgreSQL数据库为基础,以BIT来存储用户,每行一个TAG的方式,单机支持十万亿user tags体量,毫秒级实时圈人。

18. 路径动态规划,助力物流配送、打车软件、导航软件、出行软件、高速、高铁等业务场景

物流行业是被电子商务催生的产业之一。

快件的配送和揽件的调度算法是物流行业一个非常重要的课题,直接关系到配送或揽件的时效,以及物流公司的运作成本。

好的算法,可以提高时效,降低成本,甚至可以更好的调动社会资源,就像滴滴打车一样,也许能全民参与哦。

以后也许上班路途还能顺路提供快递服务呢。

以物流行业为例,PostgreSQL为物流行业应用提供了包括机器学习(madlib)、路径规划(pgrouting)、地理位置信息存储和处理等基础服务。

19. 金融级可靠性,事务级可控多副本。

传统的金融行业高度依赖共享存储来解决数据库的高可用,数据0丢失以及异地容灾的场景。

共享存储的解决方案价格昂贵,对厂商的依赖较大。

PostgreSQL基于同步流复制的任意副本解决方案,在解决0丢失,高可用以及容灾的问题的同时,还可以提供只读的功能。相比传统的存储解决方案,优势更加明显。

允许用户根据事务的可靠性要求,设置事务所需的副本数。

20. 块级瘦索引,解决物联网、金融、日志、行为轨迹类数据快速导入与高效查询的矛盾

在物联网、金融、日志类型场景中,数据持续不断的产生,对于堆存储来说,有线性相关的特点。

例如,时间字段往往和物理存储的顺序具有线性相关性。

例如,有一些自增字段,也和堆存储的物理顺序线性相关。

对与物理存储线性相关的字段(时间,自增字段),PostgreSQL提供了一种BRIN块级范围索引,索引中存储了对应数据块中的字段统计信息(例如最大值,最小值,平均值,记录数、SUM,空值个数等)

这种索引很小,因为索引的粒度是连续的块,而不是每条记录。

通常比BTREE索引小几百倍。

如果字段的线性相关性很好,进行范围查询或者精确检索时,效率非常高。

对于统计查询,也可以使用BRIN索引,提高分析统计的效率。

21. 时序数据有损压缩

在物联网、金融、FEED等场景中,往往有大批量的指标数据产生并进入数据库,通常包含 时间、值 两个字段。

这些数据由于量非常庞大,而且就像音频一样,实际上是可以对其进行有损的压缩存储的。

最为流行的是旋转门的压缩算法,在PostgreSQL中可以使用UDF,方便的实现这个功能。

从而实现流式\时序数据的有损压缩,例如在UDF中使用旋转门压缩算法,压缩时序数据。

22. 准确诠释数据类型,基因工程

PostgreSQL凭借良好的扩展性,不仅仅是一个数据库,同时也是具备非常强大的数据处理能力的数据平台。

很多垂直行业的用户拿它来做各种和业务贴合非常紧密的事情。

例如PostgreSQL在生命科学领域的应用案例 - 基因工程。

通常的思维可能是这样的,把数据存在数据库,需要运算的时候,再把数据取出进行运算(例如配对),需要花费非常多的网络传输时间。

PostgreSQL提供了基因工程相关的数据类型,操作类型,索引。满足基因工程业务的需求。

用户可以直接在数据库中对基因数据进行处理。

23. 准确诠释数据类型,化学分子

RDKit是PostgreSQL的化学插件,支持化学数据类型的高效率存取,检索,索引。以及操作符,例如化学成分的分解,合成。

对于一个数据库来说,支持一个数据类型,首先需要支持数据类型的INPUT和OUTPUT,然后还要支持索引高效率的检索这种类型的数据,需要支持足够多的OP满足业务的需求,支持UDF处理对应的数据类型。

如果没有准确的诠释,只能存储为二进制字节流,或者字符串,运算、检索、操作、函数处理都不可能。

24. 数据预测、挖掘

PostgreSQL、以及ApsaraDB HybridDB(基于GPDB),等PostgreSQL相关的数据库,都支持MADlib机器学习库,这个库支持机器学习领域常见的算法(例如聚类、线性回归、贝叶斯、文本处理等等)

其中在数据领域用得较多的数据预测,可以使用MADLib的多元回归库,进行对数据的预测。

结合plR语言 或者R + pivotalR 、 python + pythonR插件,可以自动将R\python语言的命令转换为MADlib库函数,对数据进行分析。

非常适合使用R或者python对数据进行分析的数据科学家使用。

其特点是高效(数据与运算一体,可以使用LLVM\向量计算等技术优化,同时不需要传播数据,节约了传播的开销)、易用(支持常见的SQL、r, python等编程)。

时间: 2024-09-30 22:00:45

震精 - 数据库还能这样玩 - 三十六计 (中)的相关文章

震精 - 数据库还能这样玩 - 三十六计 (下)

PostgreSQL 三十六计 - 下 25. 数据库端编程,处理复杂业务逻辑. 在传统企业.电商.运营商等涉及用户交互.或者多个系统交互的业务场景中,通常一个事务涉及到很复杂的业务逻辑,需要保证数据的一致性,同时还需要与数据库多次交互. 比如银行开户,涉及的业务系统多,逻辑复杂.在传统企业中,通常也使用商业数据库的过程函数,实现此类复杂的逻辑. PostgreSQL的数据库过程函数支持的语言非常丰富,比如plpgsql(可与Oracle pl/sql功能比肩),另外还支持语言的扩展,编程语言可

容灾备份还能这么玩你get了吗?

 这个世界上有一种事件叫做"小概率事件".虽然它发生的可能性很小,但遇上了,那就是百分之百.对于大多数行业而言,为重要数据和核心业务部署容灾备份方案,就是为了避免发生这种小概率事件而产生无可挽回的影响. 近年来,对数据安全和业务连续性要求较高的行业较为倾向于选择基于CDP持续数据保护技术的容灾备份产品.与其他镜像.快照等方案相比,在综合考虑到数据0丢失.恢复数据完整可用.恢复任意时间点数据和异地容灾等方面因素的情况下,CDP容灾备份方案具有明显的技术优势. 作为国内最早推出的CDP容灾

还可以这么玩:盘点iOS 11中Siri的12项新功能

本文讲的是还可以这么玩:盘点iOS 11中Siri的12项新功能,iOS 11的首次亮相带来了一些变化,其中包括增强现实游戏和更好的iMessage体验,但或许操作系统在任何方面的改变都不如Siri大. Siri有了更多的新性能,通过分享社交账号QR码得到更生动的形象,以及它可以演奏DJ. 以下是对iOS 11中Siri的所有操作方式的总结: 1.跨设备同步 通过iOS 11系统,Siri可以总结并适应你的习惯,并在你所有的苹果设备上同步这些偏好. 比如在你的联系人列表里有四个人叫Brianna

在dos下如何远程连接数据库?连接远程服务器的数据库还需要在本机装数据库么?

问题描述 在dos下如何远程连接数据库?连接远程服务器的数据库还需要在本机装数据库么? 那位大神指导下如何在dos下远程连接数据库?我感觉不用再本地装了啊,求大神指导 解决方案 一.连接MYSQL. 格式: mysql -h主机地址 -u用户名 -p用户密码 1.例1:连接到本机上的MYSQL. 首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令mysql -uroot -p,回车后提示你输密码,如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中

新版傲游浏览器:快速访问还能这么玩

http://www.aliyun.com/zixun/aggregation/17197.html">北京时间9月11日,全球领先的软件服务公司傲游今天宣布发布傲游云浏览器最新Windows版本.新版浏览器对"快速访问"进行了重大改进,加入众多实用创新功能.用户可以自由定制,可玩性极强. 安装简单友好 界面简洁大方 新版傲游云浏览器的下载与安装非常简单,只需简单地点击立即下载-立即安装-立即使用,就能立即进入傲游的超速世界.点击下载傲游云浏览器:http://www.

  您是否还在为玩不了一款传奇私服而发愁吗?

您是否还在为找不到新开传奇网站而苦恼吗? 您是否还在为玩不了一款传奇私服而发愁吗? 您是否还在为无法查询到传奇sf具体资料而束手无策吗? 那么现在这些将是过去,只要你打开www.zjdywj.com,千千传奇开区信息尽在您眼底! 我们网站的主要提供具体开区信息,一切信息来源均来自互联网:今日新开传奇.新开传奇私服.刚开一秒传奇.等等最新最全的信息.也许有人就要问:"说了一大堆,具体开区信息资料在哪呢?"不要着急,不要着急,下面小编为大家介绍. 新开网通传奇 是继传了新开传奇和刚开传奇,

沈皓瑜解读切换凤巢引发收入下降:用户还不会玩

11月13日消息,百度商业运营副总裁沈晧瑜今日表示,并非凤巢切换一个原因导致百度将第四季度收入预期下调10%.同时他强调,新的凤巢系统能为广告主带来更为精细化的投放管理,流失的客户终将回归. 百度日前宣布将于12月全面启用凤巢,取代原有的竞价排名系统.百度高层在第三财季的电话会议上预计,受此影响百度第四季度的营收将被拉低月10%. 针对百度营收方面的大幅变化,沈皓瑜今日解释道,这并非单纯的由切换凤巢一个原因所引发.沈皓瑜对新浪科技表示,即便不切换到凤巢系统,百度第四季度的营收也会下降大约4-7%

2014年还有人想玩电商么?

不必说京东天猫苏宁的平台大战,也不必说B2C.B2B或者时髦的O2O,更加不必说大佬之间的口水战,互联网评论人士的闲吃萝卜淡操心,只要看看双十一期间数百亿的销售额,只要看看互联网中无处不在的电商平台广告,只要看看电商制造的各种促销噱头,想必谁也经不起这样的诱惑,要试图在电商的浑水里面去摸上一两条鱼.于是乎,本来只够做淘宝集市的资本,也要在天猫.京东里面游一游,本来只够开个网上商店的货源,非得要弄个电商平台试一试.2013年,很多人都在拼电商.拼包括了很多内容,首先应该是插,横插一脚,保证脚先迈进

iOS 9 概念视频曝光 - 苹果的下一代 iOS 还能够怎么玩?

class="post_content" itemprop="articleBody"> 从 iOS 7 到 iOS 8,苹果在新系统中呈现出的惊喜并不如上一次更迭来得震撼,但是这并没有停止我们对下一代 iOS 版本的更多期待.那么,你期待 iOS 9 还能怎么玩?日前,知名概念设计师 Ralph Theodory 带来了一组惊艳十足的 iOS 9 概念设计-- Ralph Theodory 表示,这组 iOS 9 概念是在前一代系统版本的基础上"移