mongoDB BI 分析利器 - PostgreSQL FDW (MongoDB Connector for BI)

背景

mongoDB是近几年迅速崛起的一种文档型数据库，广泛应用于对事务无要求，但是要求较好的开发灵活性，扩展弹性的领域,。

随着企业对数据挖掘需求的增加，用户可能会对存储在mongo中的数据有挖掘需求，但是mongoDB的语法较为单一，不能满足挖掘的需求。

PostgreSQL是起源于伯克利大小的一个开源数据库，已经有20多年的历史，以稳定性，功能强大著称，号称"开源界的Oracle"。

在国内外各个行业都有非常多的用户，如平安银行，邮储银行，中移动，去哪儿，高德，菜鸟，美国宇航局，俄罗斯杜马等等。

PostgreSQL 9.6 新增了基于CPU的并行计算。 20TB以内的OLTP+OLAP的混合场景，PostgreSQL 会是很好的选择。

PostgreSQL的FDW特性，可以允许它连接任何数据源，将外部数据源当成本地源使用。

MongoDB Connector for BI就是PostgreSQL 的FDW衍生的产品。为mongoDB用户提供丰富的SQL接口。

除了可以连接mongoDB，PostgreSQL FDW还能连接几乎所有数据源，图中没有完全列出。

FDW请参考
http://wiki.postgresql.org/wiki/Fdw

本文将从mongodb用户视角，讲解一下mongodb bi connector的用法。

MongoDB Connector for BI的部署

因为国内下载mongodb-bi的包非常慢，我这里没有验证整个过程，以互联网上一篇文档或蓝本，细化一下整个过程。

OS环境

[root@mongobihost raj]# lsb_release -a
Distributor ID: RedHatEnterpriseServer
Description: Red Hat Enterprise Linux Server release 6.5 (Santiago)
Release: 6.5
[root@mongobihost raj]# cat /etc/redhat-release
Red Hat Enterprise Linux Server release 6.5 (Santiago)

python版本

[root@mongobihost raj]# which python
/usr/bin/python
[root@mongobihost raj]# python -V
Python 2.6.6

下载 mongodb-bi-1.1.3-1-centos6-rpms.tar.bz2，解压
包含了PostgreSQL， FDW接口以及mongodb schema转换成SQL的工具等。

root@mongobihost bin]# cd /tmp/
[root@mongobihost tmp]# ls -ltr
mongodb-bi-schematools-1.1.3-1.el6.x86_64.rpm
mongodb-bi-libs-1.1.3-1.el6.x86_64.rpm
mongodb-bi-1.1.3-1.el6.x86_64.rpm
mongodb-bi-server-1.1.3-1.el6.x86_64.rpm  -- PostgreSQL server
mongodb-bi-contrib-1.1.3-1.el6.x86_64.rpm  -- PostgreSQL contrib
mongodb-bi-devel-1.1.3-1.el6.x86_64.rpm  -- PostgreSQL include
mongodb-bi-multicorn-1.1.3-1.el6.x86_64.rpm  -- PostgreSQL python FDW 开发接口
mongodb-bi-pymongo-1.1.3-1.x86_64.rpm
mongodb-bi-fdw-1.1.3-1.noarch.rpm    --  PostgreSQL mongofdw based on mulitcorn
mongodb-bi-1.1.3-1-centos6-rpms.tar.bz2

安装这些 rpm

[root@mongobihost tmp]# rpm -ivh *.rpm --nodeps
Preparing...                ########################################### [100%]
 package mongodb-bi-libs-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-devel-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-server-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-contrib-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-schematools-1.1.3-1.el6.x86_64 is already installed
 package mongodb-bi-pymongo-1.1.3-1.x86_64 is already installed
 package mongodb-bi-fdw-1.1.3-1.noarch is already installed

安装 mongodb-bi-multicorn

[root@mongobihost tmp]# rpm -ivh mongodb-bi-multicorn-1.1.3-1.el6.x86_64 --nodeps
error: open of mongodb-bi-multicorn-1.1.3-1.el6.x86_64 failed: No such file or directory

[root@mongobihost tmp]# rpm -ivh mongodb-bi-multicorn-1.1.3-1.el6.x86_64.rpm --nodeps
Preparing...                ########################################### [100%]
   1:mongodb-bi-multicorn   ########################################### [100%]

安装完后，检查python 的collections模块是否正常

NOTE: python Version should be greater than 2.6 - Hence, upgrade it and then install RPMs.

One way to check is :  to start a Python2.6 shell, and confirm that the "collections" module includes the "OrderedDict()" methods. For example:

python
Python 2.6.6 (r266:84292, Sep  4 2013, 07:46:00)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import collections
>>> od = collections.OrderedDict()
>>> od

OrderedDict()

Ctrl+D to exit..

检查本地 Mongo

 mongo ${HOST}:${PORT}/admin -u mongoadmin -p $password
MongoDB shell version: 3.2.4
connecting to: mongobihost:27017/admin
Server has startup warnings: 

2016-04-01T16:49:54.454-0700 I CONTROL  [initandlisten]
MongoDB Enterprise set01:PRIMARY> show dbs
admin              0.000GB
rajdb              1.210GB
abcdeconfig        0.015GB
abcdb              0.166GB
jiradb             0.026GB
local              1.199GB
exit;

创建 mongodb bi 用户
对应的操作是在PostgreSQL 中使用 create server和CREATE USER MAPPING FOR定义foreign server与user mapping的操作。( 指向提供的 mongodb url )
参考 https://docs.mongodb.com/bi-connector/reference/mongobiuser/#bin.mongobiuser

[root@mongobihost bin]# mongobiuser create biuser mongodb://biuser:test@mongobihost.myhost.com:27017/admin

or  

[root@mongobihost bin]# mongobiuser create biuser mongodb://mongobihost.myblog.com:27017/admin
Enter password:  

2016-06-17T12:12:15.403-0700 creating user biuser
2016-06-17T12:12:15.408-0700 creating database buses

检查PostgreSQL是否启动
mongo bi connector修改了PostgreSQL中的一些默认选项，例如端口已修改为27032，当然你也可以自己去修改这个端口。
以下是PostgreSQL在unix socket上的监听，监听端口27032，如果你需要监听在IP端口上，需要修改postgresql.conf重启数据库.

[root@mongobihost bin]# netstat -an|grep PG
Active Internet connections (servers and established)
Proto RefCnt Flags       Type       State         I-Node Path
unix  2      [ ACC ]     STREAM     LISTENING     1262987 /tmp/.s.PGSQL.27032

查看PostgreSQL 配置文件的位置
其实用 rpm -ql mongodb-bi-server 更好

[root@mongobihost tmp]# find / -name postgresql.conf
/var/lib/pgsql/9.4/data/postgresql.conf

修改监听，在所有的接口上。这样你的BI软件才能通过网络连到PostgreSQL

vi /var/lib/pgsql/9.4/data/postgresql.conf
listen_addresses = '0.0.0.0'

配置PostgreSQL pg_hba.conf，允许所有来源IP访问这个PostgreSQL

[root@mongobihost bin]# vi /var/lib/pgsql/9.4/data/pg_hba.conf
#** Add below content :
# IPv4 local connections:
host    all             all             0.0.0.0/0               md5

重启postgresql

pg_ctl restart -m fast -D /var/lib/pgsql/9.4/data

使用mongodrdl将需要参与BI分析的collection导出成为创建PostgreSQL 外部表的DDL

mongodrdl -d rajdb -o rajdb.drdl -h mongobihost:27017 -u mongoadmin -p $password --authenticationDatabase admin

Note: 27017 is mongo port
2016-06-17T14:20:15.546-0700 Table "employee", column "sfg.sfgsf" has no types: ignoring column.
2016-06-17T14:20:15.546-0700 Table "employee", column "fgfs.gsdfgf" has no types: ignoring column.
2016-06-17T14:20:15.546-0700 Table "employee", column "fgsf.sgfgs" has no types: ignoring column.
2016-06-17T14:20:15.546-0700 Table "employee", column "sgss.srgs" has no types: ignoring column.
2016-06-17T14:20:16.123-0700 Table "emp_Pack_flat", column "rtgs.comments" has no types: ignoring column.
2016-06-17T14:20:16.972-0700 Table "customer_transaction", column "FValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.973-0700 Table "customer_transaction_Notes", column "Notes.enumValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.973-0700 Table "customer_transaction_SiteValues", column "F1z_v.fields.SiteAbbr.enumValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.973-0700 Table "customer_transaction_URL", column "URL.enumValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.974-0700 Table "customer_transaction_active", column "F1z_v.fields.active.enumValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.974-0700 Table "customer_transaction_active", column "colCur.enumValues" is an array that has no types: ignoring column.
2016-06-17T14:20:16.974-0700 Table "customer_transaction_active", column "colDiff.enumValues" is an array that has no types: ignoring column.

使用mongobischema 将DDL导入PostgreSQL

# To import data into BI schema

[root@mongobihost bin]# mongobischema import biuser ./rajdb.drdl
Enter password:

2016-06-17T14:55:02.541-0700 creating table employee
2016-06-17T14:55:02.572-0700 creating table emp_Pac_fla
2016-06-17T14:55:02.579-0700 creating table customer_transaction
2016-06-17T14:55:02.588-0700 creating table customer_transaction_Notes
2016-06-17T14:55:02.597-0700 creating table customer_transaction_SiteVa
2016-06-17T14:55:02.606-0700 creating table customer_transaction_URL
2016-06-17T14:55:02.614-0700 creating table customer_transaction_active

# to look at the tables in the BI schema, run below stmt.

检查已导入的外部表

[root@mongobihost]# mongobischema list biuser
Enter password:

employee

customer_transaction

customer_transaction_Notes

customer_transaction_SiteVa

customer_transaction_URL
customer_transaction_active

如何重启PostgreSQL，也可直接使用pg_ctl。

If you need to restart the BI Connector, then
sudo service postgresql-9.4 stop
sudo service postgresql-9.4 start

or 

pg_ctl restart -m fast -D /var/lib/pgsql/9.4/data

列出bi用户，也可以直接用PostgreSQL中的SQL或视图查看

# mongobiuser list

检查连接PostgreSQL是否正常

to check if things are okay on postgre Sql..

 psql -h localhost -p 27032 -U biuser
Password for user biuser:
psql (9.4.5 MongoDB BI Connector 1.1.3)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-RSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

biuser=> \d
                                                List of relations
 Schema |                                     Name                                      |     Type      | Owner
--------+-------------------------------------------------------------------------------+---------------+--------
 public | customer_transaction                                                            | view          | biuser
 public | customer_transaction_Notes                                                        | foreign table | biuser
 public | customer_transaction_SiteVa                                               | view          | biuser

biuser=> select * from "customer_transaction" limit 1;

现在你可以用BI软件连接PostgreSQL来分析存储在mongoDB的数据了。

小结

其实创建fdw没有这么麻烦，几条SQL语句就搞定了。 mongodb只是出于mongodb用户可能不熟悉PostgreSQL的考虑，把操作都封装成了命令，便于mongodb的用户使用。
如果用户未来又新增了需要分析的collection，使用导出和导入的步骤即可。
PostgreSQL作为mongodb bi connector的作用是扩充mongoDB的SQL功能，并不存储数据，数据都是在mongoDB中的。如果涉及到比较复杂的运算无法下推到mongodb，则会将数据提取到PostgreSQL本地进行运算（过程自动，对用户透明）。但是如果数据量非常庞大（例如每次分析都超过百GB需要提取）会被数据在网络传输的时间拖累。
如果数据量很庞大，建议还是讲mongoDB的数据导出到PostgreSQL或者Greenplum，直接在PostgreSQL或Greenplum中分析。效率会更高。
Greenplum 是基于PostgreSQL的一个MPP OLAP产品，在OLAP领域有着非常好的口碑，国内外的用户群也非常多。
用户群覆盖了互联网，金融、物流、政府部门等各大行业，最大的集群规模有超过1000 segment的。
20TB ~ 1PB 纯OLAP场景 Greenplum 会是更好的选择。
如何将mongoDB的数据导入PostgreSQL或Greenplum , 参考 , 或者直接使用SQL导入. create table local_table(表结构); insert into local_table select * from 外部表;

参考

扩展阅读

《当物流调度遇见PostgreSQL - GIS, routing, 机器学习 (狮子,女巫,魔衣橱)》
《PostgreSQL 如何轻松搞定行驶、运动轨迹合并和切分》
《PostgreSQL 百亿数据量地理位置数据近邻查询性能》
《利用OpenStreetMap（OSM）数据搭建一个地图服务》
《PostgreSQL 百亿数据秒级响应正则及模糊查询》
《ApsaraDB for Greenplum 云数据仓库》
《Greenplum 数据分布黄金法则 - 论分布列与分区的选择》
《阿里云ApsaraDB RDS用户 - OLAP最佳实践》
《Greenplum 资源隔离的原理与源码分析》
《三张图读懂Greenplum在企业的正确使用姿势》

祝大家玩得开心，欢迎随时来 阿里云促膝长谈 业务需求，恭候光临。

阿里云的小伙伴们加油，努力做 最贴地气的云数据库 。

时间： 2024-08-02 11:16:53

mongoDB BI 分析利器 - PostgreSQL FDW (MongoDB Connector for BI)的相关文章

MongoDB查询优化分析

在MySQL中,慢查询日志是经常作为我们优化查询的依据,那在MongoDB中是否有类似的功能呢?答案是肯定的,那就是开启Profiling功能.该工具在运行的实例上收集有关MongoDB的写操作,游标,数据库命令等,可以在数据库级别开启该工具,也可以在实例级别开启.该工具会把收集到的所有都写入到system.profile集合中,该集合是一个capped collection.更多的信息见:http://docs.mongodb.org/manual/tutorial/manage-the-

铁庵：NoSQL、RDS和大数据异构融合实战，详解PostgreSQL FDW功能原理

直播视频: (点击图片查看视频) 幻灯片下载地址:https://oss-cn-hangzhou.aliyuncs.com/yqfiles/e95acb3cc257c377ad8df5e944760638.pdf Why PostgreSQL ? 图一 PostgreSQL的发展历程 PostgreSQL的前身为ingres Database,从1973年伯克利分校的Ingres项目至今,PostgreSQL现已经过了几十年的发展.相比较于广泛使用MySQL开源数据库,我们之所以对Postgr

基于C#的MongoDB数据库开发应用（1）--MongoDB数据库的基础知识和使用

在花了不少时间研究学习了MongoDB数据库的相关知识,以及利用C#对MongoDB数据库的封装.测试应用后,决定花一些时间来总结一下最近的研究心得,把这个数据库的应用单独作为一个系列来介绍,希望从各个方面来总结并记录一下这个新型.看似神秘的数据库使用过程.本文是这个系列的开篇,主要介绍一些MongoDB数据库的基础知识.安装过程.基础使用等方面. MongoDB是一款由C++编写的高性能.开源.无模式的常用非关系型数据库产品,是非关系数据库当中功能最丰富.最像关系数据库的数据库.它扩展了关系型

MongoDB核心贡献者：不是MongoDB不行，而是你不懂！

近期MongoDB在Hack News上是频繁中枪.许多人更是声称恨上了MongoDB,David mytton就在他的博客中揭露了MongoDB许多现存问题.然而恨的人有之偏爱的也同样很多,作为回击:Russell Smith带来了多年工作经验的总结.Russell Smith曾担任Ops和大型网站缩放顾问并且帮助过Guardian.Experian等多家公司,MongoDB London User Group的联合创始人.作为MongoDB Master(MongoDB官方认可的MongoD

Linux下MongoDB的安装,通过配置文件启动Mongodb的方式研究，mongodb自启动脚本（Linux）,Windows下安装MongoDB服务

关于MongoDB的windows的安装,可以参考: http://www.runoob.com/mongodb/mongodb-window-install.html 关于Linux的安装可以参考: http://www.runoob.com/mongodb/mongodb-linux-install.html 使用MongoDB的场景: A:需要写入大量的数据,但是这些数据的价值并不是太高,比如:日志 B:数据增长量较大,而且数据结构有时候还不一致 C:未来数据会很大. 注意:Mongod

【mongodb系统学习之二】mongodb的启动

二.mongodb的启动: 1.在mongodb2.6.9的文件夹中建立data目录.logs目录以及 logs目录下的mongodb.log文件,如图: 2.进入到mongodb的bin目录中执行mongod命令,并指定相关的参数,如最简单的dbpath(数据存储目录).logpath(日志存储目录) ./mongod --dbpath=/mongodb/mongodb2.6.9/data --logpath=/mongodb/logs/mon

BI分析工具业务应用场景的注意事项

在创建BI业务应用场景和选择恰当的BI类别及风格时,需要考虑的关键数据或分析特征包括: 数据源.你的业务人员是否使用一组预定义的数据集,如来自某个特定业务应用程序或数据仓库的数据,或是他们在分析过程中自行决定需要什么样的数据? 绩效指标.你公司的绩效指标(也称为关键绩效指标或业务指标)是否已经定义且确定,或是业务用户在分析过程中自行创建这些指标? 重复做或一次完成分析.你的业务人员是否需要每天.每周.每月或每个季度重复做运营绩效快照,或是只需要分析一次? 可视化分析.你的业务用户是更偏好于表格式

【MongoDB for Java】Java操作MongoDB数据库_MongoDB

本篇文章主要介绍Java操作MongoDB. 开发环境: System:Windows IDE:eclipse.MyEclipse 8 Database:mongoDB 开发依赖库: JavaEE5.mongo-2.5.3.jar.junit-4.8.2.jar 一.准备工作 1. 首先,下载mongoDB对Java支持的驱动包驱动包下载地址:http://www.jb51.net/softs/41751.html mongoDB对Java的相关支持.技术:http://www.mongo

MongoDB快速入门笔记(八)之MongoDB的java驱动操作代码讲解_mariadb

MongoDB的Java驱动是线程安全的,对于一般的应用,只要一个Mongo实例即可,Mongo有个内置的连接池(池大小默认为10个). 下面代码给大家介绍MongoDB的java驱动操作,具体代码如下所示: import java.util.ArrayList; import java.util.List; import java.util.regex.Pattern; import org.bson.Document; import com.mongodb.MongoClient; impo