海量数据计算应该如何选择数据库

背景

随着大数据的应用越来越广泛,应用的行业也越来越低,我们每天都可以看到大数据的一些新奇的应用,从而帮助人们从中获取到真正有用的价值。在阿里云的云数据库RDS版中,提供了大数据计算服务(MaxCompute,原名ODPS),它是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。通过数据集成服务,可将 RDS 数据导入 MaxCompute,实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据应用计算方案。

前提

需开通 MaxCompute 服务,并完成项目设置。

需开通数据集成服务

 

操作步骤

 

   1. 登录 RDS 管理控制台,选择目标实例。

   2. 在 RDS 实例上增加数据集成的白名单。

  

   3.登录 MaxCompute 管理控制台,创建 MaxCompute 数据表。

4. 登录 数据集成管理控制台,设置 RDS 源库和 MaxCompute 目标库信息。

5 设置数据集成同步字段。

6.设置数据集成速度与出错控制。

7. 完成设置后,将数据导入
MaxCompute。

 

8.登录 MaxCompute 管理控制台,执行查询操作,如下图所示。



参考

基于MaxCompute的大数据计算

时间: 2024-09-21 19:11:14

海量数据计算应该如何选择数据库的相关文章

超越传统:NoSQL数据库大比拼 助你轻松选择数据库

在两三年前,选择数据库是一件非常容易的事.资金充足的企业会选择甲骨文数据库,使用微软产品的企业通常SQL Server,而预算不足企业则会选择MySQL.不过,如今的情况已经大不相同了. 最近两三年,许多企业都推出了他们自己的开源项目以用于存储信息.在许多案例中,这些项目抛弃了传统的关系型数据库准则.许多人将这些项目称为NoSQL,即"Not Only SQL"的缩写.虽然有些NoSQL数据库很简单,但是还有一部分NoSQL数据库极为复杂.不过,它们的目标都是通过替代关系型数据库,并实

在选择数据库的路上,我们遇到过哪些坑?(2)

[编者按]你会怎么选择数据库,是关系数据库.XML 数据库.资源描述框架(RDF),还是图形数据库?本文的第1部分深入而生动地探讨了各种选择.在第2部分,将深入介绍使用 Neo4j 的注意点.文章系国内 ITOM 管理平台 OneAPM 编译呈现. 过渡到 Neo4j 之后的经验和教训 下面介绍一些有关运行 Neo4j 的实用技巧: 1. 如果你是 Java 商城,请嵌入式地运行 Neo4j Neo4j 是本地 Java 平台,我们又是 Java 商城,用 Neo4j 相当合适.嵌入 Neo4j

MYSQL创建、删除和选择数据库

3.3 创建.删除和选择数据库    MySQL提供了三条数据库级的语句,它们分别是: CREATE DATABASE 用于创建数据库,DROP DATABASE 用于删除数据库,USE 用于选择缺省数据库.    1. CREATE DATABASE 语句    创建一个数据库很容易:只要在CREATE DATABASE 语句中给出其名称即可:    其中限制条件是该数据库的名称必须是合法的,该数据库必须不存在,并且您必须有足够的权限来创建它.    2. DROP DATABASE 语句 

sql2000备份的数据库还原到sql2005后,选择“数据库关系图”提示:此数据库没有有效所有者,因此无法安装数据库关系图支持对象的解决方法

sql2005|备份|对象|解决|数据|数据库  sql2000备份的数据库还原到sql2005后,选择"数据库关系图"提示:此数据库没有有效所有者,因此无法安装数据库关系图支持对象.若要继续,请首先使用"数据库属性"对话框的"文件"页或  ALTER  AUTHORIZATION  语句将数据库所有者设置为有效登录名,然后再添加数据库关系图支持对象.       解决方法如下: 1.设置兼容级别为90(2005为90)  USE  [maste

在选择数据库的路上,我们遇到过哪些坑?(1)

[编者按]你会怎么选择数据库,是关系数据库.XML 数据库.资源描述框架(RDF),还是图形数据库?这篇演讲深入而生动地探讨了各种选择.本文系国内 ITOM 管理平台 OneAPM 编译呈现. 备注:在去年十月于旧金山举办的 GraphConnect 大会上,FactGem 公司首席技术官 Clark Richey发表了这篇演讲,解释了他决定选择 Neo4j 数据的原因. 我是 FactGem 的首席技术官 Clark Richey.FactGem 是一家小公司. 在这里我想说一说我们是怎么开始

解决海量数据计算、降低企业成本的利器——MaxCompute

想不想知道,用户积累超4亿的墨迹天气,是如何完成分析他们那每天超400G的庞大用户数据,并提供个性化服务的吗? 想不想知道,受大家广受欢迎的弹幕式视频直播网站熊猫TV,是如何实现离线.流式两种不同场景的数据分析的吗? 答案是MaxCompute.看到这里,相信很多人都会不禁在心里嘀咕一句,什么是MaxCompute? MaxCompute(原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute能向用户提供完善的数据导入方案,以及多种经典的分布式计算模型,能够更快速

期刊,报纸, 电子书,博硕文章, 专题数据库,每个滑块下面有个下拉列表框选择数据库的名称,下拉列表框后面有个文本框,和按钮,如果处理第二个滑块(报纸)的下拉框该

问题描述 问题:有5个滑块:期刊,报纸,电子书,博硕文章,专题数据库,每个滑块下面有个下拉列表框选择数据库的名称,下拉列表框后面有个文本框,和按钮,如果处理第二个滑块(报纸)的下拉框该如何处理了?谢谢1.<divclass="searchMain"style="display:block;"><divclass="searchBorder"><asp:DropDownListID="DropDownList

选择数据库审计的三大理由

本文讲的是选择数据库审计的三大理由,黑格尔曾说,"存在即合理",用在数据安全领域,同样适用.一款数据库安全产品的诞生,必有其存在的合理之处.有数据显示,超过90%的数据都是从数据库中泄露出去的,因此,围绕核心数据安全防护,数据库安全产品首当其中. 从国内权威IT研究咨询机构CCW Research发布的2015年<数据库安全市场现状与发展趋势研究报告>报告中不难看到,数据库审计市场份额占据半壁江山,用户对数据库审计产品的认知度也比较高.那么,基于用户的需求,为什么要用这款产

ODOO中通过域名来自动选择数据库

安装了一个Odoo8的测试环境,给不同的客户建立了不同的数据库,为了不让客户访问时看到其它数据库选择,需要把选择数据库的功能隐藏起来.每个客户分配一个域名,用不同的域名来自动关联数据库.   在之前openerp7应用中,有人提到了通过修改源码的方式来实现,但实际体验不太好,后来看了odoo8中的代码,实际上系统本身就已经提供了类似的功能.       def db_filter(dbs, httprequest=None):       httprequest = httprequest or