E-MapReduce的Presto组件默认支持访问oss数据

阿里云E-MapReduce从EMR-2.1.0版本镜像开始,Presto组件默认就支持访问oss数据了,不再需要引导操作额外支持。

如何使用

创建集群,版本选择EMR-2.1.0,软件勾选Presto,等待创建成功。

验证

hive创建oss数据表

下文举了创建数据在oss上的uservisits表的例子,请将表名,字段,oss信息替换为您oss数据对应的信息
hive 进入hive cli

vpc网络可以使用MetaService不需要指定ak等信息:

CREATE EXTERNAL TABLE uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,userAgent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS SEQUENCEFILE
 LOCATION 'oss://<bucketname>/<datapath>'

经典网络目前还需要指定AK,oss host信息:

CREATE EXTERNAL TABLE uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,userAgent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS SEQUENCEFILE
LOCATION 'oss://<accessid>:<accesskey>@<bucketname>.oss-cn-hangzhou-internal.aliyuncs.com/<datapath>';

presto查询

退出hive cli,进入presto cli
presto --server localhost:9090 --catalog hive --schema default
执行show tables能看见刚刚创建的表,执行select counT() from uservisits能查到oss数据的条目。如果未显示,可能是还未同步,稍等一会

时间: 2024-12-10 21:07:01

E-MapReduce的Presto组件默认支持访问oss数据的相关文章

用引导操作打通presto访问oss数据

目前产品组件presto还不能直接访问oss数据,如果有需求,可以参考本文用引导操作打通presto访问oss数据. 准备脚本 下载 脚本,放在您的oss合适的目录里. 创建集群 参照 帮助文档 ,创建集群时点击添加引导操作,分别选择刚才上传的ossforpresto.sh脚本,创建以个引导操作步骤.集群创建好后,通过集群详情页的引导/软件配置:无异常来确定引导操作执行成功 验证 hive建表 下文举了一二创建数据在oss上的uservisits表的例子,请将表名,字段,oss信息替换为您oss

用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据

参照 集群脚本功能介绍,本文介绍如何用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据. 准备脚本 下载 脚本,放在您的oss合适的目录里. 运行脚本 集群列表页面点击对应集群的查看详情按钮 左侧菜单单击集群脚本,进入该集群的集群脚本执行界面 单击右上角创建并执行,进入创建界面. 选择刚才的脚本,设置名字,执行的节点默认,点击执行,完成添加并执行操作. 集群脚本列表可以看到新创建的集群脚本,点击刷新可以更新集群脚本的状态. 等待集群脚本完成 验证 hive建表 下文举了

用引导操作给E-MapReduce集群安装presto组件

当前emr最新版本1.3.0没有presto组件,需要额外安装.本文介绍如何用E-MapReduce引导操作来安装presto 0.147版本.引导操作可以在集群创建时执行指定的脚本,详见: 帮助文档 .我们要执行的引导操作是安装配置jdk8,安装配置presto 0.147,安装presto cli(可选). 准备脚本 上传安装jdk8的脚本 当前emr集群的jdk版本是1.7,由于presto 0.86以上版本最低jdk要求是jdk8,所以需要给集群安装jdk8.以后集群默认jdk版本升级到

jQuery技巧之让任何组件都支持类似DOM的事件管理_jquery

本文介绍一个jquery的小技巧,能让任意组件对象都能支持类似DOM的事件管理,也就是说除了派发事件,添加或删除事件监听器,还能支持事件冒泡,阻止事件默认行为等等.在jquery的帮助下,使用这个方法来管理普通对象的事件就跟管理DOM对象的事件一模一样,虽然在最后当你看到这个小技巧的具体内容时,你可能会觉得原来如此或者不过如此,但是我觉得如果能把普通的发布-订阅模式的实现改成DOM类似的事件机制,那开发出来的组件一定会有更大的灵活性和扩展性,而且我也是第一次使用这种方法(见识太浅的原因),觉得它

Google推多帐户登录功能 chrom即将默认支持网络应用

马甲帝们的春天到了,之前我们报道过的Google http://www.aliyun.com/zixun/aggregation/18736.html">允许用户同时登录多帐户并且实时切换的功能已经上线.马上进入你的Google-account页面,如果你足够幸运看到了"Multiple-sign-in"这个新的选项,那么你已经可以使用这个功能了.和我一样还看不到这个选项的也不要着急,Google的新玩意从来都是慢慢推广到所有用户的. 点击Multiple-sign-i

停用 Flash,“HTML5 默认支持”推广计划时间表

四个月前,谷歌宣布将转向"HTML5 默认支持",以便提供更安全.更节能的体验.在此提醒大家,这一变更将停用 Adobe Flash Player,除非用户指出他们需要在特定网站上保留 Flash 内容,最终所有网站需要得到用户的许可才能运行 Flash. 为确保平稳过渡,并非所有用户和网站都会立即受到影响."HTML5 默认支持"及相关用户提示将按下述方式逐步推出. 将花费几个月时间向用户推广该功能.未来几天,将为 1% 的 Chrome 55 Stable 用户

微软:新Windows设备需要默认支持TPM 2.0安全功能

在Windows 10系统中微软已经做出大量调整来提升安全性能,而现在微软进一步提升运行最新操作系统设备的安全等级.自今年夏天开始,微软表示需要所有Windows 10设备都默认支持TPM 2.0.可信任安全平台模组(TPM)是一种硬件级别的安全功能,需要专属的防篡改芯片整合到设备中来提升加密功能,用于生成.储存和认证目的的解码秘钥等.     TPM是Windows BitLocker加密的关键元素,而微软将其描述为"Windows 10 功能的关键组件并帮助贯彻我们对消费者的安全承诺.&qu

浏览器厂商开始默认支持WebAssembly格式

各浏览器厂商在WebAssembly相关的工作上已经达成了一种"共识",这使得各浏览器开始默认支持WebAssembly格式. 早在2016年11月,WebAssembly就已经进入"浏览器预览"(Browser Preview)阶段.在此阶段,主流浏览器都提供了一个具有WebAssembly开关标识的测试版本浏览器.随后的数月时间,各浏览器厂商需要在JavaScript API和二进制格式上做改进,并就此取得一致意见.近期发布的公告对WebAssembly做了界定

.NET Core采用的全新配置系统[5]: 聊聊默认支持的各种配置源[内存变量,环境变量和命令行参数]

较之传统通过App.config和Web.config这两个XML文件承载的配置系统,.NET Core采用的这个全新的配置模型的最大一个优势就是针对多种不同配置源的支持.我们可以将内存变量.命令行参数.环境变量和物理文件作为原始配置数据的来源,如果采用物理文件作为配置源,我们可以选择不同的格式(比如XML.JSON和INI等) .如果这些默认支持的配置源形式还不能满足你的需求,我们还可以通过注册自定义ConfigurationSource的方式将其他形式数据作为我们的配置来源. [ 本文已经同