MaxCompute上你从未体验过的数据分析和机器学习过程

在MaxCompute上,大家有很多种分析和机器学习的方式。大家可以用在数加的web界面编写SQL,提交SQL作业;可以用console直接执行SQL,等等等。那机器学习呢,大家需要通过PAI命令提交PAI任务,或者在xlab上操作xlib;画图呢?导出数据绘图或者使用xlab。而这一切工具,都是割裂的,你不得不在各个地方进行切换,而且,也没有传统的数据分析和机器学习的快感。

那传统的任务是怎么做的呢,使用RStudio或者jupyter notebook(前身是ipython notebook),R我不熟,但对于Pythoner,用pandas进行数据分析、绘图,再用scikit-learn执行机器学习算法,在一个notebook里,能做所有想做的事情,非常高效。

现在呢,整合这一切的就是PyODPS,我们包含有基础MaxCompute SDK,因此一切对MaxCompute模型的操作你都可以。除此之外,我们还包括了DataFrame框架,和机器学习模块,这一切操作都进行了整合。

话不多说,直接上截图。

DataFrame执行的过程。

这个是我们的任务执行的详细过程,我们的任务执行包含一定的显示信息,亦能轻松跳转到logview来查看明细。执行完成也有通知。

下面是我们完整的使用SQL、DataFrame和ML机器学习的过程。

而这一切,你自己也可以在本地完成。你只需要:

pip install pyodps[full]

然后随意到一个目录下,启动jupyter notebook

jupyter notebook

就可以体验和使用PyODPS哦。

我们的文档在:http://pyodps.readthedocs.io
欢迎吐槽。

时间: 2024-11-03 17:31:43

MaxCompute上你从未体验过的数据分析和机器学习过程的相关文章

细节上的用户体验做到位可以决胜千里

文章描述:用户体验之路 步步惊心. 百度百科说,用户体验(User Experience,简称UE)是一种纯主观在用户使用产品过程中建立起来的感受.但是对于一个界定明确的用户群体来讲,其用户体验的共性是能够经由良好设计实验来认识到.良好的用户体验是产品的制胜之道. 现在的网站,很多大同小异,做人无我有,人有我精,基本上就是一句乌托邦式的口号,所以,大家拼不过姿势拼知识,拼不过知识拼胆识,拼不过胆识拼不要脸--总之,条条大路通罗马,成王败寇.姿势嘛就是设计,知识嘛就是内容,胆识嘛就是创意,不要脸嘛

如何在MaxCompute上运行HadoopMR作业

本文用到的 阿里云数加-大数据计算服务MaxCompute产品地址:https://www.aliyun.com/product/odps MaxCompute(原ODPS)有一套自己的MapReduce编程模型和接口,简单说来,这套接口的输入输出都是MaxCompute中的Table,处理的数据是以Record为组织形式的,它可以很好地描述Table中的数据处理过程,然而与社区的Hadoop相比,编程接口差异较大.Hadoop用户如果要将原来的Hadoop MR作业迁移到MaxCompute的

MaxCompute上如何处理非结构化数据

0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件,拥有强大的计算能力,能够调度大量的节点做并行计算,同时对分布式计算中的failover,重试等均有一套行之有效的处理管理机制. 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑,在集团内外更是广为应用,在其上实现与各种数据源的互通,对于打通整个阿里云的数据生态具有重要意义.基于这一点,最近MaxCompute团队依托MaxCompute2.0系统架构,引入了非结构化数据处理框架:通过外部表,为各种数据在MaxC

云上开发者全新体验——OpenAPI Explorer诞生记

摘要: 本文的整理自2017云栖大会-南京峰会上阿里巴巴资深开发工程师黄俊华的分享讲义,讲义主要对于云上的开发工具进行了详细的介绍,先后介绍了SDK.API文档.Cli调试工具以及OpenAPI的相关知识,并着重对于OpenAPI Explorer进行了介绍. 在2017云栖大会-南京峰会上,阿里巴巴资深开发工程师黄俊华做了题为<云上开发者全新体验--OpenAPI Explorer诞生记>的分享.他在分享中对于云上开发工具中的SDK.API文档.Cli调试工具以及OpenAPI的相关知识进行

取代安卓/Win10!谷歌送上 Fuchsia 上手体验

谷歌显然并不甘愿躺在安卓的功劳簿上坐享其成,况且后者的身份还是"庶出". 所以,他们开发了Fuchsia(灯笼海棠),继Android和Chrome OS之后的第三款操作系统,而且这次的野心和定位都非常高,基于非Linux的自主微内核"Magenta",而且同时为搭载高速处理器的现代手机和PC服务,也就是要统一安卓和Chrome OS. 现在,9to5Google拿到了搭载谷歌Fuchsia的原型手机,并送上了上手体验. Fuchsia手机系统起名为Armadill

如何做好博客上的用户体验

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 在到处都讲求用户体验的互联网时代里,我们写博客的当然也要跟上时代的步伐.但是你是否清楚地认识到博客上的用户体验是怎么回事?当然,我不是设计师,相信90%以上的博客也都不是.所以我只是从内容展示上来思考一下博客的用户体验要怎么做. 很多读者和访客都是从搜索引擎来的,他们的目标非常明确,当读完所要的内容后,大部分都选择马上离开.但有的好奇者,还是

i黑马:雅虎将对主页进行改版,提供“跟得上时代的体验”

i黑马消息:北京时间2月21日早,雅虎CEO玛丽莎·梅耶尔(Marissa Mayer)周三在公司博客中宣布,雅虎将对主页进行改版,提供"跟得上时代的体验". 曾几何时,大门户的网站模板就已经定型,但是用这种"毫无变化"的方式去应对"瞬息万变"的互联网明显是行不通的,这次雅虎在梅姑的带领下就决定对雅虎主页进行大修改.黑马哥总结了一下,雅虎的这次改版主要包括了三个重点. (1)性化新闻定制是改版的重点 雅虎本次改版的焦点在于新闻,让用户可以根据自己

桌面上放的文件多了会影响机器速度吗?

问题描述 桌面上放的文件多了会影响机器速度吗? 解决方案 解决方案二:不會....解决方案三:不建议桌面放太多的东西基本上桌面上除了必须的的就不放其他的东西了可依然嫌桌面东西太多解决方案四:同时安装软件时不建议全部默认安装默认安装一般都在C盘一般非系统的东西不建议装在C盘当然了只是建议自己电脑自己做主用着习惯就好不过最好是各种东西归类好用着方便找着容易解决方案五:只是会影响内存占用.但是占用的内存可忽略不计解决方案六:基本不会影响电脑反应速度但会影响使用者找东西的速度....解决方案七:不会影响

在马斯洛的需求层次体系上考虑用户体验

今天早上会议中andy  budd 以对于"什么能让一个网站成为用户真正难忘的作品"的一些非常不错的见解开启了web用户体验大会. and budd 陈述的核心内容是其他行业对于良好用户体验带来的好处已经深深有所感悟,他们这些经验对于我们做web有好的借鉴性: 1.依赖第一印象:酒店了解这一点,因此,良好的酒店都会在酒店大堂提供微笑,在您的枕头准备巧克力和书面说明. 2.发现和注重细节:apple公司通过对细节的努力考虑,并考虑的结果应用到他们产品的包装上,从而实现了差异化.结果就是他