分布式机器学习平台 VELES

VELES 详细介绍

VELES 是分布式深度学习应用系统,用户只需要提供参数,剩下的都可以交给 VELES。VELES 使用 Python 编写,使用 OpenCL 或者 CUDA,利用基于 Flow 的编程。

VELES 是三星开发的另一个 TensorFlow。

主要特性:

只需一个命令就可以在 Notebook 或者 Cluster 上部署 VELES

从 250+ 优化单元中创建模型

使用 Loaders 在 Go 上分析和服务数据集

在 PC 或者高性能集群训练

交互式监控训练进程

公布结果

自动提取训练模型,跟一个应用一样

可以在云上运行

VELES 包含以下几个部分:

平台 - https://github.com/Samsung/veles

Znicz 插件 - Neural Network engine

Mastodon - Veles <-> Java bridge for Hadoop etc.

SoundFeatureExtraction - 音频特性提取库

文章转载自 开源中国社区[https://www.oschina.net]

时间: 2024-10-29 03:32:43

分布式机器学习平台 VELES的相关文章

大规模数据的分布式机器学习平台

来自阿里云IDST褚崴为大家带来分布式机器学习平台方面的内容,主要从大数据的特点和潜在价值开始讲起,然后介绍阿里的业务场景中常用到的机器学习算法,以及阿里采用的分布式机器学习框架,最后介绍了PAI算法平台,一起来看下吧.   大数据的特点和潜在价值 我们正在步入大数据的时代,大数据至少具备以下四个特点: 海量样本:数据的规模巨大,特征非常多,每40个月翻一番,数据管理复杂: 内容多样:非结构化数据.异质数据,每天产生的数据里有图像.语音.视频,还有各类传感器产生的数据,各种定位的信息,交易记录-

分布式机器学习平台比较

这篇文章调查分析了多个分布式机器学习平台所使用的设计方法,并提出了未来的研究方向.这是我与我的学生Kuo Zhang.Salem Alqahtani通力合作的成果.我们在2016年的秋天写了这篇论文,并且将在ICCCN'17(International Conference on Computer Communications and Networks,计算机通信与网络国际会议)上介绍这篇文章. 机器学习,特别是深度学习(DL),最近已经在语音识别.图像识别.自然语言处理.推荐/搜索引擎等领域获

PAI分布式机器学习平台

此篇为大家分享的PAI分布式机器学习平台,在大数据时代如何做到与众不同的服务?现今,数据就是资源毋庸置疑,利用大数据通过机器学习算法获取行为偏好,内容偏好,消费偏好做出决策,推荐乃至营销都有极大的可行性.PAI分布式机器学习平台就是这样一个产品,经过数据清洗.特征工程.离线训练.在线预测这些步骤,就能为你下一步发展做决策了.此平台有多种使用形式包括web界面.PyODPS.console,支持结构化和非结构化数据存储服务,模型管理多样.在阿里的应用也非常广泛如千人千面,证件智能审核功能等.未来的

双12根本不在话下,阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台XPS

阿里巴巴电商平台有上亿的用户和产品,每天产生百亿规模的用户反馈数据.比如淘宝首页的猜你喜欢场景,每天就有100亿规模的用户行为数据.如此超大规模的训练数据,给分布式机器学习带来了巨大的挑战,也引入了有趣的研究问题.2017年,阿里巴巴推荐算法团队和计算平台PAI团队合作打造了eXtreme Parameter Sever (XPS) 机器学习平台,其中eXtreme寓意为"追求极致", 体现我们希望设计具有极致性能和效果的机器学习平台的愿景.XPS平台已经广泛全流量运行在手机淘宝的猜你

PAI分布式机器学习平台编程模型演进之路

什么是PAI? PAI的全称是Platform of Artificial Intelligence,主要在使用机器学习做模型训练时提供整套链路.机器学习即服务,把机器学习作为服务对外推出,大家可以在平台上使用比较先进的机器学习算法.将多种深度学习框架集成到PAI中,同时基于深度学习框架包装成更加易用的组件.具备异构的计算服务能力,把CPU计算能力和GPU计算能力统一调度起来,异构的计算能力透明,大家的注意力是哪些机器学习算法可以帮助业务,不用关心底层资源的申请和分配.PAI也支持在线预测服务,

【对标TensorFlow】阿里公开内部超大规模分布式机器学习平台

近年来,随着"大"数据及"大"模型的出现,学术界和工业界对分布式机器学习算法引起了广泛关注.针对这一刚需,阿里集团和蚂蚁金服设计了自己的分布式平台--鲲鹏.鲲鹏结合了分布式系统及并行优化算法,解决了大规模机器学习算法带来的一系列问题,不仅囊括了数据/模型并行.负载平衡.模型同步.稀疏表示.工业容错等特性,而且还提供了封闭好的.宜于调用的 API 供普通的机器学习者开发分布式算法,降低使用成本并提升效率.相关论文在本届 KDD 以口头报告的形式发表(应用数据科学 Tr

卡耐基梅隆大学教授邢波:Petuum,大数据分布式机器学习平台

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的 2014中国大数据技术大会 (Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 2014中国大数据 技术大会首日全体会议中,卡耐基梅隆大学教授.ICML 2014程序主席邢波带来了名为"A New Platfo

阿里云机器学习平台编程模型演进之路

票选最美云上大数据暨大数据技术峰会上,阿里云大数据事业部高级专家九丰为大家带来题为"阿里云机器学习平台编程模型演进之路"的演讲.本文主要从机器阿里云机器学习平台PAI开始谈起,重点分享了PAI分布式机器学习平台的多种编程模型,包括MapReduce.Parameter Server和MPI等,也简谈了TensorFlow和Pluto.   以下为精彩内容整理: 随着训练数据规模的持续扩大,模型特征的持续增长,常用的机器学习算法面临着越来越多的挑战.从很多人熟悉的R语言,到基于MPI的多

阿里云机器学习平台——PAI平台

在云栖TechDay第十五期活动上,阿里云iDST资深技术专家褚崴给大家带来了<阿里云机器学习平台>的分享,他以机器学习的概念入手展开了此次分享,演讲中他重点介绍了阿里云机器学习平台的基础架构和产品特点,并结合阿里内部的芝麻信用分.推荐系统等场景讲解了PAI平台的具体应用方案. 下文根据褚崴的演讲内容整理.   机器学习 图一 机器学习分类 机器学习简单来说就是,人教机器在我们积累的数据当中发现规律,然后能够辅助我们来做一些预测和决策. 机器学习笼统地讲可以分为三类: 1)有监督学习(supe