机器学习完成三步走战略:从科学项目到商业规划

2015年是机器学习技术在学术领域全面成形的一年。具体来讲,在这一年中其不再是一小部分数据科学家们的专利,而开始成为与每个人息息相关的成果——至少在理论上是如此。

而2016年则开启了由理论到实践的征程。机器学习技术的能力与承诺乃至一切与之相关的可能与支持机制,开始更为坚定地进入商业市场并致力于成为主流。

这股浪潮主要围绕着三大趋势展开:面向机器学习的新型改良工具集、更为强大(且更易于获取)的硬件选项以及更多负责提供各类开源与专有工具的云托管型机器学习“即服务”衍生成果。

1.新型改良工具集与框架帮助使用者减轻负担

曾几何时,如果大家希望在应用中使用机器学习技术,则必须自行构建算法。之后,第三方库的广泛出现能够帮助大家节约这种重新发明轮子的被动局面,但仍要求我们投入大量精力以实现其生产能力。而如今,各类出色的框架选项使得机器学习技术成为一种流水线式流程:一端输入数据,而后进行模型训练,即可最终获得可用结果。

那么是否还存在着比现有数据处理框架更为理想的机器学习实现方案?答案显然是肯定的。为了实现这一目标,Spark这一超高速热门数据框架不仅在2.0版本中进一步提升性能水平,同时亦添加了一套经过调整的机器学习库,旨在更好地补充Spark的新型内部架构。

另一种趋势同样值得关注:以往的产品虽然处理数据,但却无法直接接入机器学习机制,如今机器学习加速作为一类新型功能开始登场。内存内数据缓存系统Redis不仅能够承担数据库相关处理职责,亦会将Spark支持下的机器学习方案作为应用添加至其新型模块化架构当中。

第三种快速崛起的趋势在于用于开发机器学习软件的新型技术工具的涌现。有时候其会以全新语言的形式出现,例如Lift语言就专门用于编写可运行在CPU、GPU及其它硬件之上的高速并行算法; 有时候其体现为指向现有语言的工具集,例如强化C/C++应用以使用OpenMP工具集的Milk,其能够显著加快对大数据集的访问速度。

2. GPU与定制化硬件在云端及其它领域得到快速推广

如果没有极为强大的GPU为其提供计算资源,机器学习根本无法成为现实; 很明显,GPU确实提供了这一代CPU根本无法企及的强大数据处理能力。

正因为如此,2016年机器学习领域出现了两波与GPU相关的新动向。其一是在机器学习产品中大量出现利用GPU实现加速的方案,包括Spark等各类数据框架。GPU的出色加速能力亦引起了数据库应用产品的注意,特别是那些定位为能够处理大量数据的机器学习型系统。

第二波GPU相关变革在于,各家大型云服务供应商现在都开始将GPU加速型实例纳入其产品线。凭借云托管型GPU资源,客户们能够轻松购买到充足的处理资源以支撑自身机器学习训练任务,而这一点几乎无法通过传统的内部GPU驱动型机器学习平台构建方式实现。

Amazon不仅推出了GPU加持型实例,同时亦拿出了更为灵活的方案:大家可以随时添加或者移除实例中的GPU处理资源,而不必直接购买完整的GPU处理型实例。另一方面,谷歌方面也推出其首款GPU加持型实例,允许用户自由添加/移除相关功能。

微软Azure也在自家云产品线中纳入了GPU类机制,同时暗示称数据中心用户未来将能够迎来更为丰富的可编程硬件选项。作为一类高速可编程硬件,FPGA目前已经在Azure当中被用于实现网络提速,不过微软亦制定了长远计划,旨在利用类似的设备帮助客户处理各类计算密集型应用——例如机器学习。(Amazon方面也酝酿有类似的计划。)

当然,云端GPU方案也存在自己的弊端:大家可能无法随时获得业界领先的硬件配置。Amazon于今年9月添加新型GPU实例类型时,其仍坚持使用上一代GPU硬件——这可能主要是为了保证提供用户更为熟悉的选项,而非更新但更难于上手的方案。

3.云托管算法实现机器学习“民主化”,但成本依旧不菲

“民主化AI”这一说法来自微软公司,软件巨头借此宣传自身使命在于将机器学习资源通过云端交给每一位用户。当然,各大云巨头能够为这一目标而努力绝对是件好事:其提供的工具能够创建出各类智能化软件,并可与API一样轻松得到使用。

“人工智能即服务”则是另一类实现方法。与其它即服务类方案一样,云服务同样在其中占据重要地位——其不仅负责配置相关系统,同时亦进行模型训练并托管用于训练的对应数据。如果大家目前尚未将数据引入云环境,则可使用各类更为高效的新型解决方案——例如Amazon推出的单车100 PB Snowmobile服务。您没看错,单车的意思是这是一台装载有集装箱的卡车,其中的存储阵列可一次性迁移100 PB数量。

在大多数情况下,大家可以直接跳过训练流程而直接通过API实现各类功能。此类API强调的是功能的便捷性而非透明性:请求入、结果出。对于多数用户而言,这种能够最大限度减少工作量的解决方案已经足够理想。当然,这也意味着产生结论的机制更不透明。

为了解决这个问题,大家也可以依赖于您所熟悉的现有工具的云托管版本,利用其中提供的算法与机制。Spark就是这样一款工具,其缔造者(Databricks)以及IBM与微软等第三方服务商都在自己的云环境中提供其托管版本。

这套方案的优势在于,大家可以选择最适合自身需求的流程。相比之下,黑盒API流程则更适合那些不打算对机器学习方案进行修改,而仅需要处理结果的用户。不过着眼于未来一年,可能会有相当一部分企业希望推出自己的机器学习驱动型解决方案,并努力在这两类处理思路间找到平衡点。

本文作者:核子可乐

来源:51CTO

时间: 2024-10-23 12:38:55

机器学习完成三步走战略:从科学项目到商业规划的相关文章

周黑鸭:争取2015年A股上市 坚持“三步走”战略

周黑鸭向着登陆资本市场又迈进一步. 8月19日,湖北周黑鸭食品有限公司(简称"周黑鸭")总经理杜汉武向本报记者表示,2012年7月,周黑鸭刚刚完成第二轮融资,此次融资由IDG资本联手天图创投共同发起,总计投资规模1.5亿元. 这是继2010年11月周黑鸭完成首轮融资后的第二笔融资.彼时,天图创投投资6000万元与周黑鸭签订战略合作协议,希望共同打造一个国内市场领先的小食品连锁品牌. 至此,周黑鸭已经完成了两轮共计2.1亿元的融资.按照第二轮融资规模,杜汉武称,周黑鸭的市场估值已经达到了

建设网络强国“三步走”战略

<国家信息化发展战略纲要>是规范和指导未来10年国家信息化发展的纲领性文件,提出了网络强国建设的"三步走"战略目标. 第一步到2020年,核心关键技术部分领域达到国际先进水平.固定宽带家庭普及率达到中等发达国家水平,第五代移动通信(5G)技术研发和标准取得突破性进展.信息消费总额达到6万亿元,电子商务交易规模达到38万亿元,互联网国际出口带宽达到20太比特/秒(Tbps)-- 第二步到2025年,根本改变核心关键技术受制于人的局面.固定宽带家庭普及率接近国际先进水平,建成国

谈谈HTML基础代码学习三步走战略:一看、二记、三练

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 虽然现在建立一个网站很简单,只需要三步:一注册域名,二租用空间,三上传程序.但是建立网站之后一直到网站正式上线却需要很多步骤,首先是整理网站的结构.然后是对整个网站的文件代码进行分析与增减,而这个时候问题就出来了,很多站长不会HTML代码,怎么办?一个字:学. 如果你想要在互联网中大展拳脚,那么学会HTML代码是很有必要的,首先HTML代码能

新网站上线一周获得排名的三步走战略

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 做网站需要时间,做排名更是需要技术,但随着百度搜索引擎的算法不断变更,很多网站上线后都不能够在短时间中获得良好的排名,从中我们可以看出如今的大多数网站已经失去了真正的建站技术,也失去了让百度搜索引擎信任的基础. 面对新站不能够快速获取排名的尴尬现象,作为一名拥有三年多优化网站经验的站长不得不谈关于新网站上线获取排名的事情,那么作为一个新网站如

恒安电商明年三步走战略:减品分仓拓渠道

[http://www.aliyun.com/zixun/aggregation/32866.html">亿邦动力网讯] 12月26日,恒安电子商务总经理杨斌对亿邦动力网透露,2013年,电子商务被恒安集团定为战略发展目标之一,销售目标为1亿元,并通过严格控制SKU数量.建立分仓和开拓新渠道三方面入手. 亿邦动力网了解到,恒安于今年6月份正式开展线上业务,由独立的电子商务部门运营.目前恒安在天猫上拥有两家店铺,其中恒安天猫旗舰店"恒安生活馆"经营母婴.个人护理.家居生活

王晓初:中国电信“新三步走”新转型战略

在日前举行的"中国电信CDMA产业链高峰论坛"上,中国电信集团总经理王晓初透露"中国电信已确定下一步的发展思路,明确提出新转型战略,我们内部称之为'新三步走'. 王晓初还首次透露了中国电信的"十二五"规划:计划未来每年新增移动用户超过3000万,到2014年整体用户规模达到2亿,未来3年,中国电信新增用户的手机70%以上将是智能手机. "新三步走"战略 大力发展内容应用 王晓初说,"新三步走"战略包括:中国电信不愿只

“云海计划”三步走 九年实现产业升级

昨天举行的第三届上海市云计算应用推进大会透露,上海"云海计划"规划了推动http://www.aliyun.com/zixun/aggregation/13638.html">云计算发展的"三步走"战略,分9年实施. 其中,第一阶段(2010至2012年)重点是"自主研发.试点示范",现有十多家企业形成一批优秀的云计算解决方案:第二阶段(2013至2015年)重点是"优化环境.示范推广",明年起面向个人.企业.

成思危:风投3步走战略已实现 提倡新农风投

ChinaVenture北京时间6月4日上午消息,成思危在今日于深圳举办的十二届中国风险投资论坛上发来贺信指出,风险投资三步走战略已经实现. 他说,三农问题,需依靠科技教育.要实现农业现代化,提高农民收入.成思危认为,农民抗风险能力较差,可以将风险投资理念用于农业方面,这就要求风投家具备高度社会责任感,成为社会企业家.成思危总结,新农风险投资会取得星火燎原的效果. 以下为成思危贺信全文: 各位嘉宾.各位朋友,自从民建中央关于加快发展我国风险投资事业的提案在1998年被全国政协九届一次会议列为一号

联想PC逆市增长 杨元庆“三步走”超车图

摘要: 联想集团市场份额继续上涨,但联想集团董事长兼CEO杨元庆却认为:这(PC市场份额)不是最重要的,重要的是公司在新产品领域拓疆的能力. 11月7日,联想发布了截至2013年9月30日止的第 联想集团市场份额继续上涨,但联想集团董事长兼CEO杨元庆却认为:这(PC市场份额)不是最重要的,重要的是公司在新产品领域拓疆的能力. 11月7日,联想发布了截至2013年9月30日止的第二季度(自然年第三季度)财报.财报显示,联想在全球PC市场的份额达17.7%,连续两个季度成为全球最大个人电脑供应商,