新工具——TensorLayer:管理深度学习项目的复杂性

更多深度文章,请关注:https://yq.aliyun.com/cloud



对于深度学习开发者来说,深度学习系统变得越来越复杂。以至于我们需要使用轻量级的工具从头到尾来管理流程,为了将更多的连续学习内置到神经网络中,这就要求我们建立可以迭代增强的更有弹性的数据集以及更多的动态模型。

深度学习开发人员必须花费大量的时间来整合神经网络的组件,管理模型生命周期,组织数据和调整系统并行度等等。随着使用新的培训样本后,人类对于神经网络模型的见解,更新模型和跟踪其变化的能力就变得非常必要了。为此伦敦帝国理工学院的一个团队开发了一个python库来管理跨学科开发人员项目的复杂迭代过程。

为了更好地管理开发过程,该团队开发了一个通用的Python库——TensorLayer。这个库集成了很多开发过程中包括的方法,其中包括(操作、模型生命周期、并行计算、失败)都以模块化进行抽象。这些模块包括以下功能:用于管理神经网络层、用于管理模型和其生命周期、用于管理数据集、最后是解决容错的工作流模块。而TensorFlow是培训和推理的核心平台,它为MongoDB提供了存储空间。这些API的使用可以在文末链接中查看,正是由于这些API的存在,TensorLayer才会如此的强大。

深度学习的开发人员可以借助TensorLayer的功能编写了多媒体应用程序。这些功能包括提供和导入层实现,构建神经网络,管理模型生命周期,创建在线或离线数据集,以及编写训练计划。这些功能分为四个模块:层,网络,数据集和工作流。

该团队表示,虽然像Keras和TFLearn这样的工具现在很有用,但它们并不像网络那样可以随网络的扩张变得更复杂甚至无限制的迭代。它们提供了必要的抽象,以降低使用工具的门槛,但又掩盖了很多底层的算法。虽然对开发者有好处,但是相对来说底层技术就变得难以调整和修改,而底层技术的修改和调整,这在解决许多现实世界的问题上是非常必要的。

与Keras和TFLearn相比,TensorLayer不仅提供了高级抽象,而且提供了包括数据预处理、训练、训练后处理,以及服务模块和数据库管理在内的端到端工作流程,这些是开发者建立一个完整模型所需要的全部过程。

TensorLayer倡导更灵活且可组合的范式:神经网络库可以与本机引擎交换使用。这允许开发者轻松地利用预建模块,而且不会影响可见性。这种非侵入性也使得与其他TF的包装器如TF-Slim和Keras合并成为了可能。并且开发小组认为,灵活性不会影响性能。

该小组在文档中中强调了许多应用,其中还提供了有关每个模块、整体架构和当前开发的详细信息。应用包括生成对抗网络、深层加强学习、最终用户环境中的超参数调优。自去年GitHub发布以来,TensorLayer已经被用于多模式研究、图像转换和医疗信号处理。

TensorLayer正处于积极的发展阶段,而且从开放社区获得了许多贡献。它已被伦敦帝国理工学院,卡内基梅隆大学,斯坦福大学,清华大学,加州大学洛杉矶分校等大学研究人员广泛使用,还包括谷歌,微软,阿里巴巴,腾讯,ReFULE4,彭博等许多工程师。

TensorLayer安装:

TensorLayer需要一些预安装库,如 TensorFlow , numpy 和 matplotlib。 对于 GPU 加速,需要安装 CUDA 和 cuDNN。

如果你遇到麻烦,可以查看 TensorFlow
安装手册
 ,它包含了在不同系统中安装 TensorFlow 的步骤。

如需了解更多关于TensorFlow 的相关功能,请点击:TensorLayer 中文文档

文章原标题《Managing Deep
Learning Development Complexity》

作者:Nicole Hemsoth 译者:袁虎 审阅:阿福

文章为简译,更为详细的内容,请查看原文

时间: 2024-10-02 09:32:30

新工具——TensorLayer:管理深度学习项目的复杂性的相关文章

新工具——TensorLayer:管理深度学习发展的复杂性

更多深度文章,请关注:https://yq.aliyun.com/cloud 对于深度学习开发者来说,深度学习系统变得越来越复杂.以至于我们需要使用轻量级的工具从头到尾来管理流程,为了将更多的连续学习内置到神经网络中,这就要求我们建立可以迭代增强的更有弹性的数据集以及更多的动态模型. 深度学习开发人员必须花费大量的时间来整合神经网络的组件,管理模型生命周期,组织数据和调整系统并行度等等.随着使用新的培训样本后,人类对于神经网络模型的见解,更新模型和跟踪其变化的能力就变得非常必要了.为此伦敦帝国理

GitHub 上 57 款最流行的开源深度学习项目

GitHub 上 57 款最流行的开源深度学习项目 本文整理了 GitHub 上最流行的 57 款深度学习项目(按 stars 排名).最后更新:2016.08.09 1.TensorFlow 使用数据流图计算可扩展机器学习问题 TensorFlow 是谷歌的第二代机器学习系统,按照谷歌所说,在某些基准测试中,TensorFlow 的表现比第一代的 DistBelief 快了2倍. TensorFlow 内建深度学习的扩展支持,任何能够用计算流图形来表达的计算,都可以使用 TensorFlow.

私人珍藏,九个开源的顶级深度学习项目

在过去几年,计算机科学家在人工智能(AI)方面取得了巨大的飞跃,也让人工智能技术变得越来越普遍. 而深度学习无疑又是人工智能的研究热点,那么现在都有哪些最流行的开源深度学习工具? 本文将为您推荐最着名的9个开源顶级深度学习项目. 1. Caffe Caffe最初由加州大学伯克利分校博士生创建,是一个深受欢迎基于表达体系结构和可扩展代码的深度学习框架.受欢迎是因为它的表达架构.可扩展代码和速度. 操作系统:Windows,Linux,macOS. 2. CaffeOnSpark 首先在雅虎开发,将

AI初创公司Bitfusion融资500万美元简化深度学习项目

人工智能工作负载的复杂性可以让这些负载非常难以部署.应用团队必须构建专门的基础设施,有效地支持运行在底层的深度学习神经网络算法,而这正是Bitfusion正在努力解决的问题. 这家初创公司在新一轮融资中获得500万美元,投资方包括Sierra Ventures.Data Collective.Resonant Ventures Partners和Geekcom(一家位于美国德克萨斯州的加速器).Bitfusion宣布该消息的同时,还推出了Bitfusion AI Platform,这是一个革新的

Facebook开源深度学习项目Torchnet

Facebook发表了一篇学术论文和博客,详细介绍基于Lua的Torchnet项目.这是一个以深度学习为中心的新的开源项目,以之前开源的Torch库为基础构建. 在一次采访中,Facebook人工智能研究实验室(FAIR)的Laurens van der Maaten指出,它可以用于类似图像识别.自然语言处理这样的工作,其方法和面向Theano框架的Blocks和Fuel Python库类似.他还指出: 举例来说,它让完全隐藏I/O[输入/输出]开销变得非常简单,如果想要训练一个实际的大规模深度

深度学习项目实战——“年龄预测”

更多深度文章,请关注:https://yq.aliyun.com/cloud 介绍: 你可以通过阅读或者观看视频/MOOC来学习数据科学,接着你就必须将学到的知识应用到解决问题当中来.你需要完成这两件事才能有效地完成你的学习计划.接下来这篇文章旨在向你介绍深度学习如何应用到一个有趣的问题. 今天我们将用深度学习来解决年龄检测问题. 如果你是刚刚想要进入深度学习领域的new boy.请先阅读下面的文章,它们能帮你了解并且快速进入深度学习领域: https://www.analyticsvidhya

DARPA 开发用于自然语言处理的深度学习项目

美国国防部高级研究计划局(DARPA)正在开发能够更好理解人类语言的深度学习技术,可以自动向情报分析人员汇报有用信息. 提到人工智能和自然语言处理,人们会想到谷歌.微软和雅虎等公司,却忽略了另外一条技术鲶鱼--DARPA.后者目前正在开发的一个"文本深度发掘与过滤"项目(DEFT),能够分析人类自身难以胜任的超大规模文本处理工作. 从DARPA的官网我们了解到这个项目启动与2012年中,至今已经开展了四年半时间,以下是DARPA官网对DEFT项目的介绍: 自动化的深度自然语言处理(NL

【榜单】GitHub 最受欢迎深度学习应用项目 Top 16(持续更新)

Neural Style Star:12122 Github 地址:https://github.com/jcjohnson/neural-style 这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文"A Neural Algorithm of Artistic Style"的一个实现.论文中提出一种算法,用卷积神经网络将一幅图像的内容与另一幅图像的风格进行组合.下面是一个将梵高<星

深度学习将成为中国监控市场增长的新引擎

据IHS Markit最新视频监控市场调查数据,2016年中国视频监控摄像机出货量达5820万台,仅比去年增长了2.3%,远低于2015年(34.6%)与2014年(38.5%).2013年(29.6%)的增长率,这也意味着当前中国市场摄像机的覆盖已经趋于饱和,而未来市场对于摄像机的主要需求将是由摄像机功能升级的更替驱动.因此可以确定的是中国视频监控摄像机两位数增长的出货量时代已经结束,而未来驱动市场的将是以深度学习视频分析为特征的智能摄像机的更替. IHS认为,中国视频监控市场在2016-20