前端在人工智能时代能做些什么?

之前很长的一段时间内,一直在做阿里云人工智能产品 ET,

做为了一名前端工程师,参与了当中的一些工程工作,分享出来,希望对大家有所帮助。

 
前端工程在人工智能的团队到底能做什么,体现怎么的价值?对此,可以先下图的一个总结,然后我会逐条分析

 

  

从我们的实践看,要完成一个完整的人工智能项目,三种东西是不可或缺的:算法,数据和工程。

而前端在这三个方向种,最容易参与进去,同时也最容易做出彩的地方就是在工程方面,我们把这块内容叫做大前端。

具体的大致可以分为五块内容:人机交互,数据可视化,产品Web, 计算,模型训练和算法执行。

对于前三点偏重交互的领域,毋庸置疑用前端做起来驾轻就熟,

而后面偏重计算的领域,前端是否合适做,或者说前端该怎么去做是有可以探讨的。

 

一.人机机互:

这个应该前端这几年重点发力,而且取得不错进展的地方。

特别是随着HTML5技术和移动互联网的普及,浏览器对PC和手机硬件的控制越来越好。

在AI的项目中,很多时候需要获取麦克风和摄像头的权限,好实现“听”,“说”, “看”的功能。

具体大家可以参考H5中的MediaDevices.getUserMedia 文档,里面对这块有详细的介绍。

其他,对于图片的处理,之前网上已经不少的用Canvas例子,我就不做过多的介绍。

这里重点对语音处理的内容,这块由于需要很多专业方面的知识,之前处理前端处理起来还是挺痛苦的,

不过现在Web Audio API 很好的解决了这个问题。

它提供了在Web上控制音频的一个非常有效通用的系统,允许开发者来自选音频源,对音频添加特效,使音频可视化,添加空间效果 等等。 

更有甚者,Chrome中已经自动集成了语音识别的基础SDK

 

 

 二. 数据可视化

数据可视化 可以是前几年特别火的一个方向,特别是大数据风起云涌的时候

而这些年明显的趋势就是人工智能,就是AI,在这里其实也有很多可视化的工作

比如我们在 ET 项目中就需要做很多声音的可视化

 

以及现在外面在做的一些人脸可视化的内容

 地址:PREDICTIVE_WORLD, the program that predicts your future/

 

 
三. 产品Web

任何人工智能的技术最终一定需要转化成实际的产品或者项目,这样的话,往往少不了Portal和控制台。

这些工作,前端的工作也是在所难免。

 

 
四. 算法执行

算法执行顾名思义,其实就是执行算法逻辑,比如人脸识别,语音识别  …

前几年有些大家对前端的认知还挺溜在纯浏览器端,但随着 V8 引擎在2008 年发布, Node.js 在2009 年 发布,前端的领地就扩展到服务器端,桌面应用。

这些算法执行的原先需要后端同学开发的,现在也可以由前端同学才做。

我们很多AI的项目,很多时候往往就是算法的同学提供给我们一些动态链接库或者C的代码,我们通过Nodejs驱动这些服务提供 http接口,浏览器通过ajax来调用这些接口。

更有甚者,现在PC性能体能,V8对JS执行的优化,特别WebGL 在各个浏览器端的普及

很多算法执行不一定并不一定需要在后端执行,浏览器也可以胜任。

比如:

Tranck.js :就是纯浏览器的图像算法库,通过javascript计算来执行算法逻辑

 

regl-cnn: 浏览器端的数字识别类库,与track.js 不同的是,它利用浏览器的WebGL 才操作GPU,  实现了CNN

 

五. 模型训练

虽然现在阶段也出现了像 ConvNetJS 这种在浏览器端做深度学习算法训练的工具,

但整理来讲,前端在这块还是非常欠缺的,缺少非常成功的实践。

究其原因,还是因为跨了领域,而且基础的专业类库往往都不是javascript写的,造成更大的隔阂

但就像谷歌的TensorFlow机器学习框架底层大部分使用 C++实现,但选择了 Python 作为应用层的编程语言。

Javascript 在各个端,特别是web端的优势,也是一门非常优秀的应用开发预发。

可喜的是看到挺多同学在往这个方向走,我们拭目以待

ConvNetJS:Deep Learning in your browser

 

 

 

 

 

 

时间: 2024-11-03 05:04:04

前端在人工智能时代能做些什么?的相关文章

一个崭新的"云"IT时代 我们需要做些什么?

本文讲的是一个崭新的"云"IT时代 我们需要做些什么,[IT168 资讯]云计算严格意义上来说是一个新名词,它既不是一项新技术,也不是一个新概念.甚至,云计算这个词本身就是值得商榷的,云的含义绝不仅仅是针对计算,而是IT系统建设的一个总体方针和大势所趋.云代表的是一个崭新的IT时代. 早在二十一世纪初,IBM就提出过On Demand随需应变,HP也提出过Utility Computing效用计算,H3C提出了IToIP.甚至在更早的上个世纪90年代中,全球各地就出现过一批以ASP(应

面对大数据与“工业4.0”时代 我们该做些什么?

大数据时代和工业4.0时代同时达到一个爆发期,这可以看作两化融合的最高阶状态.我们可以相信和憧憬,在这个数据与工业4.0充分融合的时代会给人类带来有史以来最大一次的生产力提高和解放.大数据和工业4.0融合的时代,这是个最好的时代. 大数据 大数据时代开始于2001年,我是比较认可这一观点的.因为大数据这个词语被创造出来是在20世纪90年代,在2000年的时候第一次在学术论文上有人将它提出,在2003年的时候在FrancisX.Diebolt在<宏观经济测量和预测的大数据动态因子模型>一书中正式

贝尔科教王作冰:人工智能时代,如何让孩子不被AI取代?

2016年初,人们还在惊叹Alpha Go的强大,但在2017年初,我们不能否认人工智能时代已经从方方面面渗透进我们的生活.去年发生了很多"AI取代人"的案例,这其实都说明了一件事,即人工智能会带来一场新的工作革命,它将对我们未来的工作和工作方式产生巨大的改变. 如何让我们的孩子在未来的人工智能时代立足?王作冰和贝尔科教给出的答案是:教育.贝尔科教成立于2011年,专注3至13岁的机器人儿童培训.贝尔科教集团创始人兼董事长王作冰表示,贝尔希望培养AI时代的原住民.   人工智能时代,教

人工智能时代,语音技术怎么赚钱?

雷锋网(公众号:雷锋网)按:本文由DeeperBlue发布于雷锋网.转载请联系授权,不得删减内容. 半个月前的锤子手机发布会让全国人民(包括我妈)知道了一家叫科大讯飞的公司,以及语音智能这件事. 我没有在现场.据说老罗向观众们介绍了锤子的主要合作伙伴科大讯飞的一款产品--讯飞输入法.老罗用很快的语速说出一大段长文字,讯飞做到了无时差翻出文字版本,并且识别结果几乎没有任何偏差,堪称完美,现场一片欢呼. 讯飞输入法支持 19 种方言输入,相比苹果的 Siri,以及微软的 Cortana,讯飞输入法显

CNCC 人物专访 谭晓生(下)| 人工智能时代的网络安全新发展

     现任奇虎 360 科技有限公司首席隐私官,2013 中国互联网安全大会主席. 2009 年 7 月加盟北京奇虎科技有限公司担任副总裁,负责公司网站技术.技术运维.数据分析与挖掘.云查杀.云存储等业务的技术团队管理. 1992 年毕业于西安交通大学计算机科学与工程系计算机应用专业.2003 年 1 月至今先后任 3721 技术开发总监.雅虎中国技术开发总监.雅虎中国 CTO.阿里巴巴-雅虎中国技术研发部总监.还曾任 MySpace CTO 兼任 COO. 目前还担任 CCF 副秘书长,Y

在人工智能时代,我们更需要理解自己的智能 | 艾伦脑科学研究所所长STEP峰会演讲实录

我们的大脑只有1.5千克,但对我们来说非常重要.是我们的大脑,而不是心脏,塑造了人的思维,帮助我们记忆.这也形成了科学研究中最具挑战性的难题之一:这个不起眼的器官,如何让我们拥有如此复杂的行为与记忆能力?我们尚不能理解,这一切是如何发生的. 这就是我们在艾伦脑科学研究所研究的物体.这个研究机构是由保罗·艾伦(Paul Allen)建立的,艾伦曾经与比尔·盖茨一起在微软工作,他在14年前建立了艾伦脑科学研究所.我们是一家位于西雅图的独立非盈利研究机构,支持了很多科学家和工程师进行基础脑科学研究.

将门CTO沈强:人工智能时代,技术创新将全面引爆商业变革

早在1956年,人工智能就在美国达特茅斯大学召开的学术会议上被提出,然而,经过整整一个甲子的起伏反复,却始终没能形成产业发展.进入2016年,借着AlphaGo与李世石的人机世纪对战,人工智能再次掀起一波小高潮. 正如将门CTO/创投创始合伙人沈强日前在接受ZD至顶网记者采访时所说,引爆一个技术一方面要求技术确实要达到一定的水平,另一方面也要有一些标志性的事件推波助澜,要有很好的技术PR效应.   将门CTO/创投创始合伙人 沈强 显然,AlphaGo为人工智能的"回归"做好了十足的舆

人工智能时代:云计算将掀起新的技术浪潮

2017年5月18日,在中国云计算技术大会CCTC上,CSDN网站创始人蒋涛表示,人工智能时代的云计算将掀起新的技术浪潮. 技术更新催生新一代云应用 蒋涛介绍说,PC互联网是最早的技术浪潮,技术浪潮背后的发展是由硬件.操作系统.中间件及应用组成的技术支撑体系,其中互联网的网络设备是核心的发展力量. 云的操作系统不再是Windows和Linux,而是OpenStack.云的OS不断地演变和发展是处于快速发展时代.云的中间件从Google的Map Reduce到Hadoop及技术中间件都是基于云的技

DT科技评论第9期:人类进入人工智能时代

DT科技评论 Data Technology Review 第 9 期           人民网研究院,阿里云研究中心 本期目录 谷歌发布五款硬件,人类进入人工智能时代 Akamai发布DDoS攻击分析,亚欧非大量摄像头被操控 扎克伯格领衔Oculus开发者大会,展示VR新技术,研发投资翻倍 三星收购智能助理公司Viv,在人工智能领域与苹果和谷歌竞争 IBM 2亿美元投入德国区块链物联网实验室 首份数据区块链技术医疗行业应用安全报告发布 IBM收购金融咨询公司Promontory,训练自家人工