未来 3-5 年内,哪个方向的机器学习人才最紧缺?

既然已经身在工业届,那么我就谈谈工业界未来几年需要什么样的机器学习人才。不谈学术界主要还是因为大部分人最终不会从事研究,而会奋斗在应用领域。相较而言,工业界对人才的需求更加保守,这和学术界不同。这受限于很多客观因素,如硬件运算能力、数据安全、算法稳定性、人力成本开支等。

这个答案可能更适合两类人: 

1. 在读的学生朋友 

2. 工作不久想要转行机器学习的朋友。

特别厉害的技术大牛建议探索适合自己的路线,而我只能谈一谈适合大部分人的路线。但在回答前,我还是忍不住吐槽一下那种简单回答 “深度学习”,“大数据”,“NLP”,“机器视觉” 的人。这每一个领域的小方向都多如牛毛,以自然语言处理 (NLP) 为例,细分有自然语言生成、自然语言理解,还有不同语言的语言模型。任何一个方向花几十年研究也不为过,只给出几个字的答案和买彩票有什么区别...

因此大部分机器学习实践者还是该脚踏实地。盲目追逐热点很容易跌进陷阱,而巩固基础、寻找自己擅长的领域和机器学习交叉点可以帮助你在未来的就业市场变得炙手可热,成为工业界最紧缺的人才。

0. 背景

工业界未来需要什么样的机器学习人才?老生常谈,能将模型应用于专业领域的人,也就是跨领域让机器学习落地的人。有人会问现在我们不就需要这样的人吗?答案是肯定的,我们需要并将长期需要这样的人才,现阶段的机器学习落地还存在各种各样的困难。这样的需求不会是昙花一现,这就跟 web 开发是一个道理,从火热到降温也经过了十年的周期。一个领域的发展有特定的周期,机器学习的门槛比 web 开发高而且正属于朝阳期,所以大家致力于成为 “专精特定领域” 的机器学习专家不会过时。

什么是特定领域的机器学习专家?举个例子,我以前曾回答 “人工智能是否会替代财务工作者” 时提到我曾在某个公司研究如何用机器学习自动化一部分审计工作,但遇到的最大困难是我自己对审计的了解有限,而其他审计师对我的工作不是非常支持导致进展缓慢。所以如果你有足够的机器学习知识,并对特定领域有良好的理解,在职场供求中你肯定可以站在优势的那一边。以我的另一个回答为例「阿萨姆:反欺诈 (Fraud Detection) 中所用到的机器学习模型有哪些?」,特定领域的知识帮助我们更好的解释机器学习模型的结果,得到老板和客户的认可,这才是算法落了地。能写代码、构建模型的人千千万,但理解自己在做什么,并从中结合自己的领域知识提供商业价值的人少之又少。所以调侃一句,哪个方向的机器学习人才最紧缺?答:每个领域都需要专精的机器学习人才,你对特定领域的理解就是你的武器。

当然,给喂鸡汤不给勺很不厚道,所以我也会给出一些具体建议。再次申明,我的建议仅给以就业为目的的朋友,走研究路线我有不同的建议,本文不再赘述。

1. 基本功

说到底机器学习还是需要一定的专业知识,这可以通过学校学习或者自学完成。但有没有必要通晓数学,擅长优化呢?我的看法是不需要的,大前提是需要了解基本的数学统计知识即可,更多的讨论可以看我这个答案「阿萨姆:如何看待「机器学习不需要数学,很多算法封装好了,调个包就行」这种说法?」。最低程度下我建议掌握五个小方向,对于现在和未来几年内的工业界够用了。再一次重申,我对于算法的看法是大部分人不要造轮子,不要造轮子,不要造轮子!只要理解自己在做什么,知道选择什么模型,直接调用 API 和现成的工具包就好了。

  • 回归模型 (Regression)。学校的课程中其实讲得更多的都是分类,但事实上回归才是工业届最常见的模型。比如产品定价或者预测产品的销量都需要回归模型。现阶段比较流行的回归方法是以数为模型的 xgboost,预测效果很好还可以对变量重要性进行自动排序。而传统的线性回归 (一元和多元) 也还会继续流行下去,因为其良好的可解释性和低运算成本。如何掌握回归模型?建议阅读 Introduction to Statistical Learning 的 2-7 章,并看一下 R 里面的 xgboost 的 package 介绍。
  • 分类模型 (Classification)。这个属于老生常谈了,但应该对现在流行并将继续流行下去的模型有深刻的了解。举例,随机森林 (Random Forests) 和支持向量机 (SVM) 都还属于现在常用于工业界的算法。可能很多人想不到的是,逻辑回归 (Logistic Regression) 这个常见于大街小巷每一本教科书的经典老算法依然占据了工业界大半壁江山。这个部分推荐看李航《统计学习算法》,挑着看相对应的那几章即可。
  • 神经网络 (Neural Networks)。我没有把神经网络归结到分类算法还是因为现在太火了,有必要学习了解一下。随着硬件能力的持续增长和数据集愈发丰富,神经网络的在中小企业的发挥之处肯定会有。三五年内,这个可能会发生。但有人会问了,神经网络包含内容那么丰富,比如结构,比如正则化,比如权重初始化技巧和激活函数选择,我们该学到什么程度呢?我的建议还是抓住经典,掌握基本的三套网络: a. 普通的 ANN b. 处理图像的 CNN c. 处理文字和语音的 RNN(LSTM)。对于每个基本的网络只要了解经典的处理方式即可,具体可以参考《深度学习》的 6-10 章和吴恩达的 Deep Learning 网课 (已经在网易云课堂上线)。
  • 数据压缩 / 可视化 (Data Compression & Visualization)。在工业界常见的就是先对数据进行可视化,比如这两年很火的流形学习 (manifold learning) 就和可视化有很大的关系。工业界认为做可视化是磨刀不误砍柴工,把高维数据压缩到 2 维或者 3 维可以很快看到一些有意思的事情,可能能节省大量的时间。学习可视化可以使用现成的工具,如 Qlik Sense 和 Tableau,也可以使用 Python 的 Sklearn 和 Matplotlib。
  • 无监督学习和半监督学习 (Unsupervised & Semi-supervised Learning)。工业界的另一个特点就是大量的数据缺失,大部分情况都没有标签。以最常见的反诈骗为例,有标签的数据非常少。所以我们一般都需要使用大量的无监督,或者半监督学习来利用有限的标签进行学习。多说一句,强化学习在大部分企业的使用基本等于 0,估计在未来的很长一阵子可能都不会有特别广泛的应用。

基本功的意义是当你面对具体问题的时候,你很清楚可以用什么武器来处理。而且上面介绍的很多工具都有几十年的历史,依然历久弥新。所以以 3-5 年的跨度来看,这些工具依然会非常有用,甚至像 CNN 和 LSTM 之类的深度学习算法还在继续发展迭代当中。无论你现在还在学校还是已经开始工作,掌握这些基本的技术都可以通过自学在几个月到一两年内完成。

2. 秘密武器

有了基本功只能说明你可以输出了,怎么才能使得你的基本功不是屠龙之术?必须要结合领域知识,这也是为什么我一直劝很多朋友不要盲目转机器学习从零做起。而学生朋友们可以更多的关注自己感兴趣的领域,思考如何可以把机器学习运用于这个领域。比如我自己对历史和哲学很感兴趣,常常在思考机器学习和其他文科领域之间的联系,也写过一些开脑洞的文章「 带你了解机器学习 (一): 机器学习中的 “哲学”」。

而已经有了工作 / 研究经验的朋友,要试着将自己的工作经历利用起来。举例,不要做机器学习里面最擅长投资的人,而要做金融领域中最擅长机器学习的专家,这才是你的价值主张 (value proposition)。最重要的是,机器学习的基本功没有大家想的那么高不可攀,没有必要放弃自己的本专业全职转行,沉没成本太高。通过跨领域完全可以做到曲线救国,化劣势为优势,你们可能比只懂机器学习的人有更大的行业价值。

举几个我身边的例子,我的一个朋友是做传统软件工程研究的,前年他和我商量如何使用机器学习以 GitHub 上的 commit 历史来识别 bug,这就是一个很好的结合领域的知识。如果你本身是做金融出身,在你补足上面基本功的同时,就可以把机器学习交叉运用于你自己擅长的领域,做策略研究,我已经听说了无数个 “宣称” 使用机器学习实现了交易策略案例。虽不可尽信,但对特定领域的深刻理解往往就是捅破窗户的那最后一层纸,只理解模型但不了解数据和数据背后的意义,导致很多机器学习模型只停留在好看而不实用的阶段。

换个角度思考,不同领域的人都有了对机器学习的理解能更好的促进这个技术落地,打破泡沫的传言。而对于大家而言,不用再担心自己会失业,还能找到自己的角度在这个全民深度学习的时代找到 “金饭碗”。所以我建议各行各业的从业者不必盲目的转计算机或者机器学习,而应该加深对本专业的了解并自学补充上面提到的基本功,自己成为这个领域的机器学习专家。

3. 弹药补给

没有什么不会改变,这个时代的科技迭代速度很快。从深度学习开始发力到现在也不过短短十年,所以没有人知道下一个会火的是什么?以深度学习为例,这两年非常火的对抗生成网络 (GAN),多目标学习 (multi-lable learning),迁移学习 (transfer learning) 都还在飞速的发展。有关于深度学习为什么有良好泛化能力的理论猜想文章在最新的 NIPS 听说也录了好几篇。这都说明了没有什么行业可以靠吃老本一直潇洒下去,我们还需要追新的热点。但机器学习的范围和领域真的很广,上面所说的都还是有监督的深度学习,无监督的神经网络和深度强化学习也是现在火热的研究领域。所以我的建议是尽量关注、学习了解已经成熟和已经有实例的新热点,不要凡热点必追。

如果你有这些基本功和良好的领域结合能力,三年五年绝不是职业的瓶颈期,甚至十年都还太早。科技时代虽然给了我们很大的变革压力,但也带给了我们无限的可能。技术总会过时,热点总会过去,但不会过去的是我们不断追求新科技的热情和对自己的挑战。

欢迎加入机器学习的世界 ʕ•ᴥ•ʔ

本文作者:AI研习社

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-09-17 03:30:31

未来 3-5 年内,哪个方向的机器学习人才最紧缺?的相关文章

揭秘国内机器学习人才的职业发展/就业方向/薪资状况

一.机器学习相关的公司分析 1.大的有师傅的公司 这类公司主要是百度,阿里和腾讯.共同的特点是数据很大,机器学习的团队比较庞大,一般进去的同学都可以有师傅带着学习,进步会比较快. 但是三个公司的特点也有所不同. 百度是我认为在业务和技术之间匹配的最好,并且从基础到应用搭配的最好的公司.机器学习方面的能力对于百度的广告,搜索,移动搜索,LBS,应用分发,移动音乐,移动阅读,移动新闻,图片搜索,语音输入,浏览器,视频等所有业务都非常重要:而百度也非常重视机器学习团队的搭建.目前在产品方面的表现也非常

如果他们在未来的几年内技术水平没有突破性的提升,或者缺乏一点灵性和品味,那么可能在未来很长一段时间内,他们都会保持这个薪资水平(转)

程序员很穷,他们要么是显得很穷,要么是真的很穷. 前几天一位做市场的同事跑过来问,池老师,我有一位朋友,快 30 了,想转行写程序,您觉得有戏吗?我看了看满目疮痍的他说,如果是你就没戏. 30 多岁转行做程序员当然可行,毕竟历史上存在一些大器晚成的案例,这些经过渲染和修饰的案例给在时间长河中苦苦挣扎的人们带来些许希望的火光,但那毕竟是火光,一阵风来过,也许就灭了.如果你真的热爱技术和编程,渴望通过自己的代码实现别人的想法,或自己的想法,为世界带来更美好的产品,那么任何时候学习编程都不晚,编程给你

车联网将成“北斗”未来一个非常大的应用方向

中国科学院光电研究院研究员."北斗卫星导航系统"科学家徐颖25日在香港表示,作为基础平台的北斗导航系统可以提供最底层的数据,在此数据上可以衍生出无数的行业,从技术的发展趋势上看,车联网将是"北斗"未来一个非常大的应用方向. 徐颖当日在由团结香港基金主办的"创科博览"上发表"改变我们生活的北斗卫星导航"演讲,从导航的起源."北斗"的发展和应用等方面讲述了导航系统给生活带来的改变. 谈到在车联网领域的应用时,徐

C2B必将成为传统产业未来转型升级的重要方向

摘要: 6月12日,IDC(互联网数据中心)在京发布<电子商务驱动传统产业升级转型>报告,报告称随着传统产业产能过剩问题的加重,以及消费者个性化诉求的增长,需求驱动(C2B)的产业发 6月12日,IDC(互联网数据中心)在京发布<电子商务驱动传统产业升级转型>报告,报告称随着传统产业产能过剩问题的加重,以及消费者个性化诉求的增长,需求驱动(C2B)的产业发展模式必将成为传统产业未来转型升级的重要方向. IDC报告的数据显示,从使用网络的人群年龄结构上看,2013年,互联网在90后人

蜀山电子商务产业园未来还需约10万名电商人才

蜀山电子商务产业园今年将提供一万多个就业岗位,未来还需约10万名电商人才.只要你是电子商务.国际贸易.市场营销等经济相关专业,都可能在这儿找到工作.昨日,国家级电子商务示范基地合肥(蜀山)国际电子商务产业园与省内十余所高校签订了学生就业战略合作协议.从今年起,安徽工商职业学院.安徽国际商务职业学院等十余所高等职业院校的学生,只要学的是电子商务.国际贸易.市场营销等和经济.网络相关的专业,不仅在校期间,可在该园区各大知名电商企业里实习.实践,毕业后还可优先进入这些企业工作. 蜀山经济开发区党工委书

农村安防 未来安防发展新方向

过年回家,求的是平安与团聚,但仍然出现一些不好的插曲,其中最为严重的是偷盗事件的频发,造成不少被偷之人钱财具损.农村安防的缺失,成为安防市场的漏洞,是未来安防发展的新方向. 每年春运,大批人潮涌向农村,a&s小编也是春运大潮中一员,回到家乡,不禁感叹家乡的变化,拔地而起的高楼.宽敞平坦的大道,就连村口也装上了路灯,却少了一件极为重要的设备--监控.其中最为亮眼的要数村长家新修的高楼,不仅请专业设计师设计,且家电设备一应俱全,然而在立屋办酒的当天,招来了小偷的光顾,不仅家人亲戚钱包.手机.首饰纷纷

立足现状分析未来移动搜索的发展方向

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 今年是移动设备发展迅速的一年,苹果.HTC.小米等手机都以其特有的优势,在市场中迅速的崛起.我们可以说互联网的下一个春天将会诞生于移动网络上.随着移动网络和移动设备的发展,所带动的是一系列的产业链,其中影响最大的就是移动的搜索.据不完全统计,目前在互联网上的搜索流量中有五分之一是来自移动搜索的.而且这一数据正在以惊人的速度增长.面对移动搜索份

手机投影仪的未来:五年内将成为手机标配

张昊 通过在手指上安装特殊的传感设施,你可以在一张纸上上网.玩游戏,也可以在手上映射出键盘,拨打电话.当然,如果摆出照相姿势,你还可以"捕捉"风景. 也许你会问这不是科幻电影里的画面吗?但美国MIT Media Lab(麻省理工学院媒体实验室)的学生普拉纳夫会告诉你,这是真的.他发明了一项结合实体世界和虚拟世界的科技,通过摄像机记录周围的一切,经过计算后,再通过投影仪就可以把信息传递到任何一个"屏"上. 有专家称,这项发明将改变世界,至少可以改变人们对"屏

Facebook开源项目TIP惹争议 未来或向RAND授权方向发展

据Light Reading报道,为了消除初创公司和投资者对开源技术的疑虑,社交网络巨头Facebook正在其电信基础设施项目(TIP)内部设立一个新的小组,将支持基于"合理和非歧视"(RAND)原则进行网络技术授权. 这一举措反映了围绕Facebook承认的开源技术的业务模式困惑和担忧,也意味着那些将这家互联网巨头视作坚定盟友的开源玩家们面临着风险. 于2016年初推出的TIP计划,被认为是对缓慢发展的网络设备行业的一个挑战,该计划一直在利用开源代码和软件来加速新的低成本技术和创新技