2017年,这两个大数据岗位一定会火!

讨论哪个大数据岗位会火之前,我们先来简单的分析一下大数据领域的行情,这里重点说一下当前的情况。

2016年,互联网行业遇到了资本寒冬,抛开大公司不说,一些中小型的公司不断的缩减预算,因为很难融到钱。

但是从大数据这个角度出发去看的话,会发现即使其他类型的技术岗位行情不太好,但大数据领域一直还是不错的,这一方面国内大数据政策推动的原因,另一方面是中小型的公司想拿到钱那必须有可谈的技术故事,是的,那就是数据,或者说数据驱动。

所以,不管怎么说,17年,整体大数据领域的整体市场需求还是偏良性的(相对于其他技术类型来说)。

但是,受14年开始,大数据培训市场批量水流线生产大数据工程师的影响,目前大数据需求市场会有些小混乱,所谓混乱是指技术水平参差不齐,包括大量打着大数据旗号的传统数据库工程师(这个很大一部分原因也是培训机构造成的);企业需求招聘不清晰、对大数据岗位定位混乱。

这种乱象,从身边获取的简历,各种招聘现象,以及各种大数据讨论社群的相关话题讨论中可以看出。

并且这种乱象会持续比较长的一段时间,直到接受正统知识体系教育科班大数据工程师们充斥需求市场,降低大数据速成工种比例,以及企业公司对大数据有足够的认知之后,才会逐渐消失,市场价格才会逐渐趋于良性(当然,那个时候大数据领域的技术福利就会下降了)。

还是以2017年说事,受大数据培训市场进一步影响,以及受各大院校16年开始往大数据市场池子投放正规军的影响,低门槛的大数据开发,以及相对基础要求较低的数据分析类的大数据职位会有一些影响。

总体表现就是薪酬好像不会像以前那般好谈了,然后就是缺口也在慢慢的变小,因为市场上绝大部分的号称大数据工程师的都是处于这种阶段的。

当然,能够上升到诸如大数据架构师这种级别的人,依然是市场的香馍馍。

基于以上这些情况,在大数据领域中,还是有些岗位需求量会走高的。

是的,2017年一定会火的。

算法以及数据挖掘

当然,这里指的算法以及数据挖掘与传统的可能还是有所区别的,不管是模式还是所使用的工具,或者各种工程化的形式,区别还是蛮大的,可能不变就是算法的原理了。

国内四五年的大数据发展落地,抛开大些的公司不说,就绝大部分一般公司来说,在基本数据处理,数据浅层价值的挖掘(最典型如报表价值的输出)这块已经有足够的累积了。

那必然会往更高层级去演化,诸如挖掘数据中的个性化,做一些更深层次的预测,以及研究内容的深层价值,文本挖掘、NLP等,甚至是深度学习,人工智能AI的层级。

这些领域除了比较新的深度学习、AI等,其他其实在更早的时候都有人在研究,那在这里为何把他列到这里来说,那是因为个人数据挖掘与大数据关联之后,很多东西都有其独特性。

包括数据各个阶段处理的模式,应用场景的不同,实际工业生产中算法设计的模式(最典型如大数据模式下,偏爱于统计分析即样本数对结果影响较大的算法),甚至是算法最终工程化的模式,使用到的工具,都有很大差别。

最起码,我个人认为,传统的数据挖掘工程师与我这里所说的数据挖掘工程师还是两类人。

但是,我们也知道,学校里是很难有大数据挖掘这种专业存在的,所以,这个岗位的人才来源有两种:

懂算法以及数据挖掘相关东西,补充大数据相关知识结构体系,逐渐适应大数据模式下的挖掘模式。

在大数据领域摸爬滚打足够多的年份,逐渐从实操中补充数据挖掘相关知识体系结构。

前一种人理论知识足够丰富,但是在工程化的能力上以及实际应用场景的映射上稍弱,一不留神只能在大公司能找到角色定位,因为中小公司养不起不能实际工程化只会理论的纯算法工程师。

后一种人实操能力会比较强,理论相对比较薄弱,但能根据实际业务场景设计算法模型,还能负责工程化业务化,这种人在中小型公司吃得开,在大公司估计只能沦为纯算法研究工程师的工程化助手。

但不管哪种,在2017年,都会迎来需求新高,并且在百家齐放的时代,野路子出身的实操数据挖掘选手反倒会更受欢迎,毕竟纯算法研究的人力的成本太高。

数据爬取工程师

或许有个更为熟知的简称“爬虫工程师”。

其实一直以来,大部分人对于爬虫工程师的认知,或许并不会归于大数据领域中来,但我个人认为最起码从16年开始,应该是要归于大数据体系的。

我记得在《DT时代变革的反思》一文中(这篇是15年写的,你看现在互联网开放数据真的是被重视起来了,茫茫多以公开数据起家的公司),甚至在其他相关的文章中,一直强调大数据时代一个很重要的数据来源,那就是互联网公开数据集。

在2016年,这个特征表现的尤为突出,各种公司纷纷把目光定准互联网公开数据集,以期通过互联网公开数据,挖掘其中的价值,意图变现。

在他领域就不都说,在大数据垂直行业,比较典型的就是催生了很多以互联网公开数据为基础数据来源的各种数据分析咨询顾问公司。

关注新媒体行业的,估计没几个人不关注的,毕竟没几个人不用微信的,诸如新榜(前几天的2017新榜大会还是蛮轰动的),其监测的数据应该绝大部分都是通过检测爬取的方式获取的。

那么,在2017年,数据爬取只会和大数据领域联结的更紧密。

作为大数据整个业务链路中的第一环,负责数据源的接入,有什么理由把人家单独丢开呢?!

在2017年,“内容价值变现”口号“甚嚣尘上”同时,作为抓住内容第一环,海量数据的获取,数据爬取工程师的重要程度会逐渐被人认可。

当然,与此同时,上面说到的数据挖掘岗位,偏向于文本挖掘、画像体系构建、NLP之类的,也会更受欢迎。

所以

是的,2017年,这两个大数据的岗位一定会火起来,不信,我们到时候瞧瞧(反正不准你咬不了我 哈哈)。

其实还有更大的证据证明这两个岗位一定会火起来。

我司,俺部门(大数据部门)招数据挖掘&爬虫工程师,当然还有大数据开发工程师,你看连我司都招了,大数据市场这几个职位能不火么。

好了,不扯,说正经的(好像说着上面都不是正经的样儿):

1、需求数据挖掘工程师一枚,不要纯搞算法理论的,需要有算法分布式工程化能力,需求文本挖掘项目经验。

2、需求大数据开发工程师一枚,三年左右大数据技术背景,各种hadoop生态组件都玩过点,能够进行spark应用开发,会点java后端东西,附带点数据挖掘技能更佳。

3、需求爬虫工程师一枚,java爬虫、python爬虫体系都无所谓,需求能够规模化、自动化爬取数据,会点java后端技能更好,有微信、微博数据爬取更佳。

最后,讲真,这两个方向在大数据领域真的是有市场的,挖掘算法类的就说了,跟不少猎头类的朋友也都聊过,一直是刚需,而爬虫类的,应该会被逐渐重视的,因为数据获取的模式逐渐在改变。

本文作者:blogchong

来源:51CTO

时间: 2024-09-27 18:24:15

2017年,这两个大数据岗位一定会火!的相关文章

2017永洪科技济南大数据峰会邀请函

会议背景 大数据经济时代,数据分析支持企业决策,数据分析产品层出不穷,数据分析技术与行业应用渐成各行业追逐热点. 2017永洪科技济南大数据峰会,汇集各方专家.学者及行业人士,分享实际案例,探讨大数据时代的技术及应用根本,解读大数据分析痛点,"数造未来",与数据分析生态各方更好地掘金大数据时代. 会议亮点 群贤聚会 思想碰撞 大数据分析及大数据生态各方,探讨大数据时代数据分析之道,精析数据分析的时代价值,产品.服务.营销.生态,共同实现成功. 垂直应用 数造未来 互联网.金融.制造.电

近两年大数据运用在地产领域增长率达38%

大数据作为这几年最热的概念,早已进入金融.医疗.广告领域.虽然商业地产领域引入大数据时间较短,但发展势头十分迅猛.日前,2016中国商业地产大数据领袖峰会暨商业地产大数据联盟启动仪式上,发布了国内首个<中国商业地产大数据市场白皮书>.中商数据CEO 周长青表示:"近两年大数据运用在地产领域增长率达38%,增速居十大领域首位.大数据在商业地产的应用将迎来高速发展期." 目前,国内大数据在商业地产领域运用,存在分析和应用环节较薄弱,应用深度不足的问题.仅有20%的数据对于商业地

微信发布2017国庆长假出游情况大数据报告

微信发布2017国庆长假出游情况大数据报告,从出境人数.热门地区.境外消费等角度展示国庆期间微信用户的出游情况.9月29日至10月6日期间,微信用户总出境人数达到数百万级别,境外消费也随着微信支付等移动支付方式的海外开通水涨船高,香港是本次假期中最热门的出行目的地, 购物消费依旧是人们最主要的支出.     出境旅游迎高峰,数百万人选择到远方看看 据国家旅游局统计,2017年上半年,我国出境旅游人数达到了6203万人次,比上年同期增长了5.1%.随着我国经济的发展的良好态势,更多的民众选择到海外

6个公司的大数据岗位的面试经验

本人住在有人间天堂之称的城市,6年多开发经验,最近2年主要在做大数据相关的开发,最近考虑换工作,基本也只考虑大数据相关岗位.目前新工作已经找好,但想分享一下最近面试的失败一些经历(成功的那些就不讲了),吐槽吐槽,跟广大吃瓜群众分享一下过程中的经历心得,我的语文体育老师教的,还请大家莫怪.   1.公司:国内知名电信运营商,其下面的大数据研究院,面两轮   一面:技术人员面,先自我介绍,项目经验相关介绍,问比较细,问了一些Hadoop.HBase的问题,JAVA基础,JVM内存分配小于32G原因,

2017年能源行业在大数据和人工智能领域的投资增长10倍

根据最近发布的一份报告,能源行业2017年在大数据和人工智能领域的投资增长了10倍. 调查机构BDO会计师事务所进行的研究发现,涉及能源公司和人工智能初创公司的并购活动的投资由2017年第一季度的约5亿美元飙升至第二季度的35亿美元. 此外,收购交易的数量也在上升,从6宗增加到8宗.与今年上半年完成的14宗交易相比,2016年全年只有15宗. BDO公司表示,"我们认为未来几年将成为这种并购趋势的早期阶段."该公司认为这些并购活动的大部分交易是由于能源企业需要改进分析来管理间歇性可再生

R语言领跑 大数据岗位霸占IT薪酬榜单

在过去一年中,技术行业的整体收入增幅约为3%,而熟悉大数据相关语言.数据库以及技能的人才则在其中扮演着薪酬领跑者的角色. 根据Dice网站最新公布的2013至2014http://www.aliyun.com/zixun/aggregation/10529.html">薪酬调查报告,2013年美国技术行业平均工资由上年的85619美元提升至87811美元.这家技术求职网站同样指出,其中最显眼的是,目前十大薪酬最高的IT岗位当中有九个都与大数据相关技术密不可分. R语言领跑整份薪酬榜单,这套

IBM连续两年大数据市场占有率全球第一

ZDNet至顶网服务器频道 04月22日 新闻消息:IBM 近日宣布,根据市场调研机构Wikibon最新研究报告<大数据供应商收益与市场预测>,IBM连续两年实现大数据市场占有率第一,领跑报告中的70多家大数据供应商.同期,IBM年度报告也显示,2013年IBM大数据分析领域营收高达160亿美金. Wikibon报告称,2013年,IBM发布了多项大数据技术创新,包括PureData System for Hadoop.BLU Acceleration.新版BigInsights以及Watso

电信联通联合发布两项大数据新产品

9月20日,在第25届中国国际信息通信展上,中国电信与中国联通共同发布了<APP榜单>和<风险防控白皮书>,将大数据的安全规范应用提升到新的高度. 随着信息通信技术深入到国民经济各行各业,大数据已成为国家基础性战略资源,2015年8月,国务院印发<促进大数据发展行动纲要>,部署推动大数据发展和应用. 运营商大数据具备全面性.多维性.中立性.完整性特征.中国电信和中国联通本次发布的两款产品,通过制定明确的产品规范和标准,有效保障用户信息安全,客观.全面.有效的提供大数据服

两横两纵+大数据:百度移动营收25%

万万没想到,百度Q1的移动营收超过了25%. 这个真金白银的数字,不但位居中国互联网三座大山BAT之首(是阿里巴巴集团的两倍,其移动营收占比11%,腾讯控股则干脆未予公布),更逼近美国搜索引擎Google的33%. 倘若李彦宏寄予厚望的百度地图.百度钱包能真正横向打通旗下14款安装量过亿的APP,与手机百度.91助手两大纵向入口互为倚角,加上在大数据的布局和深厚技术积累,百度的移动营收还能涨. [移动营收令人意外,超阿里腾讯] 最近传出的一个消息,令少人大跌眼镜. 据悉,今年上半年受移动搜索流量