一个苦逼工程师对大数据的一点浅谈

2012年12月13日中国云计算大会在中关村软件园开始了第二天的日程,由于同事无法参加,于是我便趁此机会感受一下IT领域的前沿科技,做为公司里一名普通工程师的我,也比较喜欢关注IT互联网领域里的最新动向,尤其是近几年涌现出了很多名词,比如云计算、虚拟化、大数据,这些披着华丽外衣的新鲜事物被各个厂家炒的不亦乐乎,有时候和同行们交流的时候,不整点新鲜词汇好像都被时代淘汰了一样。

  对于一个每天埋头苦干的我来讲,接触最多的就是系统、数据库、应用等等,我们每天要很努力的保证他们不出意外,否则就要丢掉饭碗,而近年来虽然总是听到各个互联网大佬们都在谈论什么云计算、虚拟化等等,但是这些东西在头脑中总是没有一个清晰的概念,云到底为我们带来了什么?虚拟化身上到底有什么让人如此疯狂?到底多大的数据才算是大数据?其实我想真的只有置身于火海之中,才能感受到其中的魅力吧,虽然每天也在追求所谓的互联网趋势,但是趋势到底在哪里?

  在这里我不会长篇大论互联网趋势,太多概念性的文章网上一搜一大把,这里主要记录我对大会的一点心得。

大数据

  大会的主题是大数据,这是今天会议主会场讨论的焦点,现场嘉宾来自政府、海外,还有很多企业的主管等,但是需要承认的一点是80%讨论的内容我都听不懂,这其中包含了金融、教育、行业利益等等企业家们所关注的话题,这些对于一个关心底层技术的我来讲着实有点高深莫测,但是由谢文老师等人组成的圆桌会议讨论了很多我感兴趣的内容。

  其实我所认为的大数据就是超级大的数据,他们跑在分布式架构的hadoop中,但是为什么不用oracle呢?为什么一定要用分布式系统呢?今天的会议给了我不错的答案。

  如何在极短的时间内统计出用户在某一时刻的行为信息,这是在处理大数据过程中值得关注的一点,随着移动终端的普及,各个厂商的应用层出不穷,而这些信息就产生在日志记录中,最终随着时间的推移,日志越来越多,数据越来越大,将这些信息都扔掉吗?显然不能,对互联网敏感的大佬们早就看出了数据对于整个行业的影响力,举一个现实生活中的例子,我们去中介看房子、买房子等等,最后我们发现不只是中介这一家个公司给你打电话做推销,医疗、教育、甚至保险公司天天给你打电话,这是为什么呢?因为我们的信息、我们的个人数据被中介公司给卖掉了,我想这就是数据的价值,当然这是一个反面例子,但是我们想象一下,如果我们善用这些数据,那么我们的生活会发生怎样的变化,通过数据分析我们可以知道下一顿饭吃什么比较合适,通过分析我们可以了解自己是一个什么样的人,因为这些信息都来自平时上网时产生的动作记录,通过复杂的数据算法,计算出我们想要的种种结果,在未来可能会没有高考,每个人出生后就会有一个电子档案,里面记录了你从小到大的全部信息,情商、智力、学习成绩等等,到那时可能就不会单用高考这一个门槛来抉择一个人的命运。

分布式系统

  通过上面来看,我们不难想象为什么会用到分布式处理系统,如果只是一个人一天的信息,那我有把握用一张纸就能算清楚,但是互联网每天产生的数据已经是pb级别了,如此繁多的数据一定需要有一个强有力的平台来计算,更何况在特定的时候我们要在几毫秒的时间内在pb级的数据中计算出我们想要的结果,这样也就不难理解在分布式系统中hadoop的重要性了,其大量数据的计算性能远远不是普通关系型数据库所能比拟的,站在这个角度上来看,我们就不难理解虚拟化的魅力所在了,在虚拟化的支持下可以极大的降低硬件成本,最大化的扩展硬件利用率,最后我们把这个庞大的系统理解为云。

未来机器替我们思考?

  数据在经过及其复杂的计算后,我们得到了想要的结果,但我们会不会因此失去独立思考的能力呢?其实现在互联网的便利已经使大多数人离不开他,网络上我们叫这种人为搜素一族,什么事情他们都喜欢看看网络上给出的结果,而且还认为那是比较权威的答案。而随着数据时代的到来,人们可能会更加依赖于这个平台,例如前面所说,计算一下我们就可以知道下一餐吃什么比较好,甚至公司在招聘的时候都不用面试,只要通过计算就可以知道这个人的来龙去脉(当时是要在法律允许下)

  在数据面前我们会不会失去思考,我们会不会离不开数据计算的结果,这依然是一个很有趣的迷。

写在最后

  为了参会请了一天假,但是这一天还是比较值得的,通过一天的学习,我终于对这些华丽的名词有了那么一丁点的理解,在大会中不难看出每一个厂商对未来数据时代都充满了期待,这其中不仅包括硬件、技术,还包括更多的合作、利益、隐私及法律,最重要的是他有可能是即互联网时代后再次改写人类文明的新篇章。

时间: 2024-11-03 13:12:26

一个苦逼工程师对大数据的一点浅谈的相关文章

新产业倒逼新环境 ——“大数据时代的上海机遇”

从大数据产业掘金,对于上海的重要意义不言而喻.最近,不少政府委办.高校,纷纷研讨"大数据产业",希望加快产业推进步伐.但在一片热闹声中,我们是否意识到,大数据产业之"新"不仅在于技术,更在于它将深刻影响产业链和社会运行模式,倒逼我们营造适应新产业的新环境. 培养"数据科学家"正当时 据统计,当今世界在24小时之内,就可以产生出相当于16.8亿张DVD容量的数据:产生2940亿封电子邮件,相当于全美国在2年中产生的纸质邮件.人类至今获得的全部数据,

JavaScript数据操作_浅谈原始值和引用值的操作本质_javascript技巧

我的一句话总结:原始值不管是变量赋值还是函数传递都不会改变原值,引用值不管是变量赋值还是函数传递,如果新变量重新赋值,则不会影响原引用值,如新变量是直接操作,就会影响原引用值. 首先明确,值和类型是两个不同的概念.例如,null是null类型的唯一值.undefined是undefined类型的唯一值.而true和false是boolean类型仅有的两个值等.在任何语言中,值的操作都可以归纳为以下3个方面. 复制值:即把值赋值给新变量,或者通过变量把值赋值给另一个变量.属性或数组元素. 传递值:

一个苦逼文案自述如何高效精准做内容营销

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 我是一码字的 一位文案去拜访大师:"为什么我专心写一个文案,只要一个晚上功夫,可通过项目经理那关却要修改五六次,折腾了三天三夜终于出了最终版的稿子,却还要担心到甲方那里马上被毙掉?""请你倒过来试试.你花三天三夜的功夫写一个文案,兴许一次就能秒了项目经理和客户."大师说.文案照办,在某个月黑风高的晚上就

一个苦逼老板的自明星救赎之路

很久没有做秦刚访谈了,一是最近比较喜欢写案例方面的文章,二是没有特别有意思的访谈对象. 不过今天秦刚访谈的主角比较有意思.他是一个在北京的北漂老板,3个月前他也和其他传统行业的苦逼老板一样,每天都在煎熬和郁闷中度过,虽然每年也有几十,上百万的收入,但是每天都面临招人难,培训苦,养人累,开人烦等等痛苦的事情,心里不舒坦,赚多少钱都觉得很郁闷. 但是最近这位网名叫在北京放牛(微信&QQ:199557)的苦逼老板开始转型做自媒体,结果一下从苦逼老板,变成了一个非常开心的自媒体明星,具体让我们看看今天的

两年SEO工作经验还是一个苦逼的seoer

做SEO已经两年了,朋友们已经是好多站的站长了,而且有的都在网络公司或者医院做网络主管了,收入都在7000以上,我现在还是在做着SEO.ZAC老师的<SEO实战密码>已经被翻烂了,该懂的也都懂了.那么有朋友就会问了,怎么你朋友这么牛,你怎么还在做SEO呢? 主要由以下两个原因构成: 一,任何东西都学,任何东西都不精通. 由于感觉自己年龄还小,多学点知识怎么都会有用的,也很容易就会学会.所以今天想学PS了,明天就想学竞价了,后天便想学PHP了.到头来什么都不精通,就数SEO是最拿手的了.所以现在

大机会?大风险?大忽悠? ——它们有一个共同的名字叫“大数据”

导读 大数据实际上有三个主要的理解:大数据确实带来了大的机会;大数据也引来了大风险;大数据本身非常像大忽悠. 一.大数据带来大机会 各行各业突飞猛进地运用大数据 先说大数据,大数据到来之后,包括电子商务.零售企业.交通运输.信息产业.公共卫生.教育以及生产企业对零部件的监测,各个产业实际上都在突飞猛进地运用大数据.在这当中,在全球范围内形成了很多重要的案例,我简单介绍几个. 1 TARGET 在大数据领域做的最好的一个公司叫Target.它用抽样调查和大数据结合,构造了整个智能的广告推送系统,做

大西南,迎来另一个“大牛市”戴尔!“大数据+云计算”开启贵阳信息化新纪元

·戴尔与贵阳高新翼云签署中小企业云合作协议,并为戴尔-高新翼云IT联合实验室进行揭幕. ·戴尔通过"筑梦成真"项目向贵阳市白云区牛场布依族乡中心完小捐赠"戴尔学习中心",致力于以技术弥补数字鸿沟. ·此次合作标志着贵阳大数据产业发展和信息化水平迅速提升的态势,也是戴尔植根中国.助力中国信息化发展的又一重要里程碑. 2015年5月27日,贵阳 -- 在5月26日至29日的贵阳国际大数据博览会上,戴尔宣布与贵阳高新翼云签署中小企业云合作协议,并为戴尔-高新翼云IT联合实

InfoSphere Streams一个分析移动中的大数据平台

来自多个来源的信息正在以难以置信的速度增长.互联网用户数量在 2012 年已经达到 22.7 亿.每一天,Twitter 都会生成超过 12 TB 的 tweet,Facebook 生成超过 25 TB 日志数据,纽约证券交易所采集 1 TB 交易信息.每天会创建大约 300 亿个射频识别 (RFID) 标记.此外,每年销售的数亿台 GPS 设备,目前正在使用的超过 3000 万个连网的传感器(而且每年在以高于 30% 的速度增长),都在产生数据.这些数据量预计在未来 10 年中每 2 年就会翻

祝建华:一个文科教授眼中的大数据

大数据正是大热.我做了个小统计,SCI/SSCI期刊上已发表270篇有关大数据的研究论文,大部分是最近一两年内出现的.其中来自计算机科学和工程技术的最多,分别占了27%;其次是医学生物化学(20%)和基础研究的数学.物理等(11%);最少的是工商管理(8%)和社会科学(7%).我涉及的就是最后这15%的研究. 用现在的网络语言,我是一个文科男.最近莫言在接受诺贝尔奖时说了一句话,文学不是科学,文学是做无用的东西.我想说明一下文学不等于文科,文科的面更广,可以进一步分为人文学科和社会科学.社会科学