大数据时代 命令行技术过时了吗?

文章讲的是大数据时代 命令行技术过时了吗,随着《关于促进大数据发展的行动纲要》(简称“《纲要》”)日前正式下发,《纲要》提出,大数据成为推动经济转型发展的新动力。大数据产业正在成为新的经济增长点,将对未来信息产业格局产生重要影响。伴着这股潮流,出现了N多新技术如Hadoop、Spark、Hive等等,与这些时髦的技术相比,命令行好像应该被放进博物馆被人参观的古董。命令行的历史可以追溯到几十年前,而大数据的崛起才短短几年,命令行技术在数据科学这样新的应用领域是否还发挥作用,彰显其独有的魅力呢?

  前几日,小编注意到ChinaUnix论坛中有一贴子《大数据崛起时代,命令行技术的价值在哪里?》网友们讨论的很是热闹,网友fengzhanhai说道“命令行给系统管理员及开发人员带来的灵活性和快感不是图形界面所能够替代的”。于是小编也投身参与,让我们一起来讨论。

  命令行技术的优缺点

  使用命令行是很有趣的,记住各种命令,学会脚本的编写,用命令行是非常高效的。即使是使用Windows Server,我们也可以使用PowerShell,继续享受命令行的乐趣。对于初学者来说,命令行需要学习并记住很多命令及用法,显得颇有难度。

  网友seasea2517说“不用鼠标操作减少鼠标手烦恼,灵活、容易实现自动化批量化、系统要求低、不同平台的同样命令行工具下的操作相同。不足就是不够直观,上手比GUI慢一些。”

  “从最初的dos命令行,truboC的命令行编译及执行,到unix和linux时代命令行的普遍应用。他是一个系统工程师的普遍技能。但命令行是结构化编程变成的产物,在面向对象编程的今天,追求对象的引用、类的实例化、RPC的时候,命令行就其不能应对复杂的调用关系和形象的编程。尤其对于UE用户体验要求较高的场合,命令行基本用不上。”网友hiyachen说道。

  网友yinyuemi非常喜欢命令行,他说“我的学习之路,有80%的代码都是在命令行学习和运行的。很喜欢这种“沟通”方式,用awk/sed/grep等处理文本,命令行里操作无疑是高效的。经常是一段代码从头写到尾,不换行,一气呵成,感觉只有这种方式不会把在脑子里形成的伪代码思路隔断。不足之处,我觉得是命令行毕竟是依赖于终端,history的记录数有限,对于新手或不熟悉linux环境的童鞋们,一旦终端关闭,再想找回之前的代码记录并不是一件容易的事。当然,高手们不会为此感到烦恼。”

  那些你接触过的命令行工具

  相信每个Linux爱好者都能说出一大串命令行工具,并且能把它们运用的恰到好处!欢迎你们到论坛中(http://bbs.chinaunix.net/thread-4181945-1-1.html)来补充,这里说两个印象比较深刻的~

  网友xdsnet说道“用的比较多的是bash环境,以及其上的各类命令行工具,主要有直接bash内置命令行结合系统命令进行系统管理。“

  另一位网友jieforest谈到“Linux Shell,Python的Shell、Ruby的Shell等。Linux Shell用于解决服务器维护、搭建生产环境、部署业务、测试等等。Python Shell、Ruby Shell通常用于开发及调试代码。“

  面对高大上的数据科学,命令行过时了吗?

  打个做菜的比方,来描述数据科学5部分(数据获取、数据清洗、数据探索、数据建模、数据解释),要做一道菜的步骤——a先要有原材料,有菜;b 洗菜,过滤无用数据;c 探索菜谱,能做啥菜;d 建模,实际做菜;e 解释->吃菜,吸收营养。

  网友seesea2517说:“和数据打交道多的就是 mysql 了,对于数据库的数据来说可以用 mysql 或 mysqldump 获取数据,可以在 mysql 里做数据过滤,也可以用 awk sed grep 等过滤”命令行工具和技术永远在发挥着它的更接近于底层,一个个对资源(cpu、内存、网络、存储)的有效利用。

  也有网友说道:“一直用命令行处理文本问题,而对于数据科学在命令行的操作,命令行会不会略显单薄。”

  小编认为:命令行灵活、可增强、可扩展、可扩充无所不在,能使你真正成为更加高效和多产的数据科学家。数据是数据科学工作的主要原料,因此很重要的一点是要能很容易地处理包含数据集的文件。命令行为此提供了许多方便的工具。命令行与其他技术能够无缝集成。一方面,你可以经常在自己的工作环境中采用命令行。例如,可以在Python 和R 中运行命令行工具并捕获其结果。另一方面,也可以将自己的代码(例如以前编写的Python 或R 函数)转变为命令行工具。

  【结语】

  数据科学中,数据解释最为关键,仅根据数据找出相关性,但缺乏相关领域的理解和解释,是很危险的。就像一个婴儿和一棵树苗,在发育期的时间交集区间内都会长高。看数据,相关性非常好,但这两组数据没有任何关系。如果不能用合理的行业知识解释数据的结果,就很容易犯这种错误。命令行在实施数据计算分析处理方面,是跨行业、跨学科的人进行有效协作,最简单直接的方式。数据分析处理光靠学计算机的专业程序员是不够的,更多的是依靠各个学科领域的专业人士编写的程序包。把他们的成果汇集,还是一个个命令行程序。所以命令行不会过时,命令行工具和技术也发挥着作用,只是调用/处理流程上会发生变化,很多命令行命令(组/集)因为需要重复使用,而为了减低工作强度,会通过配置、预处理等等手段来减少正式命令行输入,但本质还是命令行工具。

作者: 杨璐

来源:IT168

原文链接:大数据时代 命令行技术过时了吗?

时间: 2025-01-01 20:21:09

大数据时代 命令行技术过时了吗?的相关文章

大数据时代:GDP统计过时了吗?

国内生产总值(GDP).失业率.通货膨胀以及贸易赤字等宏观经济统计数据,是经常用作宏观分析的先行指标.一段时间以来,GDP甚至成了衡量经济成败的标准.现如今,跨国公司生产销售的国际化.现代服务业的高速发展.网络经济与实体经济的融合等现象,让传统的宏观经济数据不再能涵盖经济发展的全貌.近期,国际舆论针对大数据应用如何弥补这一漏洞展开热议.在大数据时代,GDP等一系列传统的经济指标,真的已经"过时"了吗? 1.传统数据"漏掉"了什么? 2009年7月28日,国家统计局发

深度揭秘:大数据时代企业卖技术还是卖数据?

大数据技术的热度这几年一直在上升,现在我们在谈论大数据的时候已经不再仅仅局限于炒作大数据的概念了,更多的是聚焦在一些大数据的具体应用上,作为企业用户来讲,现在也已经开始有越来越多的企业领导和IT管理者逐渐了解大数据同自身业务之间的联系.  我们都知道,当今的企业级市场,不管是渠道市场还是行业市场,数据对于企业来说都存在着巨大的价值,而作为数据资源的核心组成部分,大数据已经成为了很多企业愿意买单的"产品".其实企业在购买大数据服务的原因很简单,就是利用大数据的技术和应用帮助企业进行开源节

大数据时代:五技术或将改变存储发展

数据存储领域正在发生着剧烈的变化,而且这种变化将是长期的一种趋势.而随着数据存储领域的变化,必然将催生中一些新的技术的产生,必将改变存储领域的发展,那么今天我们就来看一下未来有哪些存储技术会改变未来呢? 1)以太网硬盘 希捷日前宣布了其以太网连接的动能硬盘,该公司宣称以太网硬盘将提供比现在有可能高达四倍存储应用性能. 以太网硬盘的设计思路非常明显,就是要精简数据到硬盘之间的传输环节(即数据无需从服务器到HBA卡再到阵列控制器最后被写到硬盘中,在以太网硬盘的系统中,数据可以直接经网络到硬盘的以太网

大数据时代企业投融资创新发展

大数据时代企业投融资创新发展的问题,涉及许多前沿科学技术问题. 上世纪90年代初,我在中央党校读博期间,研究决策科学,和它包含的认识论.如何依据有效信息,科学作出决策.当时主要接受了美国西蒙教授的理论,他是一位诺贝尔经济学奖得主,提出了"有限理性"理论,认为人的理性是有限的,只能从有限的信息量中,寻找相对好的决策.比如,要买一枝鲜花,并不需要跑遍所有的花店;要找一个合适的爱人,并不需要与全世界的女人谈一遍恋爱.差不多就行了. 我同意这种观点,但说差不多就行了,未免有点过于悲观和消极,而

中国工程院院士李德毅:大数据时代的认知计算

摘要: MDCC 2013移动开发者大会于2013年11月13-14日在北京国家会议中心隆重召开,本届大会由CSDN和创新工场联合主办.逾百位国内外移动互联网领域的领军人物与核心技术专家,以全民移动,重 MDCC 2013移动开发者大会于2013年11月13-14日在北京国家会议中心隆重召开,本届大会由CSDN和创新工场联合主办.逾百位国内外移动互联网领域的领军人物与核心技术专家,以"全民移动,重塑世界"为主题,分享最新实践经验,探讨移动互联网发展趋势.此外,智能硬件.移动娱乐游戏.微

大数据时代重构数字营销

这是一个大数据营销的年代. 最早提出这个概念的应该是麦肯锡公司,全球畅销书<社会消费网络营销>作者拉里·韦伯认为,所谓大数据包括企业信息化的用户交易数据,社会化媒体中用户的行为数据和关系数据以及无线互联网中的地理位置数据.大规模个性化营销将会是核心竞争力.而目前已经到了收集数据的黄金时期,如何整合这些数据成为未来的关键任务. 研究数据的最终目的还是研究人本身,只不过数据使得公司对人的行为的追踪和理解更加具象,数据能够多维度地关注人.洞察人. 而企业如果想让数据为我所用,就应该多维度地分析数据.

大数据时代更加注重个人隐私

近日,谷歌因侵犯数据隐私在法国被罚,理由是未整改其跟踪并储存用户信息的违法行为.此事要回溯到2012年3月,谷歌启用新的数据收集方案,修改了隐私政策,通过YouTube.Gmail等服务收集数据并整合在一起.虽然谷歌称此举可以为用户提供更加便捷.高效的服务,但法国国家信息自由委员会(CNIL)认为谷歌对用户信息的处理不够透明,用户既不知道这些数据会被怎样处理,也不知道谷歌处理其个人数据信息的目的,而且用户别无选择. 最终,谷歌被CNIL处罚15万欧元,虽然跟谷歌的收入相比简直微不足道,但此判罚将

大数据时代重构数字营销:从做广告到讲故事

这是一个大数据营销的年代. 最早提出这个概念的应该是麦肯锡公司,全球畅销书<社会消费网络营销>作者拉里·韦伯认为,所谓大数据包括企业信息化的用户交易数据,社会化媒体中用户的行为数据和关系数据以及无线互联网中的地理位置数据.大规模个性化营销将会是核心竞争力.而目前已经到了收集数据的黄金时期,如何整合这些数据成为未来的关键任务. 研究数据的最终目的还是研究人本身,只不过数据使得公司对人的行为的追踪和理解更加具象,数据能够多维度地关注人.洞察人. 而企业如果想让数据为我所用,就应该多维度地分析数据.

大数据时代结构化存储云HBase技术架构及最佳实践

在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务.17年,把这部分能力也开放给公有云客户.本文中,阿里云高级专家封神带来了主题演讲<大数据时代结构化存储云HBase技术架构及最佳实践>,介绍HBase的应用选择.实战案例.技术平台解读以及后续的规划. 为什么应用HBase 一般而言,传统关系型数据库面临着成本.容量.QPS.分析等多方面