小公司如何应对大数据热潮?

摘要: 大数据已经成为互联网上最热门的概念之一,我看到许多创业者都开始谈论大数据的商用价值,创业项目一定得和大数据挂钩,有些人更是把《大数据时代》一书奉为圣经,仿佛只要买

“大数据”已经成为互联网上最热门的概念之一,我看到许多创业者都开始谈论大数据的商用价值,创业项目一定得和“大数据”挂钩,有些人更是把《大数据时代》一书奉为圣经,仿佛只要买一本祭在家里的某个角落,自己就有资格高谈论阔、指点江山了。但实际上,虽然书中洞见了数据分析的趋势和隐忧,可由于作者Viktor Mayer Schönberger是一个典型的学术派,并没有什么值得称耀的实践经验,导致此书缺乏落地感,大数据商业应用在没有可靠技术支撑的状况下也只能是一纸空谈。

不可否认的是,“大数据”确实拥有十分重要的价值,如今从传统行业到互联网行业的很多产品也需要依靠“大数据”来作为功能支撑和核心竞争力,借用阿里巴巴数据平台与产品部数据仓库架构师占超群(花名离哲)的概括,目前阶段,大数据解决的主要问题分为3类:

1. 拓展传统的商业智能(BI)领域。以前针对大数据量的统计、关联分析、趋势预测由抽样变成全量分析、将数据回流到各种报表。

2. 业务流程改。对各种数据进行聚合分析,用来做业务流程改进和考核的依据。

3. 数据商品和商业应用。通过对已有数据或数据处理能力进行服务化或产品化包装,形成数据产品或数据服务。

其中,我们在互联网行业最常见的就是通过已有的数据来形成数据产品和数据服务,最典型的应用场景就是“个性化推荐”,但这并非是人人都可以染指的概念——我们知道,行业内依靠四个特征界定“大数据”:

第一,Volume,体量巨大,PB级别;

第二,Variety,数据类型繁多;

第三,Veracity,价值密度低;

第四,Velocity,处理速度快。简而言之,需要从不同维度抓取海量数据并将其快速转变为有序的可用信息。

实际上,在中国互联网,完全具备以上四点特征也只有腾讯、阿里巴巴、百度等较大型公司,对于一般公司而言,根本就不可能拥有PB级别的数据,也无法支撑高昂的数据存储成本,而且大数据方面的技术人才十分稀缺。最近就有不少创业团队告诉我他们产品的愿景,很多想法都十分新颖,但迫于数据处理能力,只好选择“慢慢来”或者将产品功能阉割。那么,这类公司该如何在“大数据”浪潮中崛起呢?

我首先想到的就是利用第三方的数据处理服务平台,这是一项在海外已经比较成熟的业务,从字面不难理解,这些公司为那些没有大数据和大数据处理能力的公司提供“数据”或“服务”。

服务可以分为两大类:基础服务和个性化服务。

基础服务即帮助公司解决数据存储、框架搭建和管理等大数据处理的基础能力,这类公司的代表有Hadoop(分布式软件框架)管理软件与服务提供商Cloudera、非关系型数据库MongoDB开发商 10gen等。

另一类则直接帮助企业直接打造个性化解决方案,我认为这类公司更适合大部分从整体上就缺乏数据能力的中国的小型互联网公司和希望互联网化的传统企业,譬如帮助电商提供个性化网上购物体验的RichRelevance、个性化和数字市场营销优化服务提供商Baynote、为广告商提供数据和分析的eXelate,以及数据拍卖平台BlueKai等。在国内,也有一些不错的平台开始涌现,例如个性化推荐引擎服务商百分点。利用这些第三方的服务和数据,可以让小公司的产品也兼具优秀的个性化能力,融入大数据时代。

但我认为,还有另一种应对大数据浪潮的做法——逆势而为。我并不认为大数据是解决个性化的唯一方案,同是它还带有相当强的局限性——基于数据意为着用数据建立模型,从某种意义上说,它也像是一个牢笼:设想一下,如果你所有的信息全部来自个性化推荐,那么你很可能错失那些你从未接触过的全新领域,而这些开放的、全新的信息不正是互联网最迷人之处么?

事实上,已经有些产品这么做了,唐茶计划的李如一就曾表示,不会受数据干扰去决定出售/推荐哪一本电子书,而是完全基于他们的个人对内容的判断,还有进来比较受关注的电台Fuzz,完全由人工DJ来推送音乐。反过来想,如果同一类型的产品都具有精准的大数据处理能力,那么它们为用户提供的内容也很可能是千篇一律的,而这些逆势而为的产品,反而更像是真正的“个性化”服务。

时间: 2024-09-25 04:41:31

小公司如何应对大数据热潮?的相关文章

小公司如何应对大数据热潮?借助第三方服务,或者逆势而为抛开数

"大数据"已经成为互联网上最热门的概念之一,我看到许多创业者都开始谈论大数据的商用价值,创业项目一定得和"大数据"挂钩,有些人更是把<大数据时代>一书奉为圣经,仿佛只要买一本祭在家里的某个角落,自己就有资格高谈论阔.指点江山了.但实际上,虽然书中洞见了数据分析的趋势和隐忧,可由于作者Viktor Mayer Sch nberger是一个典型的学术派,并没有什么值得称耀的实践经验,导致此书缺乏落地感,大数据商业应用在没有可靠技术支撑的状况下也只能是一纸空谈

大数据热潮的分析与审视

一.大数据的历史溯源 大数据热潮方兴未艾,但若要探究何谓大数据的问题以及大数据现象何以如此兴盛的原因,我们的眼光就不仅仅只停留在它时下的具体表征上,还要对产生它的理论根源做深入分析.大数据,冠之大于数据也.从造词法的角度看,它必然与数和数据有关.因此,如果要将大数据的历史脉络梳理清晰,可以以数和数据为线索. 1. 大数据,首先是源于数的概念 数作为人类认知自然世界的载体和产物,贯穿于人类历史发展的各个阶段.从古希腊唯物主义哲学家阿那克西曼德开始使用"本原"一词,到泰勒斯提出"

博科助力澳大利亚的基因组研究机构应对大数据增长

受到基因组数据集持续高速增长的驱动,澳大利亚基因组研究机构正在它的整个网络中部署一个高性能的博科10GbE核心网络,其中墨尔本节点将率先采用新的博科(NASDAQ: BRCD)交换基础架构. 澳大利亚非营利组织--基因组研究机构(AGRF)是澳大利亚最大的基因组服务提供者,在布里斯班.悉尼.墨尔本.阿德莱德和珀斯都设有实验室,每个实验室为全国性的先进设备.技术和专业知识网络提供一个网关.AGRF利用尖端技术,为学术.应用研究和商业市场提供合约制的基因组服务,涵盖生物医药.植物和动物科学.微生物学

美国:以国家战略应对大数据时代

美国加州斯坦福大学助理教授贾斯廷·古力马,正尝试把数学应用到政治学研究中,通过电脑对互联网上的海量博客文章.议会演讲.新闻报道加以统计分析,从而展开趋势判断.在这个29岁的青年政治学者眼中,"政治学已经日益成为一个数据密集型学科".其实,成为"数据密集型学科"的远不止政治学,科学.广告.体育.公共卫生等大量学科和领域都正在从大数据技术中获益. 随着互联网上数据的不断增多,海洋一般浩瀚的网络数据已成为一种战略资源.大数据技术的目标,就是从这些数据中挖掘信息.判断趋势.

IBM:应对大数据挑战的十大绝技

IBM提供了一系列平台应对大数据带来的三方面挑战--大量化(Volume).多样化(Variety)和快速化(Velocity).无论是能源公司分析气象数据,还是司法机构在众多视频资料中分析有价值信息,亦或是银行为审查资产判别客户级别分析多年的交易数据.IBM大数据平台,都可以帮助企业将数据当成战略资产进行管理.IBM研究机构在大数据领域工作有超过3年时间,目前已经拥有100个大数据项目客户.在商业分析领域IBM已经投入巨资140亿美元--其中包括24项收购以及集聚了8000名分析顾问. IBM

Teradata大中华区CEO:企业如何应对大数据时代

Teradata天睿公司大中华区首席执行官辛儿伦 5月21日消息,Teradata天睿公司大中华区首席执行官辛儿伦(微博)日前接受新浪科技专访时表示,随着大数据时代的到来,企业应该在内部培养三种能力:第一,整合企业数据的能力:第二,探索数据背后价值和制定精确行动纲领的能力:第三,进行精确快速实时行动的能力. 数据快速增长 Teradata天睿公司是一家智能分析解决方案厂商,主要为企业和政府机构做数据整合,分析,探索.挖掘数据背后的价值,从而提高客户生产的竞争力.目前,Teradata天睿公司在大

Hadoop的虚拟化之恋:应对大数据挑战

文章讲的是Hadoop的虚拟化之恋:应对大数据挑战,高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值.传统的BI系统.数据仓库和数据库系统都不能很好地处理这些数据.原因包括: 1.数据量太大,传统数据库不能有效存储并维持可以接受的性能; 2.新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的; 3.传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受.为此,倍受互联网界推崇的Apache Hadoop

Teradata:企业如何应对大数据时代

本文讲的是Teradata:企业如何应对大数据时代,5月21日消息,Teradata天睿公司大中华区首席执行官辛儿伦日前接受新浪科技专访时表示,随着大数据时代的到来,企业应该在内部培养三种能力:第一,整合企业数据的能力;第二,探索数据背后价值和制定精确行动纲领的能力;第三,进行精确快速实时行动的能力. 数据快速增长 Teradata天睿公司是一家智能分析解决方案厂商,主要为企业和政府机构做数据整合,分析,探索.挖掘数据背后的价值,从而提高客户生产的竞争力.目前,Teradata天睿公司在大中华区

应对大数据挑战 企业需共享式服务模型

本文讲的是应对大数据挑战 企业需共享式服务模型,大数据来袭!当企业准备把自己的MapReduce应用从实验环境迁移到生产环境时,共享式服务模型将为这种迁移提供许多重要功能,并加快迁移步伐. 大数据是当今科技行业发展速度最快的领域之一.大数据具有前所未有的大量化.快速化和多样化三大特点,这些是许多新技术背后的驱动力,这些技术可帮助企业处理大数据带来的多种新问题. 在诸多的新兴解决方案中,Hadoop和MapReduce被视为是两种大有希望的方法,可高效管理和分析大数据.但目前针对MapReduce