云计算时代建立大数据交易所 势在必行

随着大数据技术的成熟和发展,大数据在商业上的应用越来越广泛,有关大数据的交互、整合、交换、交易的例子也日益增多。本文就进行大数据交易的一些问题, 以及建立大数据交易所的必要性, 做一些探讨和研究。我们认为,建立大数据交易所是势在必行的市场需求。

目前下列公司和机构通常拥有大数据:

大型实体商业公司或电子商务公司,如大型连锁商店walmart,sears等,或amazon,阿里巴巴。这类公司大都拥有大量的客户数量、长期的客户购卖记录、客户的支付历史等。这类公司最感兴趣的是客户购物的消费偏好和消费习惯。目前这类公司的大数据应用包括推荐关联产品和推出其它新的产品、 新的服务上。

大型服务公司,如银行、电信服务等公司。这类公司也拥有客户的某个方面历史消费记录,比如银行可能拥有客户的金融账户收入支出信息,电信公司拥有客户的电话或网络使用历史。这类公司通常对本行业内推出新的产品和服务,以及寻找潜在客户,降低业务风险较感兴趣,比如热门的推荐系统等。

大型制造企业,如福特汽车公司等。这类公司因为其大量的客户基础,往往可以在推出新产品服务上使用大数据技术和应用。

大型网络服务公司,如google,百度,yahoo 等。这类公司由于在其服务行业的垄断性,积累有海量的用户在网络虚拟世界的行为信息。这类公司通过归纳和机器学习等,可以挖掘出非常多有价值的应用产品和服务。目前使用大数据最好的公司是google.google广告系统adsense就是利用大数据技术来实现的。另外,google公司还可以利用大数据做出一些预测,如流感的爆发,政治性事件的预测等。google公司还进一步推出如自动驾驶等大数据应用,及google眼镜等结合大数据收集与应用于一身的产品应用。

大型社交网站,如facebook,twitter,及其它社交网站如linkedin和其它活跃论坛等。 全世界用户每天都在社交网站上产生大量的内容。仅facebook每天需要处理的社交信息就达到了500tb之多。 目前这些数据正在被大量的个人开发者和技术公司使用,用来做各种商业服务推荐或新的产品。

政府部门和科研机构的公开数据,如有关天气、交通状态、道路、地质、环境 以及科学研究的进展等部分。美国联邦政府特别提出,将联邦政府各部门的数据开放给公众,这些数据的应用包括自动驾驶、智能交通监测系统等。

除了上述商业机构的大数据之外,国家机构还拥有大量有关国家安全的敏感信息。本文只讨论商业应用,故不讨论这部分大数据的应用和交互。

一位曾在teradata公司工作的数据专家说过,很多商业公司大约只存储15%的有关他们业务的数据,其余85%数据都存储在其它外部公司或网站上。大数据时代的技术,使得企业内部的大数据和外部数据的整合、交互变得更加重要。

目前一些商业机构对大数据的应用,不止局限于对自身拥有的大数据进行分析,还需要用到其它方面的大数据。

例子1:某些金融企业如银行希望和利用获得其用户的社交信息,以便和该金融企业拥有的客户信息整合起来,推出更多的新产品和更好的客户体验。

例子2:一位医疗保险公司的客户要去某国外城市旅行,在微博上发表了这一信息,医疗保险公司因为事先得到客户的许可,可以从社交媒体(微博)上获得这一信息,根据这位客户的个人特殊身体情况,医疗保险公司马上给该客户发去避免某些当地食物的短信。

例子3:一家经营连锁旅馆的企业,除了自己网站、各地客房入住等情况外,希望能够获得其它旅游方面的大数据,例如景区旅游人数、租车公司的客户数量、租的汽车的档次等变化等,这些对旅馆的房价定价,经营预期等有着很强的辅助作用。

例子4:一家初创公司,利用城市交通情况的公开信息(政府信息),结合其用户群上传的即时的城市交通状况(互联终端产生的用户自创信息或社交信息),对交通路线、预测到达时间等进行预测,从而为城市里的驾车人群车流进行更好的服务。

商业公司对外部大数据的整合和交互是未来的大趋势,国外有很多公司已经开始着手这方面的技术和服务,如alteryx、qlikview、tableau、factual等。

对于政府或科研部门公开的大数据信息,商业公司业可以进行整合和分析,比如人口调查、gdp统计、房产信息(美国是公开的)交通情况等。众多大数据技术公司也已经在这方面发力,如factual、infochimps、socrata等公司。

据gartner预测,到2017年,约三分之二的大数据整合项目,将是企业防火墙之外(外部数据)的整合。

商业公司之间的大数据交互至少有下列几种:

方式一:两家或两家以上的商业公司,他们从事的服务行业不同,拥有客户的不同方面的信息,他们的服务行业有的具较有强的相关性,整合、交互信息对其中一方或参与各方都能增加新的价值。

方式二:商业公司对社交网站的客户个人信息数据整合,期望带来新的业务增长点或实行更好的客户服务。

方式三:商业公司对政府部门的公开信息,进行大数据级别的整合和交互,产生新的商业模式、新业务、或改进客户服务。

方式四:未来,还会有新的外部大数据的整合方式会产生价值,比如某商业公司进行大量的对外部弱相关的数据的整合,当总量达到一定规模之后,仍然会产生对商业公司自身业务具有巨大价值的信息。

商业公司间的大数据种类众多,几乎大多数的情况下,两个公司之间数据的整合只对其中一方的业务有帮助,或者对双方的业务帮助价值不对等,比如社交媒体的信息对于大众商品销售公司等。因此,购买大数据的可能性远大于简单数据交换或数据互通。如何引导,规范大数据的交易,以及提供交易方式、工具等, 成为有关部门和大数据技术公司研究的重要课题。

我们认为,要开展大数据的交易,需要解决一系列的问题,例如:

如何引导更多企业开放大数据? 大数据的应用需要更多的企业开发各自行业、领域的数据,市场的参与者越多,市场的交易选择和能找到的价值就越大。我国政府应该鼓励更多企业开放他们的大数据。企业间的大数据通过更多的交互和交易,才能最大的价值化。

如何保护大数据的属有权和隐私权?大数据往往是个人信息的集成, 我国对于个人信息隐私的保护有明确法规和引导,大型企业都特别注意对用户的隐私保护。企业间用来交易的大数据,必须遵守国家有关法律,保护个人隐私和重要信息。因此,市场能提供的大数据应该更多是经过处理,隐去个人敏感信息,或者直接就是按照区域、人口年龄、收入情况等进行分类集成后的信息。相关部门可以制定关于大数据交易的法规,引导市场参与者在提供大数据的同时,对于国家安全信息、个人隐私、商业机密等方面进行特别保护和处理。

如何更好地开放政府部门信息?各国政府都在开放更多的公开信息,建立公开的大数据平台,更好的利用大数据为社会服务和产生价值。我国政府在这方面也大有可为。

如何找到有价值的外部数据?商业公司只对自身业务有关的外部数据感兴趣,如何找到强相关或弱相关的外部数据,成为重要的课题。大数据创业公司可以在提供工具,建立开放的api等方向有所作为。各类云计算平台也可以提供大数据的api.我们认为,政府或大数据技术公司等业界,应该创造一些基本的数据处理、归类、分析工具。 为商业公司寻找外部大数据的整合和应用,提供服务和方便。

如何衡量大数据的量和质?一般说来,一个大数据包,如果包含某一方面的大数据年限越久,覆盖人群或服务方向越多,其价值就越高。但是同样的大数据,对于不同的潜在买家,可能具有的价值不同。例如某电子商务网站的客户消费记录,对于一个大型综合类销售公司,和对某一小型单一产品销售公司的价值,差别巨大。如何对大数据产品进行量和质进行价值上的分类,是进行大数据交易必须解决的问题。

如何规范大数据商品的可重复使用性?一个大数据包,可能会对不同的外部企业都具有价值,有时而且没有利益冲突。理论上一个大数据商品,可能可以出卖多次。对大数据交易,是否产生使用权,属有权的改变?是否能够再次出售,能否转卖?能否卖给某位买家的竞争对手?等问题,都应该进行明确和规定。

如何建立大数据商品交互技术平台、开放api、统一api?由于大数据的量大,规格众多等特性,大部分时候,大数据的直接转移非常困难或不现实,买家往往需要通过api来使用大数据商品,如何建立统一的api,建立大数据交互的技术平台,也是一个巨大的挑战。

另外,大数据商品,更接近于原始的商品,市场参与者各自带上自己的货物,到一个市场进行交易, 类似于摆摊。由于上述的大数据商品的特性,更加需要建立规范的、方便的交易场所。

大数据商品的交易可能会包含下列过程:

卖家对自己的大数据进行预处理,保证用于交易的大数据商品遵守国家相关的法律和规定;

卖家描述自己的大数据包,并描述以往的交易历史,包括历史买家的行业描述等;

买家在大数据交易平台上寻找对自己业务有帮助的大数据商品;

买卖双方就数据的使用权,数据的转移,数据是否可以再次出售(时间上,竞争对手限制等),是否委托第三方技术公司进行数据分析等等, 达成协议;

买方支付交易金额,同时大数据商品转移到买方;

买方将对大数据商品进行分析或应用,实现大数据商品的价值。

我们认为,由于大数据商品的特殊性,建立大数据交易所,可以对大数据的交易做出权威性的规范,保证交易安全,同时为市场参与者提供工具和帮助。

大数据交易所的重大作用:

大数据交易所可以深化国家有关法律对大数据商品的规范,特别是确保大数据交易的买卖双方遵守国家有关隐私,国家安全,商业机密等方面的法律,保护消费者的信息安全和其它权益;

大数据交易所可以引导对大数据商品的规范,对大数据进行定量,定价方面进行引导;

大数据交易所应该建立认证系统,确保大数据商品的真实性和价值;

大数据交易所应该为市场参与者提供技术上的帮助,帮助市场参与者寻找适合自己的交易方;

大数据交易所应该且可以对大数据的转移和使用提供法律上的保障;

大数据交易所应该且可以对大数据的转移和使用提供数据安全上的技术保障;

大数据交易所,应该确保资金的转移和安全;

大数据交易所,还可以开放大数据期货,即对未来某时间段将要产生的大数据,进行交易。

由于市场参与者大都为商业公司,大数据的交易更像是实体商品交易而不同于股票交易。随着交易的进行和市场参与者的增多,大数据商品的种类会逐渐丰富,从而吸引更多的市场参与者。

大数据交易的参与者至少包含下列几类:

初端卖家,即提供某方面信息的大数据商品卖家,该类用户可能通过从事的行业服务,积累某个方面的数据;

终端买家,对相关行业服务信息由需求的商业服务公司,买来大数据提升自己的服务或产品;

大数据投资者,这类参与者发现或认可某大数据商品的价值,可以先买入,再买给有需求的大数据终端买家;

加工商,由于大数据商品的高技术含量,大数据技术公司可能先买入原始数据,经过处理,集成后,再卖给终端买家。

市场参与者可能具有多重交易身份,既是大数据的提供者,也是大数据的消费者。各类市场参与者的交易,能使大数据交易市场更加活跃,增加市场的流动性,引来更多的大数据商品的加入和交易。

综上所述,建立大数据交易所,虽然在技术上、法律上、流程上尚有一系列需要解决的问题,但我们认为,这是一个可以逐步进行,逐步解决的过程。 我们认为,建立大数据交易所有非常大的必要性和可行性,建立大数据交易所是势在必行的市场需求。

(责任编辑:蒙遗善)

时间: 2024-10-30 18:02:49

云计算时代建立大数据交易所 势在必行的相关文章

详细解读云计算时代的大数据

在面对着急速增长到高达PB级的海量业务数据时,人们脑海中自然而然出现了许许多多的疑问,大数据能对我的业务提供怎么样的帮助?云和大数据之间究竟存在着怎样的联系?云能否落地?Hadoop到底能不能当成是大数据的万能药?虚拟化将在大数据之中扮演一个什么样的角色?抱着这么多的疑问,今天我们就来走近大数据. 根据IDC的一份名为"数字宇宙"的报告,预计到2020年全球数据使用量将会达到35.2ZB.在如此海量的数据面前,处理数据的效率就是企业的生命. 大数据的来源 海量数据到大数据的发展过程是一

互联网金融时代 银行业启用“大数据战略”势在必行

近日,中信银行在业内率先推出了供应链网络金融平台,试图将线下的信贷服务搬到线上.该行负责人表示,除了"线上银行"战略的实施可以降低成本外,更重要的是基于大数据运用,客户资料尽在掌握,可以大大降低风险.试图通过金融互联网和数据的整合,叠加出现新效应. 多年来,银行业的客户数据.交易数据.管理数据等均呈现爆炸式增长.大数据的广泛应用渗透到了银行业的各个环节和角落,这源于经过多年的积累,各大国有银行.商业银行.城商行.信用社等已经积累了数以TB和乃至PB的海量数据. 来自中国工程院院士邬贺铨

贵阳大数据交易所探索数据时代“新金融”

作为中国第一家大数据交易所,贵阳大数据交易所不断与金融.证券等行业合作,积极探索大数据时代下的"新金融". "这几年的避暑季,从成都.重庆到贵州旅游的人占多大比例?这些游客在哪些时间段最多?"贵阳大数据交易所执行总裁王叁寿说,这些数据信息对旅游及相关金融机构非常重要,数据交易能促进数据流通,而数据流通对塑造"新金融"有重要意义. 业内人士认为,当前中国金融行业正加速步入大数据时代,大数据深刻变革金融行业的运作方式.随着金融产品不断创新.金融市场层

人工智能时代 云和大数据到底有多重要?

60年前的某个夏天,麦卡锡.明斯基等年轻的科学家们举办了一次聚会,共同研究用机器模拟智能的问题,也是在那时,"人工智能(AI)"的理念正式被提出.如今,人工智能已经应用于语音识别.图像处理器.计算机视觉.机器人等多个领域,甚至击败了围棋九段李世石,这种进步是难以置信的.而这一系列成绩的背后,是海量数据的积累与学习,在没有云的时代,是无法想象的. 人工智能时代 云和大数据到底有多重要?(图片来自The Huffington Post) 人工智能涉及的领域非常广泛,工业.航天.商业都有应用

国内首家大数据交易所成产业发展引爆点

文章讲的是国内首家大数据交易所成产业发展引爆点,近日,2016年贵阳国际大数据产业博览会在贵阳开幕.此次峰会吸引了包括腾讯马化腾.阿里巴巴马云.百度李彦宏等在内的IT行业"大佬"悉数到场.而后,中共中央总书记习近平在贵阳大数据广场考察时又提到"贵州发展大数据确实有道理."一时间大数据成为了社会各界关注的热点.与此同时,全国首家大数据交易所落户贵阳,瞬间成为了国内大数据产业发展的引爆点,大众都在翘首以盼等待大数据时代的全面袭来. 如何理性地迎接这股大数据的热潮?如何将

阿里集团刘冰:未来的时代是大数据时代

文章讲的是阿里集团刘冰:未来的时代是大数据时代, 7月23日上午消息,2015中国互联网大会之国际互联网高峰论坛在北京国际会议中心举行.阿里巴巴集团副总裁刘冰在现场做了主题的演讲. 刘冰表示,未来的时代是大数据时代,大数据就像魔方一样吸引着人类,相信在未来.在中国会产生100个.1000个.甚至10000个超越阿里巴巴的公司. 在其看来,现在我们生活在一个非常好的时代,互联网是基础设施,大数据是战略资源,云计算是核心竞争力. 以下是刘冰演讲全文: 尊敬的卢秘书长,尊敬的各位来宾.各位朋友,大家上

云谷大世界对话:探讨云计算,碰撞大数据

北京·亦庄·云世界大会2013于12月12日在亦庄创意生活广场举行.本届云世界大会以"Cloud Now @ CHINA "为主题,围绕"趋势发展的世界云"和"自主创新的中国云"两大主线.延续北京硅谷对话"双城记"传统,来自硅谷的云计算顶级专家,云计算领域顶级的公司与中国互联网及云计算领域的领导企业.风云人物,通过技术.创新.投资.趋势等方面的碰撞,解读云计算本质.趋势.创新创业机会.同时,与会者也将零距离接触到中国云计算这几

从互联网时代走向大数据时代

随着信息革命的深入推进,数据已经成为国家基础性战略资源.同时,数据安全常常超出传统的安全范畴,上升到维护国家主权的高度.掌控数据主权,实现数据驱动发展,是个复杂的系统工程.在这方面,战略科学家钱学森同志,以其远远超前于时代的科学思想,为我们指明了应对之策.上世纪70到80年代,钱学森用系统工程的基本理论,提出了"从定性到定量的综合集成研讨厅体系",并探索应用于海量数据的存储.传输.分析,实现"数据-信息-知识-智能-智慧"的综合提升.这套思想方法为互联网时代到大数据

如何让云计算与企业大数据强强联手?

本文讲的是如何让云计算与企业大数据强强联手,大数据是高性能计算领域最热门的趋势.大数据往往是非结构化的大规模数据,这些庞大的数据集中蕴含着对企业极具价值的情报信息.而云计算在过去几年一直是IT世界的宠儿,因为云计算开创了计算作为服务的新时代,尽管人们对于云计算的安全.可用性和成本仍然存在疑虑. 大数据的规模似乎能够成为云计算有趣的合作伙伴.大规模数据的管理存在很高的复杂性,正因为如此,大数据分析通常在本地服务器集群中进行.而云计算的优势在于尽可能有效地优化现有资源.如果部署得当,你没有理由不结合