实时计算——从技术变革到商业模式变革

今年早些时候,SAP首席技术官Vishal Sikka与欧洲一个主要消费类产品公司的CTO在柏林的一个咖啡厅座谈。而这一天是德国最热的一天,足有37摄氏度。

“我们需要预测到用户的需求”,Vishal看着广场炎热的天气感慨道。

他表示,如果一个公司能够在炎热的天气中监视冰激凌、水或防晒霜的销量,然后评估未来的需求,那么就有可能会改变公司的运作方式。

“也许每年只有6天这样的日子,但这会改变公司的盈利能力”,Sikka谈到。

真正的变革

“实时计算的需求将是真正的变革”,Sikka说道,用户提出的需求也正象实时数据一样快速更新,实时响应事件发生时的行为同时也正在改变世界。

智能手机让大家更加无缝的连接到互联网。基于位置的服务如Facebook Places和Foursquare可让其他人看到你确切的位置。

而在商业领域,新技术需要让企业看到他们的客户在做什么,并精确到毫秒范围。

金融领域引领技术创新

在技术术语中,软件允许这种情况发生,这被称为复杂时间处理(CEP)。该技术的发明者是Progress Software公司副首席技术官、Apama公司联合创始人Giles Nelson博士。

尽管Giles Nelson是该技术背后的创造者之一,但他并不完全喜欢这个词。在他看来,这会导致人们会认为它比实际上更复杂,从而导致人们望而却步。Nelson博士表示,其实很简单,各个行业的业务都需要加速处理。

CEP的首批用户是银行,当然它所涉及的领域不仅有股票交易,还有期货和其他衍生品。该软件使用数学算法来跟踪股票。例如两个石油股。银行将实时跟踪两股,假设在10秒的时间如果一个股票甚至跌落0.1个百分点,软件会提示自动购买其他股票。

这种算法在银行的交易过程中做出了很大的贡献,它使金融交易在过去10年中交易量大幅增加,并尽可能将其自动化处理。

在过去3年,货币市场的交易增长了20%,每天大约4万亿交易额,这也是世界上最大的交易枢纽。

而那些曾经在伦敦或纽约交易大厅现场盯大盘的做法已经结束了,那些已经是历史——Nelson表示。

此外,总部位于伦敦的博彩公司CMC Markets允许非专业的散户投资者对金融市场进行投注,平均每天100亿美元的交易。目前瑞士银行和瑞士信贷现已提供iPhone和iPad的应用程序供投资者做数据分析处理。

Nelson表示,过去银行交易只有不到10%用到数据分析算法,而现在50%至70%的交易都用到分析算法。三分之二的银行在使用CEP软件。但该软件也被指责加剧了金融危机。因为计算程序自动出售股票同时也意味着在市场中蔓延恐惧,因为在算法中内置了提示应该“卖出”的订单。

CEP在美国股市5月6日的大幅下跌中也受到影响。短短几分钟内道琼斯指数下跌了近1000点,该软件“功不可没”。目前伦敦证券交易所通过Turquoise交易平台(使用Apama)作为其金融服务管理,并使用Cohen博士的软件来监视欺诈。而汇丰则使用美国商业分析公司的SAS软件为每个实时信用卡交易审批。

未来使用场景

“我们很难想象到一个没有受实时计算影响的行业”,Palmer表示。

目前,实时处理软件已经发展到了华尔街之外的其他行业之中。

在荷兰鹿特丹是欧洲最大的港口,每年约有4亿吨货物通过这里物流,但船舶往往不能按时到达,也许会晚上几个小时。而港口还在等待货物的装卸,这浪费了燃油、时间和金钱。

电信公司正在使用实时数据分析软件来管理其网络上的应变。在意大利移动电话公司Three利用Apama来测试系统能否为歌库提供更快的音乐下载,当网络使用率较低的时候。

SAP公司的软件也被部署到海上石油钻井平台,甚至在世界各地的医院,帮助检测糖尿病患者的血糖水平和胰岛素数值。当监测到数值达异常时会立刻提醒医生。

Sikka表示,一个大型的英国天然气公司最近开始使用其软件分析从伦敦6万个客户智能电表的数据。并计算出在大约晚7点时是能源使用的高峰。

人们正在讨论实时计算在未来的应用。包括军事,如部队和坦克的实时监测,同时StreamBase已经被美国国家安全局用于检测安全威胁。

实时计算的处理原理

yiihsia在ITeye上的一篇博客指出了实时计算的处理原理。

当数据实时入库的时候,一般都需要对原始数据做一定的处理再入库。能在这个步骤计算尽量在这里完成。 这个类似数据的预算后入库,然后提供直接读取服务。对用户的延时性上最好。

然而有一些对数据的计算并不能通过预算解决全部问题,比如搜索。实时计算比较常在数据分析类应用中出现,由于数据分析时刷选条件多样性与多变性,使数据无法预算,所以只能通过后期的实时计算。

Facebook的实时系统中大量应用到了hadoop、hbase。

他们的项目需求主要有:

1. Elasticity(伸缩性)

2. High write throughput(高写吞吐量)

3. Efficient and low-latency strong consistency semantics within a data center(单个data center内高性能、低延迟的强一致性)

4. Efficient random reads from disk(disk的高性能随机读)

5. High Availability and Disaster Recovery(高可靠性、灾后恢复能力)

6. Fault Isolation(错误隔离)

7. Atomic read-modify-write primitives(read-modify-write原子操作)

8. Range Scans(范围扫描)

Facebook对HBase、HDFS做了大量优化,但毕竟是基于MapReduce(IO是硬伤),再优化也无法达到互联网应用级别的响应延时。用户搜索“2011手机” 又选择了属性:智能机、直板,想看这个月满足这些条件的交易在不同省份的分布。

因此,实时计算中大量用到了搜索技术。

与传统搜索的主要区别在于:

目的不同:搜索的目的是排序、实时计算的目的是汇总计算

结果不同:搜索返回的是list、实时计算返回的是计算的精确结果

读取数据不同:搜索可以根据权重取topN的数据做排序、实时计算需要获取所有满足条件的数据做计算。

(责任编辑:吕光)

时间: 2024-09-20 07:35:53

实时计算——从技术变革到商业模式变革的相关文章

邓侃:中国首个全过程智能诊疗系统,全方位披露技术核心和商业模式

大数医达创始人,CMU计算机学院暨机器人研究所博士邓侃 邓侃,上海交通大学本科及硕士,美国卡内基梅隆大学(CMU)计算机学院暨机器人研究所博士,专攻人工智能及数据挖掘.历任美国甲骨文公司(Oracle)主任系统架构师,美国泰为手机导航公司(Telenav)北京分公司总经理,百度高级总监并主管网页搜索和知识图谱.2015年,邓侃创建北京大数医达科技有限公司,旨在将深度强化学习技术应用于医疗健康领域. 构建全过程的智能医疗系统,走"农村包围城市"的路线 构建诊断和治疗全过程的智能临床医疗导

圆通快递加盟改直营 商业模式变革遭加盟商强烈抗议

http://www.aliyun.com/zixun/aggregation/36367.html">圆通快递自上而下的商业模式变革加盟改直营模式,在福州一经启动就遭遇部分加盟商的强烈反抗. 6月2日以来,福州多个圆通区域加盟商停工,造成每天两三万派件无法送达.据透露,圆通试图出资一两百万,将福州鼓楼区.晋安区.台江区等站点收回变成直营,但"谁愿意将培育多年的市场拱手相送?" 这场由圆通董事长喻渭蛟主导的经营模式的变革,首先在"北上广"中心城市推行

大数据技术和未来商业模式

2013年4月26日-27日,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开.本次峰会将围绕大数据基础架构与上层应用的生态系统,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音.51CTO作为本次峰会的主办方,将全程视频.图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会. 2013大数据全球技术峰会专题 在27日下午的互联网与大数据专场中,优酷土豆数据平台

音乐工业的自救之路技术进步助商业模式创新

本期创意经理人俱乐部由歌华大厦移师北京大学,北京大学文化产业研究院.歌德学院和本报邀集中德音乐界资深人士就中国音乐产业发展之路展开研讨,各路专家建言献策,为行将崩盘的产业带来些许希望. 差距篇 差距一:德国音乐年获资助6000万欧元 对于欧洲音乐产业的资金扶植,来自德国文化联盟的总裁Jens Michow表示,"在音乐制作和电影相关制作的领域,德国每年会提供制作资金6000万欧元,这些钱包括一些基础领域资助,比如说在音乐项目.人才的培养.对外演出的艺术家和团队的资助,这些资金都是用于音乐领域基础

张鹏:移动带来格局和商业模式变革

[搜狐IT消息]6月10日消息,北京新云南皇冠假日酒店,移动互联网生态论坛Mworld2011移动互联世界暨移动营销价值论坛开幕.本论坛由DCCI互联网数据中心.<商业价值>杂志共同主办,西安高新技术产业开发区合作主办.<商业价值>主编张鹏在发言中称,移动互联网的未来进行了展望.张鹏称,目前信息技术已经成为了一种人类的本能,相信移动时代的到来,会进一步加速这个过程.未来我们看到的信息,从底层架构的出现,它一定会带来大的格局和商业模式的系统性的变革.<商业价值>主编张鹏以

先有鸡还是先有蛋?互联网技术VS互联网商业模式

在一个聚会上,和几个在做互联网的朋友在聊天.他们好几个都在搞一些很高端的http://www.aliyun.com/zixun/aggregation/5739.html">互联网技术. 但是,当我们都谈到赚钱这一块时,大部分的他们都说刚开始做软件技术的时候,都可以支撑,但是现在就要靠7478.html">风险投资家来支持他们的技术及业务呢. 想想,一个好的互联网商业模式需要一个好的互联网技术去支持,让这模式能长久的运营下去. 但是,一个好的互联网技术其实也要靠一个好的商业

德赛电池高管答投资者问:发挥技术优势直面商业模式变化

昨日上午,参加深交所"践行中国梦·走进上市公司"系列活动的40多位中小投资者走进了位于深圳科技园的德赛电池(行情,问诊)总部,与公司财务总监林军.董秘游虹进行了面对面交流,并围绕德赛电池的核心优势.发展战略等话题展开了热烈讨论.投资者:公司主营业务收入增长很快,但净利润并不高.个人觉得,这个行业应该是利润率很高的行业,所以想了解一下公司成本和支出的情况.林军:说明一下,我们没有做电芯这一业务.公司的业务分两部分,一是封装业务,二是电源管理系统.其中,电源管理系统是2012年由封装业务培

工信部信息化和软件服务业司巡视员李颖:云计算已经从计算时代向云商业模式时代转变

 2017年6月14-16日,中国电子学会主办.至顶网等协办的"第九届中国云计算大会"在北京国家会议中心拉开大幕,本届大会主题为"生态构建 深化应用".工业和信息化部信息化和软件服务业司巡视员李颖解读了<云计算发展三年行动计划(2017-2019年)>. "现在云计算已经从计算的时代向云商业模式的时代转变,这已经是客观的现实."工业和信息化部信息化和软件服务业司巡视员李颖提到,在数字经济时代,云计算与信息流带动资金流.人才流.物资流,

云计算产品的核心技术和关键技术决定商业模式

在云计算时代,商业模式是由产品的生态形式决定的,而产品是由技术决定的,因此脱离技术约束的商业模式是不存在的.由技术带来的信息对称控制了非理性的个体行为的发生,从而导致了经济运行模式的破坏性重建.这种变革将有可能使中国成为云计算时代全球商业模式的主导者. 产品的竞争力决定了商业模式的形态,财富的分配形式是由云计算产品的生态形式决定的,商业模式本身不会改变这种分配形式.这和传统的商业模式有很大的差别,http://www.aliyun.com/zixun/aggregation/14606.html