“小存储”玩转“大数据”

  2011年3月,中组部、国家发改委等15个中央部门和北京市联合印发了《关于中关村(000931,股吧)国家自主创新示范区建设人才特区的若干意见》,中关村加快建设首个中国特色的人才特区。

  中关村是我国科教智力和人才资源最为密集的区域,拥有以">北京大学、清华大学为代表的高等院校近41所,以中国科学院、中国工程院所属院所为代表的国家(市)科研院所206所;大学科技园26家,留学人员创业园34家。

  中关村留学归国创业人才超过1.5万人,累计创办企业超过6000家,是国内留学归国人员创办企业数量最多的地区。

  张春成的手机里有一张“神图”:大小不到1M的航拍图,放大一次,出现了山脉;再放大一次,出现了山脉间的河道;继续放大,又出现了河道旁星罗棋布的帐篷……触摸屏的手机就这样被他的两指划动了十几次,最后呈现在眼前的是帐篷旁的女人右脚上清晰可见的布鞋。

  他告诉记者,这张原始大小将近800M的“神图”之所以能够变成一张几百K的图片存储在手机里,并且放大这么多次画质丝毫不受影响,归功于无损压缩技术。

  从ZCC(无损耗压缩可检索彩色文档技术)到ZCV(无损耗压缩视频编码技术),这位北京黔龙泰达科技发展有限公司的创始人所用的全新算法将原有的图像与视频大幅度压缩,打破了国外在图形图像领域和视频压缩领域的技术垄断。

  “以前需要几万个字节描述的文件,用我们的技术只需要几十个字节就可以描述清楚,文件自然就"缩小"了。当图像压缩到原来的百分之一甚至千分之一时,就解决了传输、管理和利用的难题。”张春成就是在用他独门的“缩小术”玩转这个“大数据”时代。

  在日本京都大学留学时,勤奋的张春成没有花太多时间享受这座城市如画的风光,他整日奔波在实验室和图书馆。博士毕业后,他在日本日立公司找到一份助理研究员的工作,但他的目光却一直注视着国内的新兴市场,最终他放弃了日立稳定的工作,带着满心期许和在日本赚到的“这一桶金”归国创业。

  “当时觉得国内的经济发展很快,机遇也很多,所以决定回来试一试。一回国就看中了中关村创业园,这里的环境很好,大家都比较有共同语言,有什么问题大家可以相互借鉴,有什么经验大家可以一起分享,交流上没有障碍。”

  但是,一腔创业的热情投放到现实中时却遭遇了不小的打击。公司创立初期,没有接到任何业务,公司处于零盈利状态,招来的员工眼见公司老不接单陆陆续续地离开了公司。张春成说:“我们的技术尽管很有竞争力,但是回国之后不熟悉国内的市场,很多相关的国家政策以及市场用户的需求都没有摸透,常常碰壁。”

  他苦笑着讲述创业初期的受挫经历。他曾经带着自己的技术和产品跑了好多家档案馆,档案馆的工作人员看到他的技术演示之后都赞不绝口,但是一问到是否有购买意愿时,对方连连摆手说没有经费;有的档案馆负责人说虽然对这项技术十分感兴趣,但馆内已经有了一套系统,如果换新系统的话,对接和兼容是一个大问题,也无奈地表示不愿采用。

  “就是这样,一次次被拒绝。在市场这一块我们确实走了很多的弯路。” 张春成看着公司不见起色,他想到了放弃。但看看依旧留在身边坚定支持自己的员工,他决定再赌一回。

  经过他和几位技术员的不懈努力,公司团队独立研发出了国内外领先的无损耗高压缩可检索的彩色文档技术和无损耗高压缩可检索的视频技术,这一技术突破能够把工程图纸扫描文件压缩到原文件的千分之一,也让公司在最困难的时候接到了一个项目。

  “这个项目是做一个设计院的档案系统,技术演示的时候对方给了我一张184M的图纸,最终我们把它压到了180多K,客户非常吃惊。之后他们又提出一系列的要求,我们也不断修改技术方案,一直到用户满意。”

  这一次的接单经历,让张春成燃起了希望。后来经朋友介绍,公司在2009年年底接到了第一个“大项目”。

  下单的是贵州省交警总队。业务洽谈时,张春成还是按照惯例演示了自己的技术,“说实话,当时完全不知道我们能为对方做点什么,直到演示完毕,对方才提出了要求”。

  管档案的要求把几十年的档案压缩后建立数据库,便于检索;管事故处理的希望把事故证据压缩后建立一个资源库,方便随时查找;管车辆和驾驶员信息的希望通过数据压缩节约开支,暂缓购买新服务器……

  张春成悉心听取了对方的所有想法,开始调兵遣将,着手研发,“从招人到培训到建立流水线,我们用了3个月组建新的团队,又用了3个月把项目圆满完成”。

  可是,还没等张春成的完美答卷提交上去,对方又提出了新的需求:希望他们把实时的视频存储问题也解决一下。

  张春成突然意识到,与图片压缩技术相比,用户更加需要视频压缩技术,他马上和团队开会讨论,将研发重点调整到视频压缩技术上。“这个技术以前我们是不做的,但是用户既然提出这样的需求,我们就一定要满足。”张春成的团队鏖战了数不清的日夜,终于找到视频压缩技术的切入点,最终将用户提供的历史视频数据压缩到原来的十分之一。

  客户再下“战帖”,在解决了历史视频压缩问题的基础上,希望把这个压缩技术植入前端摄像头,这样就可以实时拍摄,实时压缩。张春成的团队按照要求完成任务,不仅解决了带宽问题,更为用户节约了巨额的资金。

  现在,这一全新的技术已经在全国范围逐步推广。

  看到公司的业务蒸蒸日上,张春成庆幸自己当初没有放弃,“每一个公司,不管你业务做多大,在这样一个"大数据"时代里都是极其微小的一分子,但是如果我们的技术帮助别人解决了"大数据"的存储问题,解决了数据传输的带宽问题,为人们节约了系统资源,那我们公司的技术就是有价值的”。

  张春成说:“我梦想着有一天可以看到压缩存储技术走进每个人的生活,改变大家的观念,通过给这个"大数据"时代减负,让人们真正迎来一个环保高效的"绿色数据"时代!”

时间: 2024-09-19 09:26:12

“小存储”玩转“大数据”的相关文章

云对象存储:让大数据挑战变小

云提供商已经意识到云对象存储服务是将"大数据"市场炒作变成现金的有力途径.大数据分析从非结构化数据中提取情报,对于大多数云提供商提供的传统的块存储技术来说过于笨拙. 很多企业客户疲于调整现有的内部IT基础架构和传统数据仓库,云提供商正好找到了基于通过云对象存储服务,提供商不仅提供了成本削减,也解决了客户和大数据管理的相关技术挑战. 云对象存储:让非结构化数据结构化 收集和存储大型数据集对于任何规模的企业都让人生畏,而且访问.组织和分析非结构化数据给企业制造了大量新的挑战.使用块存储技术

玩转大数据:需要知晓的12种工具

本文讲的是玩转大数据:需要知晓的12种工具,无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具.这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具. 在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力.有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用一种更简易的方式来实现数据的交付功能,Derrick相信这是

规划为道 同方数据资源体系玩转大数据

文章讲的是规划为道 同方数据资源体系玩转大数据,大数据的应用前景之大已经毋庸置疑.据Gartner发布的<大数据驱动基础架构>报告显示,2013年大数据带动的IT支出有望达到340亿美元;到2016年,全球在大数据方面的总支出将达到2320亿美元.Gartner还强调,大数据工具在2014年将被视为一种必要投资. 当前,越来越多企业将大数据的分析结果作为其判断未来发展的依据.同时,传统的商业预测逻辑正日益被新的大数据预测所取代.不过,海量数据只有在得到有效治理的前提下才能进一步发展其业务价值.

SQL Server:大企业如何玩转大数据?

文章讲的是SQL Server:大企业如何玩转大数据,"得大数据者得天下." 推崇大数据时代的变革者们对此坚信不疑. 在大数据时代,谁能有效地管理和控制数据,谁就有可能成为世界霸主.中国石油化工集团公司信息系统管理部副主任齐学忠也认同这个观点.不过,有效的管理和控制数据并非一件容易的事情,齐学忠就经常为中石化的合同管理而头疼. 营业收入超4000亿美元,全球排名领先的巨型企业--中国石化,其合同管理就是不折不扣的"大数据".中国石化集团拥有众多分子公司,总部和所有下

经验之谈:如何像Google一样玩转大数据

文章讲的是经验之谈:如何像Google一样玩转大数据,像Google一样玩转大数据到底难不难?企业能从Google身上借鉴哪些经验?本文就将进行深入的讨论. 简单来说,Google处理大数据的方式可以总结为以下几点: 1.收集原始数据,捕捉每一个网站的内容,电子邮件或者Cookie,然后抽取出关键的信息 2.为这些信息创建复杂的关联索引以及与广告相关的索引 3.将索引和相应的内容存储在分布式的服务器上 4.当用户浏览网页进行搜索,或者查看电子邮件时,Google就会将用户的请求放到一个复杂的"翻

风险管理更精准 银行也要玩转大数据

全球知名咨询公司麦肯锡在其发布的大数据报告中称:"数据,已经渗透到当今每一个行业和业务智能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产增长率和消费者盈余浪潮的到来." 大数据与各行各业的结合已经越来越紧密,拥有得天独厚大数据优势的银行也不例外.网上银行.手机银行.财富管理.信用卡平台等系统内的客户交易数据,核心系统.信贷系统.客户关系维护系统.计价系统等客户的基础信息,产生了大量的数据.这些数据可以帮助银行进行业务总结和洞察.细分客户.预见客户流失.提出增值

聚焦数字营销 看中美巨头如何玩转大数据

大数据已经算不上新事物,它已经从根本上改变了诸多行业--比如音乐.报纸.电影.零售等等.在数字营销领域,依托新技术的大数据所带来的改变更是颠覆性的. 聚焦数字营销看中美巨头如何玩转大数据 争夺数据资源巨头们开疆辟土 互联网广告曾被谷歌占据:亚马逊称霸在线零售:社交网络的巨头是脸书:而苹果公司则建立了交互式硬件设备的行业标准,被称作"人们数字生活的遥控器". 这也是美国互联网市场的现状.你可能认为四家公司能够很好地诠释市场细分,在零售.广告.硬件和社交网络各显其能,然而这并不是全部.这仅

CIO沙龙深圳站:金融/制造业玩转大数据

本文讲的是CIO沙龙深圳站:金融/制造业玩转大数据,在互联网+.中国制造2025以及工业4.0的浪潮下,传统企业豁然开朗,似乎找到了转型升级.改革创新的救命稻草.但事实上没这么简单,面对这些大而空的概念,企业没有做好准备很难抓住这波机会,转型将是空谈,无法落地. ▲点击报名参加 找转型良方,来深圳CIO沙龙现场 机会不会从天上掉下来,而是需要企业掌握必备的基础能力,比如制造企业如何借助大数据技术,做到生产制造的精细化管理,节约企业经营成本,最大化市场竞争空间.金融企业如何借助大数据技术分析用户行

如何避免失败,像Google一样玩转大数据

随着生活的丰富,产生数据的设备也是愈来愈多,同样需要处理的数据体积也是日益激增,各个机构也纷纷把眼光投向"大数据"这个术语.在这场数据的淘金中许多公司满载而归,然而"大数据"投资失败的公司也不可谓不多,所以就有了之前的一篇文章" Why http://www.aliyun.com/zixun/aggregation/13527.html">Big Data Projects Fail".对此,商业智能工具研发总监.esProc.e