说说云盘背后的黑科技!

***当下,随着存储技术的飞速发展,各大公司都推出了云存储服务。但因为是免费面向大众的,无论微软的OneDrive还是百度的云网盘,好多人都难理解他们如何支撑起如此庞大的存储空间。就百度网盘而言 ,每个用户都可以免费得至少两个T的空间。其实百度并没有财力雄厚到为每个良好公民够买一个2T的硬盘,我们上传最多的无非是文本、图片、音频和视频,其中视频容量最最大,百度公司只要搞定“视频”这一关就足以撑起这一庞大的商业应用。据我自己总结,这背后主要有三点主要策略!
  1.第一点,也是都能猜到的一点,大部分用户面对这2T的容量自然不会一下全部用完,据统计平均每个用户只上传了50~60M的文件,那么剩下的空间自然不会给你闲在那,百度也不傻,自然是存放其他人的上传文件。其实具体实施时,百度有一个存储器集群专门存放用户文件,我们每个人的空间都是一个虚拟(virtual)硬盘,而且它的大小是弹性的,按需分配,所有人的文件按上传时间顺序依次存放。而在终端用户上还显示的是连续的2T空间,这样宝贵的服务器硬盘空间不就节省出来了吗?
  2.第二点,程序员发现,与邮箱不同,网盘里大家上传的内容有很多重复,尤其是电影电视剧,常常对于一个视频有上千次的重复上传。那么机会来了,显然只要对同一种文件存放一份,用户们共享它即可。但是计算机如何识别两个相同的文件呢?光比较文件名当然不行,这时厂商会利用哈希算法(Hash)算出每个文件的哈希值,哈希值相同则文件相同,要知道文件改变一个字符就会对哈希值产生天差地别的变化。然而如果每个文件上传时都计算的话,服务器的cpu很容易负荷超载,于是聪明的程序员想到一个办法,就是让客户机自己算,算完后再一起上传,这样算出之后若发现已经有重复就干脆不用上传了,直接在用户界面标记“秒传”。所以程序员写了个小软件或小插件,美其名曰“上传控件”,下载后会访问我们的cpu,成功圆事儿!
  3.第三点,也是最强的一招,先要说到我们为什么要上传那些电影等视频了。比如好多人会把上传一些从优酷下载下来的视频和音乐,一个原因是看地方便,另一个原因是为了收藏老视频,防止哪天网上再也找不到了(或者要收费)。但百度知道这些视频网站的更新策略啊,百度资深的合作伙伴们会向百度提供视频的地址,并提供快速通道。这样一来借他人之手,百度网盘无需花费一个字节就可以实现各大网站视频的海量存储!!
                                    ——By Jim***
时间: 2024-10-01 14:02:47

说说云盘背后的黑科技!的相关文章

【在线论坛】8位阿里技术大V,解密阿里双11背后的黑科技

更多内容可参见:https://yq.aliyun.com/articles/64680    2016年双11是新零售的一个起点.交易额1207亿,成交额相比于去年增长32.32%(2015年的这一数字为912.17亿):开场30分钟,创造每秒交易峰值17.5万笔,每秒支付峰值12万笔的新纪录:菜鸟单日物流订单量超过4.67亿,创历史新高--马老师说:双11最大的挑战是不断扩展技术边界,去准备强大的技术解决人类尚未碰到的问题.每届双11对阿里来说都是一次大考,正是通过这样一次次的大考,阿里将双

CDN---共享单车算啥,阿里云发布共享网络黑科技PCDN,降低视频行业75%的成本

近日,阿里云发布了名为PCDN的新一代内容分发网络,在全球主流云计算厂商中率先推出基于CDN+P2P技术的内容分发类云产品,引发了整个CDN行业的讨论. 在近年的短视频直播热潮中,CDN无疑是视频基础设施行业最大的受益者.CDN是内容分发网络的简称,简单的说,它就是由遍布全国各省份和运营商的分发节点所组成的分布式网络,通过将源站上的内容由这张网络分发到各地用户,降低了源站的网络负荷,提高了内容分发的速度.依靠视频内容的爆发,CDN行业也迎来了"倍速增长"的时代,在CDN市场上,主要有两

众安保险今正式上市,读懂其背后的黑科技就读懂其何为金融科技第一股

众安保险为马云.马化腾及马明哲在2013年创立的众安保险.IPO此前公开认购超额逾400倍,冻结资金2000亿元,是今年大型IPO超额认购倍数最高的新股.截至发稿,众安在大涨15.58%,报69.000港元. 对于整个金融科技,乃至互联网金融行业来说,众安成功在港冲刺金融科技第一股也是振奋人心的事.对行业来说,众安的成功不是单靠渠道创新的互联网金融式的成功,而是依靠技术创新赢得市场的成功.评论称,作为探索科技赋能金融的先行者,众安在线通过连接生态系统并运用尖端科技重新定义保险,同时率先在香港资本

脑子进水还更聪敏了 阿里云搞出来的黑科技太吓人

热得快可以快速烧水是利用了浸没的优势,那么如果要降温呢? 阿里云科学家在4月26日的云栖大会·南京峰会上展示了全浸没的"凉得快"服务器--麒麟,把整台服务器浸在液体里循环冷却,这一方案可以无需使用空调,能源使用率(PUE)逼近了理论极限值1.0. 这是"麒麟"数据中心解决方案首次公开展示,这种耗能极低的技术方案将应用于阿里云服务,也将成为阿里巴巴的NASA计划的重要基础,可为未来20年提供计算能力. 利用热交换的原理,阿里巴巴工程师将服务器完全浸没在一种特殊的冷却液

机器学习&人工智能:数据赋能背后的黑科技

背景 马老师曾提到三次技术革命:"第一次技术革命是体能的释放,是让人的力量更大,第二次技术革命是对能源的利用,使得人可以走得更遥远,而这一次技术革命是IT时代走向DT时代,是真正的大脑的释放.我们其实正在进入一个新的能源的时代,这个时代核心资源已经不是石油,而是数据.". 逍遥子也曾经讲过:"我们用大数据赋能了双11,赋能了我们自己的运营能力.我们还要更上一层楼,利用大数据赋能所有的商家,帮助他们运营好消费者,这样才能让我们在大数据时代践行'让天下没有难做的生意'的使命.&q

双11,SH48背后的黑科技

本文转自d1net(转载)

优云亮相GOPS2017全球运维大会 “黑科技”获全场最高关注

2017年4月21日,GOPS――2017全球运维大会于深圳・圣淘沙酒店拉开帷幕.GOPS全球运维大会由高效运维社区(GreatOPS)和开放运维联盟(OOPSA)联合主办,由工信部信通院数据中心联盟(DCA)任指导单位.全球运维大会是国内第一个运维行业大会,面向互联网及传统行业.广大运维技术人员,传播先进技术思想和理念,分享业内最佳实践. 优云软件携运维黑科技"ChatOps"亮相,获得全场最高关注. ChatOps是什么? 优云 ChatOps是一款颠覆性的运维协同产品,基于即时信

如丝般顺滑的2017阿里双11黑科技曝光

2017双11全球狂欢节,阿里再创奇迹,成交金额1682亿,交易峰值32.5万/秒,支付峰值25.6万/秒,数据库处理峰值4200万次/秒. 双11前夕,阿里巴巴集团CTO行癫就给阿里两万多位工程师下了一个很新鲜的KPI--"双11晚上,大家的主要任务是喝茶." 能如此淡定喝茶的背后,除了无数阿里技术小二的才智与努力,还有很多阿里的黑科技支撑着这样世界超级工程.现在我们跟着阿里云云效一起来揭秘下有哪些基础设施黑科技? 蜻蜓--世界领先的大规模文件分发系统 黑科技指数: 解决痛点:大规模

多领域,多角度!隐藏版阿里双11“黑科技”大公开

系列文章陆续发布: 专访阿里巴巴徐盈辉:深度学习和强化学习技术首次在双11中的大规模应用 专访阿里巴巴林伟:三项世界级挑战背后的思考.实践和经验 专访阿里巴巴魏虎:揭秘阿里双11背后的全站个性化&商铺千人千面 价值1207亿的技术分享,你不能错过"2016双11技术创新"的九大理由! 8位阿里技术大V,解密阿里双11背后的黑科技 2016年双11是新零售的一个起点.交易额1207亿,成交额相比于去年增长32.32%(2015年的这一数字为912.17亿):开场30分钟,创造每秒