谷歌的数十亿代码就放在这个地方......

谷歌作为世界上最大的科技巨头之一,拥有数十亿行的代码存储,这些代码存放在不断增大的共享共享源码库之中,这一数据库拥有一个控制系统进行管理。

该代码库包含了86TB数据,约10亿个文件(包括重复文件)和3500万行注解,其中有900万个唯一的源文件,这其中包含约20亿行代码。谷歌每个工作日都要向这个数据库递交4万次命令,其中1.6万次为程序员完成,2.4万次由自动系统完成。这个代码库在高峰时的查询速度达到了80万次/秒,在平时的工作日也达到了50万次每秒的查询量。

系统支持方面,建立伊始,这个数据库仅支持Linux,后来又加入了Windows和Mac的支持。

本文转自d1net(转载)

时间: 2024-07-28 22:30:35

谷歌的数十亿代码就放在这个地方......的相关文章

如何做到“恰好一次”地传递数十亿条消息

在分布式领域中存在着三种类型的消息投递语义,分别是:最多一次(at-most-once).至少一次(at-least-once)和恰好一次(exactly-once).本文作者介绍了一个利用Kafka和RocksDB来构建的"恰好一次"消息去重系统的实现原理. 对任何一个数据流水线的唯一要求就是不能丢失数据.数据通常可以被延迟或重新排序,但不能丢失. 为了满足这一要求,大多数的分布式系统都能够保证"至少一次"的投递消息技术.实现"至少一次"的投递

利用SS7漏洞可追踪全球数十亿部手机 黑客千里之外窃听澳洲议员

本文讲的是 利用SS7漏洞可追踪全球数十亿部手机 黑客千里之外窃听澳洲议员,澳大利亚版电视节目<60分钟时事>(60 Minutes)展示了黑客如何在数千公里外的德国窃听并追踪澳洲参议员 存在于现代通讯技术中的一个大型安全漏洞使得全球数十亿手机用户的数据可能遭到秘密窃取,黑客可以窃听电话并追踪受害者地理位置. 手机信令系统System Signalling Number 7(SS7)存在漏洞,黑客.骗子.流氓政府和肆无忌惮的商业运营商得以使用数以百计的在线端口进行入侵. "六十分钟时

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

作者介绍 王峰,淘宝花名"莫问",2006年毕业后即加入阿里巴巴集团,长期从事搜索和大数据基础技术研发工作,目前在计算平台事业部,负责实时计算北京研发团队. 在阿里巴巴的11年工作期间,持续专注大数据计算与存储技术领域,基于Hadoop开源生态打造的数据基础设施一直服务于搜索.推荐等阿里核心电商业务场景,最近一年带领团队对Apache Flink进行了大量架构改进.功能完善和性能提升,打造出了阿里新一代实时计算引擎: Blink.目前数千台规模的Blink生产集群已经开始在线支持搜索.

维基解密再爆猛料:CIA利用漏洞入侵全球数十亿个人电子设备

美国当地时间本周二,维基解密称他们获取到了8761份来自美国中央情报局(下称CIA)的文件.这些文件透露了美国政府的强大黑客工具可以通过监控数十亿人的日常电子设备来窥探大家的隐私,电视.智能手机甚至杀毒软件都有可能受到CIA的黑客入侵.一旦入侵后,他们能够获取你的声音.图像和短信信息,甚至是经过加密软件处理的聊天内容. 据维基解密所说,这些数据代号为Vault 7,文件日期介于2013年和2016年之间,据说是已公布的相关CIA最大规模的机密文档,文件细数了CIA所用的网络入侵工具及其拥有的入侵

互联网公司如何使用数十亿人的个人数据?

被推送.被记录.被打标签.被索引.被简报.被盘问.被编号--所有这一切都是互联网公司的日常行为. 数据收集产业,这个靠着从社交媒体和移动设备上搜集信息片段获利的行业,影响每个人的生活,却不受任何有意义的监管审查.     上周,位于奥地利维也纳的文化倡导组织 "破解实验室( Cracked Labs)",发布了一份长篇报告,称"数字环境下,个人频繁被调查评估,被分类编组,排名排位,编号量化,包含/排除,并由此被区别对待." 该报告题为<日常生活中的大规模监视:

数据库优化:mysql数据库单机数十亿数据查询设计

   很久没写文章,是不是想着写点什么东西,分享下我的数据库设计思路,主要是针对单机数十亿及以上数据查询优化技巧. 如果只是简单的查询,没有频繁的写入操作,对查询速度不要求在毫秒级别,就不需要什么大型的数据库软件设计复杂的集群关系,也不需要分布式水平分割等太重的优化. 只需要用mysql在本机笔记本搭建一个普通的环境就行.    那么首先是针对mysql做一些普通常见的优化,比如分表分区.建索引.表字段设计以及mysql的配置优化,比如缓冲区大小等等,这类配置我找了一个文章,详细的可以看 htt

中信资本数十亿日元收购特耐王集团多数股权

ChinaVenture北京时间8月13日下午消息,据路透社消息,中信集团旗下的私人直接投资公司中信资本收购了位于东京的纸箱制造商Tri-Wall KK(特耐王集团)的多数股权. 中信资本在此次收购中共支付了数十亿日元,同时计划支持Tri-Wall KK的扩张并助其在数年内在香港上市. 据称,Tri-Wall KK重型纸板的大部分亚洲业务来源于日本之外,该部分销售额占比高达75%.Tri-Wall KK方面表示欢迎中信资本成为其主要投资人,部分原因是公司希望在香港上市. 中信资本于2004年开始

广西甘肃科博会签数十亿元大单

本报讯(记者古晓宇)昨天,组团参加本届科博会的广西.甘肃两省份分别在科博会上与相关企业签署了价值数十亿元的合作协议. 在科博会上,广西代表团重点发布了"千亿元产业重大科技攻关工程"需求的项目35个,其中有22个项目昨天与相关企业进行了集中签约,签约金额达38.67亿元. 甘肃代表团此次组织了102项科研成果和专利技术参加科博会,其中有8个项目进行了集中签约,签约金额达33.92亿元.

仅前三季度就帮三大运营商牟利数十亿

仅前三季度就帮三大运营商牟利数十亿 垃圾短信屡治不绝自有"安身术" "我每天至少能收五六条垃圾短信,有的是推销理财产品,有的是医疗广告,甚至还有卖枪支卖假币的."海南海口市民顾志斌说,有一天竟收到了同一个号码发来的3条内容一样的垃圾短信"本公司有多余票据对外代开,经营范围,货物销售.广告.资讯.工程.服务.建筑材料等." 顾志斌收到的这些垃圾短信,仅仅是近些年垃圾短信泛滥的一个缩影.虽然近年来有关部门多次出台措施整治垃圾短信,但这一"顽