Google的系统工程师(SA)如何工作,互联网营销

  本文根据系统管理领域知名博客 Thomas A. Limoncelli 的 What is system administration like at Google 整理而成,添加了部分笔者观点。

  Google的系统工程师(System Administrator)如何工作

  由于Google的服务已经集群化,系统工程师并不大量接触硬件比如做安装服务器等事情。另外大部分工作也已经自动化了,比如架设LDAP, 负载均衡等。对照而言,国内目前大部分互联网公司SA仍然要做大量重复的底层工作,比如拿一个业务的数据库过大需要拆分为例,从系统管理员的角度,需要做以下事情:

  · 同技术人员沟通目前业务特点,制定拆分方案并评估程序风险;

  · 搭建测试环境,技术人员测试程序兼容性;

  · 制定实施方案,保证业务的不停机平稳过渡;

  · 深夜上线;

  · 观察1-2天运行情况。

  我们需要思考上面工作是否是系统管理员以及技术人员有价值的工作。像Cassandra这样解决了分布式存储自动化扩展的问题是业内一种发展方向,尽管Cassandra的稳定性还需要改进。

  Google的系统工程师怎么做?

  他们会通常1周值班,响应各种问题,比如完成上述场景中的扩容业务。然后有大约5周左右脱离一线工作来自由思考将这1周内碰到的工作进行自动化改进,将那些会反复碰到的问题通过脚本及监控程序完成,或者进一步反馈给技术人员改进应用程序来实现自动化。1:5只是个大约比例,时段可以灵活安排。比如也可以按天来安排,1天值班/7天改进。当改进完成之后,下次遇到相同的场景,自动化程序会完成大部分工作。如果在其他公司,SA通常忙碌在一线机械重复上述工作,但是在Google, 给系统工程师预留了相当多的时间让大家思考改进。

  这就是Google的System Administrator自称SRE(Site Reliability Engineers)的原因。SRE会不断在优化所负责的系统,一些人关注运维层面,另外一些可能关注自动化工具。所有的SA都需要具备一定程序或脚本开发能力。

  因此,当遇到Google的数据规模,自动化不是是否需要,而是如何更好实现的问题。

  在Google其他一些令人兴奋的工作还包括:

  • 与开发技术人员是协同的关系。
  • 只需关心技术,在技术领域也有职业生涯上升通道,不必转向技术管理岗位或其他。
  • 同事都非常聪明,通常会觉得自己是最逊的那一个。很多挑战,保守的估计领先行业2-10年,在这里工作就象给了你一个魔法水晶球,通过你的工作可以预见这个行业的未来。

  受Google方式的启发,以下想到的一些可以研究的自动化方向:

  1. 程序部署

  C/C++/Java/PHP/Python/Ruby/C# 等语言如何不停机自动发布。

  自动发布如何简洁的解决模块依赖性,比如1天需要同时更新10个有相互依赖的模块,并且不能停止服务。

  Web容器虚拟化,同一Web容器上可以部署多个业务,业务之间互相隔离,互不影响。

  将新开发的服务程序运维自动化。一般的服务程序从数量上来说,10是一个分水岭,10台以下的服务通过人工重复操作方式来管理也问题不大,但是10台以上就需要自动化管理的方法。很多优秀的开源程序(比如Tokyo Cabinet, Redis等)在单机上表现优秀,但是大规模部署不能。大公司中很多技术人员经常提到很多开源软件不适合他们就有这方面原因。

  2. 资源部署
  MySQL
  分布式文件存储

  Cache,拿cache自动化管理举例。

  端口资源管理,不同业务使用不同端口,同一应用内不同的数据使用不同的端口,相关原因可以参看以前cache相关博文。

  容量管理,不同的数据需要不同的容量。

  动态扩容,应用业务规模增长,比如从10G扩容到100G。

  Proxy功能,比如虚拟化端口映射,程序访问的是固定虚拟端口,这样不需要重启服务也可以随时扩充,应用也不需要一致性hash, proxy帮你做了。

  3. 系统部署

  OS

  反向代理与负载均衡。
  本地分区容量,批量管理。
  程序发布与停止,比如一个程序一个点击部署到100台服务器。
  虚拟化,比物理服务器更容易部署,资源利用率更高,部署更可控。

  大部分国内互联网公司基础技术还是比较原始的,这跟行业过分强调“好产品是运营出来的”也有关系,基础研发通常不受重视,长此以往,只能在门槛低的领域打拼,与Google的技术差异就不止10年了。

时间: 2024-09-16 19:53:17

Google的系统工程师(SA)如何工作,互联网营销的相关文章

菜鸟玩GAE(Google App Engine)完全指南,互联网营销

GAE是什么? 从实用的角度说是GAE可以提供我们稳定的免费网站空间,空间支持语言是python.java,数据库是google专有的数据库,数据库和空间可以免费使用1G,超过了1G就要买了,还提供Google的带宽,这个带宽约可以支撑一月500万次访问请求,超过500万次就要买了--对于一般网站这免费的资源就足够了,另外GAE还支持域名绑定,就相当于个人买的虚拟空间一样. 即使你目前对GAE不了解,也不会python或java,也能轻易使用GAE空间,利用别人编好的基于GAE的程序建立起自己的

连线杂志:Google算法统治互联网的秘诀,互联网营销

谷歌如何搜索浩如烟海的信息      导语:美国<连线>杂志网站日前发表编辑史蒂文·列维(Steven Levy)的文章,揭开了Google搜索算法的神秘面纱.      以下是文章全文: 搜索改变生活 想知道Google将如何改变你的生活吗?那么周四去"瓦加杜古"会议室看一看吧.在加利福尼亚山景城的这个会议室里,几十名工程师.产品经理和高管聚集一堂,讨论如何令Google的搜索引擎更加智能.今年,Google将对其传说中的搜索引擎算法进行大约500项改进,而且每一项改进都

第三届CSHIA智能家居系统工程师同学会上海成功举办

2016年7月7日,由中国智能家居产业联盟(CSHIA)主办的第三届CSHIA智能家居系统工程师同学会暨2016中国智能家居区域高峰论坛在上海圣拉维会馆(浦东店)盛大举办. 以"i 智能·一起来"为主题的本届同学会,在前两届活动成功举办的基础上,进一步汇聚了前后12期CSHIA培训学员.2期智能家居技术专项培训学员.区域重点经销商代表.以及联盟理事长.理事单位代表共同参与. 同学会现场 本次活动也得到了鸿雁电器.思创易控.安玛思.中讯威易.万科思自控.爱威影音.影美极.领通科技.派菲克

《Android深度探索(卷1):HAL与驱动开发》——1.2节Android系统移植的主要工作

1.2 Android系统移植的主要工作Android深度探索(卷1):HAL与驱动开发Android移植可分为两部分:应用移植和系统移植.应用移植是指将如图1-1所示第4层的应用程序移植到某一个特定硬件平台上.由于不同硬件平台之间的差异,Android SDK API也有可能存在差异(有的厂商会修改部分Android SDK API以适应自身硬件的需要),或者将应用程序从低版本Android移植到高版本的Android上.为了保证应用程序可以在新的硬件平台正常运行,需要对源代码进行一些修改.当

第十五期CSHIA智能家居系统工程师培训浙江大学开班

2017年3月29日,由中国智能家居产业联盟(CSHIA)主办的第十五期CSHIA智能家居系统工程师培训在杭州·浙江大学正式开班.本期培训吸引了来自全国各地的六十余位智能家居一线集成商及工程技术人员参与,展开三天充实的智能家居系统课程学习. 培训首日,CSHIA智能家居系统工程师培训负责人王胜阳作开班致辞.本期"CSHIA智能家居系统工程师"培训课程共计三天两夜,32课时,内容涵盖智能家居技术原理.产品选型.系统集成.方案设计.产品实操.项目施工管理等贴近一线市场的丰富.实用干货. &

高薪聘请asp.net工程师 3年工作经验以上 海口工作 月薪3000以上

问题描述 高薪聘请asp.net工程师3年工作经验以上海口工作月薪3000以上专门开发本公司办公系统有b/s模式系统开发经验3年以上asp.net工作经验海口工作月薪3000以上联系qq:543101985 解决方案 解决方案二:3000-多少?3000有的说好象不多不过上次看电视一个程序员说以前他想要的薪水是7k-8k但是目前经济不好只要1.5k-2k所以3000也算高了解决方案三:3000-以上看你值多少了解决方案四:up解决方案五:引用2楼xiao_laohu的回复: 3000-以上看你值

Google推广是一种行之有效的互联网广告方式,

外贸生产http://www.aliyun.com/zixun/aggregation/18046.html">企业客户认为,Google推广是一种行之有效的互联网广告方式,Google推广它具有全球183种语言版本,因此对于中国的中小企业来说,要针对全球.某一个或多个国家进行定位推广网站,也是一件非常轻松和简单的事.Google推广的广告系统,投资回报率高,并提供了强大的广告效果评估数值,而且在产品多样化上也能够让广告客户选择有加,在这方面,象Yahoo还是没有办法与它抗衡的.而百度呢?

对系统工程师的建议:忘掉 7 ± 2

Douglass 博士曾在几百个项目上提供过超过 30 年的咨询.在这一面向基于模型系统工程的十大建模建议清单里,他分享了他的观点及深度经验.在过去 20 年里,系统工程领域经历了重大的改变.尤其是,系统工程从基于文本文档描述分析 转变为基于模型方法,从而实现抽象出系统的核心特性来更好地关注和应用严格的分析工作.这也就是说,很大程度上,得益于统一建模语言(Unified Modeling Language,UML)使用的日渐广泛,导致另一伴随衍生出的标准建模语言,系统建模语言(Systems M

调查称系统工程师被视为美国最佳职业

CNET科技资讯网3月17日国际报道 如果你是位系统工程师,老是怀疑自己是否选择了对的职业,那现在有个好消息.根据一项调查显示,系统工程师是美国最好的工作. Focus.com可能是在世界各地都能听到类似的牢骚抱怨的刺激下,做出了这个最重要的调查任务. 该网站一开始审视超过七千个工作,然后将焦点放在美国劳工统计局提供的数字上.它选择了根据统计数字,在未来十年会增长10%以上,以及至少需要大学毕业资格的工作. 接下来排除了需要有经验,但是年薪中间值低于65,000美元的工作,也排除了起薪低于10,