信息周刊:Google大揭秘

裁缝般地定制软件

　　为了能尽量压榨硬件性能,谷歌开发了相当数量的定制软件.创新产品主要包括用于简化处理和创建大规模数据集的编程模型MapReduce;用于存储和管理大规模数据的系统BigTable;分析分布式运算环境中大规模数据集的解释编程语言Sawzall;用于数据密集型应用的分布式文件系统的 “谷歌文件系统”(Google File System);还有为处理分布式系统队列分组和任务调度的“谷歌工作队列”(Google Workqueue).

　　正是从Sawzall这些工具里体现出谷歌对计算效率的执著关注.并不是每家公司都能从底层去解决效率问题,但是对谷歌来说,为常规关系型数据库无法容纳的大规模数据集专门设计一种编程语言是完全合理的.即使其他编程工具可以解决问题,谷歌的工程师们仍然会为了追求效率而另外开发一套定制方案.谷歌工程师认为,Sawzall能与C++中的MapReduce相媲美,而且它更容易编写一些.

　　谷歌对效率的关注使它不可能对标准Linux内核感到满意;谷歌会根据自己的需要运行修改过的内核版本.通过调整Linux的底层性能,谷歌工程师们在提高了整体系统可靠性的基础上,还一并解决了数据损坏和数据瓶颈等一系列棘手问题.对内核的修改也使谷歌的计算机集群系统因为通信效率的提高而运行得更快.

　　当然,谷歌偶尔也会出现系统故障,情况一旦发生,无数的用户就会受到影响了.三年前一次持续30分钟的系统故障使20%的搜索流量受到影响.

　　谷歌开发了自己的网站服务器却没有使用开源的Apache服务器,尽管它在网站服务器的市场占有率超过60%.迪博纳认为,谷歌的网站服务器可以运行在更多数量的主机上,对谷歌站点上内容庞大又彼此互相依赖的应用程序来说,这种服务器的负载均衡能力远比Apache的能力更高.同时,在用标准公共网关接口(CGI)访问数据库动态网页方面,谷歌服务器的编程难度要比 Apache更高,但是最终运行速度却更快.“如果我们能够压榨出10%～20%的性能,我们就可以节省出更多系统资源、电量和人力了.”迪博纳在总结中指出.

　　谷歌还设计了自己的客户关系管理(CRM)系统用于支持自己基于竞价和点击的互联网广告收费业务.但对是否需要设计自己的工具,谷歌的态度也不是一成不变的.比如在财会软件上,它就使用了甲骨文公司(Oracle)的Financials软件.

　　美林拿着一只叉子举例说明现成的产品也可以带来价值.但在有些场合现成的软件产品就不一定适用了.“我们的文化在各个层面对我们的运作都有深远影响,”他表示,“所以我们不想让购买所得的工具改变我们的工作方式和文化层面.”

　　保持活泼

　　谷歌没有透露它在IT上的开销.Susquehanna 金融集团(Susquehanna Financial Group)分析师玛丽安"沃尔克(Marianne Wolk)估计今年上半年谷歌在IT上的花费高达三亿美元,相当于在此期间谷歌全部收入的30%.而在过去几年间,谷歌把全部收入的50%花在了IT上.现在,随着公司的发展,IT开销比例正在下降,其他领域如房地产业的投入正在增加.

　　非正统的科研人员管理方式使谷歌没法和大多数科技公司一样把研究和开发的预算分离开来.高级工程和研发副总裁阿兰"尤斯塔斯(Alan Eustace)解释说:“在许多大公司你会发现研究和工程是分离的.”但是把这两部分预算分离开来,他认为“就等于从制度上遏制了把各项工作变得更加有趣的可能.”

　　谷歌的IT是“去中心化”(Decentralized)的管理方式.公司没有CIO或首席技术官(CTO),但它拥有一大群高级工程师和技术人员.这中间包括主管系统基础设施工程的副总裁比尔"库格伦(Bill Coughran),他负责掌管和支撑谷歌在线应用的大型分布式运算程序,而尤斯塔斯则负责产品的研发.谢尔盖"布林(Sergey Brin)的身份并不仅是谷歌的创始人之一,他的日常工作是技术总裁.美林在三年前作为信息系统高级主管加入谷歌,现在负责内部工程部门的管理和全球技术支持.

　　谷歌采用的是矩阵式管理系统,每位经理都有好几位直接汇报的上司,每位工程师也可以同时向几个人汇报.多数情况下,工程师们从共同工作的项目领导人处获得指导和评价.但每隔三个月工程师们就可以自发调换项目,因此谷歌改变了传统意义上的项目运作和绩效考评模式.如同处理其他技术问题一样,谷歌用人工智能和计算机自动化的方式来处理一些日常工作.“我们的目标是尽量自主运作,以免工作变得乏味.”美林表示,“没有人会喜欢乏味的工作,对吗?”

　　此外,谷歌的招聘跟踪系统能自动聚合应聘者的各种信息,为招聘经理提供候选人的工作简历,建议的面试问题,在招聘之后还会自动发送电子邮件询问招聘方对应聘人选的意见.工作面试包括逻辑问题、编写代码、讨论软件架构,和其他任何可以使谷歌相信应聘者具有快速学习新技术能力的证明,因为谷歌是不会让它的员工长时间只干一件事情的.

　　许多小型和短期的项目意味着基于任务表的传统项目管理方式的软件不适用于谷歌.比如,他们的技术人员都不擅于总结自己的时间分配计划.他们更擅长的是写下每日工作相关的简短介绍或是代码片断.这些内容会定期和小组领导提交的项目更新信息一起汇编到数据库里,项目管理系统根据输入内容的主题,加上标签把它们转发给相关人员.美林认为,“这样的系统还算不上真正的人工智能.” 但是,除了谷歌还有哪家公司会这样管理员工呢?

　　绩效考核也采用了类似的技术机制.谷歌的“Perf绩效”系统让经理们写电子邮件(当然还是先由电脑而非人工进行分析),邮件描述了员工在项目中表现的优劣.同事们则会收到另一封来自系统的电子邮件要求他们对比该员工与其他谷歌员工.Perf系统自动分析所有反馈信息,对员工对比结果进行评估,并把结果公开.这正是美林想要的效果,技术让工作关系变得更加透明和人性化.可以预见,虽然打开窗户的同时也会放进苍蝇,但美林表示凡事总有缺憾.“飞速发展的同时,还必须保护我们的企业文化,”他说,“这能让我们保持清醒.”

　　对谷歌的方式,有人持不同意见.2004年因兼并加入谷歌市场部门的某工作人员,就由于缺乏资源和支持而辞职.“从IT工程师角度看,谷歌的确是个了不起的地方,”这位前雇员说,“但是,从商业或市场角度看,它就未见得如人们想象的那么出色.”

　　谷歌对市场的理解力,还远跟不上它的技术实力.除了搜索引擎和广告系统,谷歌大量的在线应用项目目前的作用还很有限.谷歌的Gmail服务面临着长期霸主雅虎和微软免费电子邮件服务强有力的挑战.它的在线金融门户 Google Finance系统也存在类似的问题.谷歌地图也远远落后于MapQuest和雅虎地图,位居第三.