详解知名网站的技术发展历程(3)
2010年，Twitter在盐湖城拥有了第一个自建的DataCenter，主要是为了增加可控性。从Twitter的发展过程看，6年来它的技术改造主要围绕可伸缩以及可用性。
作为一家电子商务网站的员工，请允许我在此介绍这个Alexa排名21的著名电子商务网站的技术演变。
1995年，eBay诞生，当时采用CGI编写，数据库采用的是GDBM，最多只能支撑5万件在线商品。1997年，eBay将操作系统从 FreeBSD迁移到Windows NT，另外将数据库从GDBM迁移为Oracle。1999年，eBay将前端系统改造为Cluster(之前只有一台主机)，采用Resonate作为负载均衡，后端的Oracle机器升级为Sun E1000小型机，同年给数据库增加了一台机器作为备库，提升可用性。前端机器随着访问量不断增加还可以应付，但数据库机器在1999年11月时已经达到了瓶颈(已经不能再加CPU和内存了)，于是在11月开始将数据库按业务拆分为多个库。2001-2002年，eBay将数据表进行了水平拆分，例如按类目存储商品，同时部署Oracle的小型机换为Sun A3500。2002年，将整个网站迁移为用Java构建，在这个阶段，做了DAL框架来屏蔽数据库分库分表带来的影响，同时还设计了一个开发框架以供开发人员更好地上手进行功能开发。从eBay的整个发展过程来看，技术改造主要围绕在可伸缩性和可用性两点。
腾讯目前Alexa排名第 9。最初QQ IM采用的是单台接入服务器来处理用户的登录和状态保持，但在发展到一百万用户同时在线时，这台服务器已经无法支撑。于是QQ IM将所有单台服务器改造为了集群，并增加了状态同步服务器，由其完成集群内状态的同步，用户的信息存储在MySQL中，做了分库分表，好友关系存储在自行实现的文件存储中。为了提升进程间通信的效率，腾讯自行实现了用户态IPC。之后腾讯将状态同步服务器也改造为同步集群，以支撑越来越多的在线用户。在经历了前面几次改造后，已基本能支撑千万级别的用户同时在线，但可用性比较差，于是腾讯对QQ IM再次进行改造，实现了同城跨IDC的容灾，加强了监控和运维系统的建设。此后腾讯决定对QQ IM架构完全重写(大概是2009年持续到现在)，主要是为了增强灵活性、支持跨城市的IDC、支撑千万级的好友。在这次大的技术改造过程中，腾讯的数据都不再存储于MySQL中，而是全部存储在了自己设计的系统里。
从QQ IM的技术演变来看，其技术改造主要是围绕在可伸缩性和可用性上。
2003年，淘宝诞生，直接购买了一个商业的phpAuction的软件，在此基础上改造产生了淘宝。2004年，将系统由PHP迁移到 Java，MySQL迁移为Oracle(小型机、高端存储设备)，应用服务器采用了WebLogic。2005-2007年的发展过程中，用JBoss 替代了WebLogic，对数据库进行了分库，基于BDB做了分布式缓存，自行开发了分布式文件系统TFS以支持小文件的存储，并建设了自己的CDN。 2007-2009年对应用系统进行垂直拆分，拆分后的系统都以Service的方式对外提供功能，对数据采用了垂直和水平拆分。
在进行了数据的垂直和水平拆分后，Oracle产生的成本越来越高，于是在之后的几年，淘宝又开始将数据逐渐从Oracle迁移到MySQL，同时开始尝试新型的数据存储方案，例如采用HBase来支撑历史交易订单的存储和检索等。近几年淘宝开始进行Linux内核、JVM、Nginx等软件的修改定制工作，同时也自行设计了低能耗服务器，同时在软硬件上进行优化，以更好地降低成本。
从淘宝的整个发展过程来看，技术改造主要围绕在可伸缩性和可用性两点，现在也开始逐渐将精力投入在了性能和成本上。目前淘宝的Alexa排名为第14。
总结
从上面这些Alexa排名靠前网站的技术发展过程来看，每家网站由于其所承担的业务不同、团队人员组成不同、做事风格相异，在技术的不同发展阶段中会采用不同的方法来支撑业务的发展，但基本都会围绕在可伸缩性、可用性、性能以及成本这4点上，在发展到比较大规模后，各网站在技术结构上有了很多的相似点，并且这些结构还将继续进行演变。
作者林昊，目前就职于淘宝，2007-2010年负责设计和实现淘宝的服务框架，此服务框架在淘宝大面积使用，每天承担了150亿+的请求;2011年开始负责HBase在淘宝的落地，目前淘宝已有20个以上的在线项目在使用HBase。