已经有读者在火烧眉毛的问怎么去失踪了IOE，别急，在去失踪IOE之前还有很长的路要走。行癫他们买回来小型机之后，我们用上了Oracle，七公带着一帮DBA在优化SQL和存储，行癫带着几个架构师在研究数据库的扩展性。Oracle自己是一个封锁的系统，用Oracle怎么做扩展?用此刻一个时髦的说法就是做“分库分表”。
我们知道一台Oracle的措置能力是有上限的，它的毗连池稀有目限制，发芽速度跟容量成反比。简单的说，在数据量上亿、发芽量上亿的时辰，就到它的极限了。冲要破这种极限，最简单的体例就是多用几个Oracle数据库。但一个封锁的系统做扩展，不像分布式系统那样轻松。我们把用户的信息按照ID来放到两个数据库琅缦沔(DB1/DB2)，把商品的信息跟着卖家放在两个对应的数据库琅缦沔，把商品类目等通用信息放在第三个库琅缦沔(DBcommon)。这么做的目的除了增添了数据库的容量之外，还有一个就是做容灾，万一一个数据库挂了，整个网站上还有一半的数据能操作。
数据库这么分了之后，应用轨范有麻烦了，如不美观我是一个买家，买的商品有DB1的也有DB2的，要查看“我已买到的宝物”的时辰，应用轨范怎么办?必需到两个数据库琅缦沔分袂发芽出来对应的商品。要按时刻排序怎么办?两个库琅缦沔“我已买到的宝物”全数查出来在应用轨范琅缦沔做合并。还有分页怎么措置?关头字发芽怎么措置?这些工具交给轨范员来做的话会很悲催，于是行癫在淘宝的第一个架构上的作品就来解决了这个问题，他写了一个数据库路由的框架DBRoute，这个框架在淘宝的Oracle时代一向在使用。后来跟着营业的成长，这种分库的第二个目的——容灾的效不美观就没有达到。像评价、投诉、举报、保藏、我的淘宝等良多处所，都必需同时毗连DB1和DB2，哪个库挂了城市导致整个网站挂失踪。
上一篇说过，采用EJB其实是和Sun的工程师妥协的结不美观，在他们走了之后，EJB也逐渐被萧瑟了下来。在05、06年的时辰，spring年夜放异彩，正好操作spring的反射(IoC)模式替代了EJB的工场模式，给整个系统精简了良多代码。
上一篇还说过，为了削减数据库的压力，提高搜索的效率，我们惹人了搜索引擎。跟着数据量的继续增添，到了2005年，商品数有1663万，PV有8931万，注册会员有1390万，这给数据和存储带来的压力依然山年夜，数据量年夜，机能就慢。亲，还有什么法子能晋升系统的机能?必然还有招数可以用，这就是缓存和CDN(内容分发收集)。
你可以想象，九万万的访谒量，有若干好多是在商品详情页面?访谒这个页面的时辰，数据全都是只读的(全数年夜数据库琅缦沔读出来，不写入数据库)，如不美观把这些读操作年夜数据库琅缦沔移到内存里，数据库将会何等的感谢感动涕零。在阿谁时辰我们的架构师多隆年夜神，找到了一个基于 Berkeley DB 的开源的缓存系统，把良多不太变换的只读信息放了进去。颇晡差初这个缓存系统还斗劲弱，我们并没有把整个商品详情都放在琅缦沔，一路头把卖家的信息放琅缦沔，然后把商品属性放琅缦沔，商品详情这个字段太年夜，放进去受不了。说到商品详情，这个字段斗劲恐怖，有人统计过，淘宝商品详情打印出来平均有5米长，在系统琅缦沔其实放在哪里都不招人待见。笔者清嚣张的记得，我来淘宝之后担任项目司理做的第一个项目就是把商品详情年夜商品内外面给移出来。这个字段太年夜了，发芽商品信息的时辰良多都不需要查看详情，它跟商品的价钱、运费这些放在一个内外面，拖慢了整个表的发芽速度。在05年的时辰，我把商品详情放在数据库的此外一张内外面，再往后这个年夜字段被年夜数据库琅缦沔请了出来，这也让数据库再一次感谢感动涕零。
到此刻为止，整个商品详情的页面都在缓存琅缦沔了，眼尖的读者可能会发现此刻的商品详情不全是“只读”的信息了，这个页面上有个信息叫“浏览量”，这个数字每刷新一次页面就要“写入”数据库一次，这种高频度实时更新的数据能用缓存吗?如不美观不用缓存，一天几十亿的写入，数据库会怎么样?必然会挂失踪。那怎么办?亲……先不回覆你(下图不是广告，让你看看浏览量这个数据在哪里)
CDN这个工作相对斗劲自力，跟此外系统一样，一路头我们也是采用的商用系统。后来跟着流量的增添，商用的系统已经撑不住了，LVS的创始人章文嵩博士带人搭建了淘宝自己的CDN收集。在本文的引言中我说过淘宝的CDN系统支撑了800Gbps以上的流量，作为对比我们可以看一下国内专业做CDN的上市公司ChinaCache的介绍——“ChinaCache……是中国第一的专业CDN处事供给商，向客户供给全方位收集内容快速分布解决方案。作为首家获信产部许可的CDN处事供给商，今朝ChinaCache在全国50多个年夜中城市拥有近300个节点，全网措置能力跨越500Gbps，其CDN收集笼盖中国电信、中国网通、中国移动、中国联通、中国铁通和中国教育科研网等各年夜运营商。”——这样你可以看得出淘宝在CDN膳缦沔的实力，这在全世界都是数一数二的。此外因为CDN需要年夜量的处事器，要耗损良多能源(耗损若干好多?在前两年我们算过一笔帐，淘宝上发生一盖氚掺，耗损的电足以煮熟4个鸡蛋)。这两年章文嵩的团队又在研究低功耗的处事器，在绿色计较规模也做了良多开创性的工作。淘宝CDN的成长需要专门一个章节来讲，想先睹为快的可以看一下笔者对章文嵩的专访：http://qing.weibo.com/1866752224/6f4460e033000jme.html
回忆起刚用缓存那段时刻，笔者仍是个小菜鸟，有一个经典的错误经常犯，就是数据库的内容更新的时辰，健忘通知缓存系统，结不美观在测试的时辰就发现我悔改的数据怎么在页面膳缦慊转变呢。后来做了一些页面上的代码，改削CSS和JS的时辰，用户当地缓存的信息没有更新，页面上也会乱失踪，在论坛上被人说的时辰，我告诉他用ctrl+F5刷新页面，然后赶紧改削剧本文件的名称，年夜头发布页面。学会用ctrl+F5的会员对我服气的五体投地，我却忸捏的愧汗怍人。
有些手艺的成长是顺其自然的，有些却是突如其来的。到2007年的时辰，我们已经有几百台应用处事器了，这膳缦沔的java应用处事器是weblogic，而weblogic长短常贵的，比这些处事器自己都贵。有一段时刻多隆研究了一下jboss，说我们换失踪weblogic吧，于是又省下了不少银两。那一年，老马举办了第一届的“网侠年夜会”，会上来的年夜侠中有一位是上文提到的章文嵩，还有一位曾经在jboss团队工作，我们也把这位年夜侠留下了，这样我们用起jboss加倍有底气了。
推荐阅读
跟着互联网的不竭成长，此刻的互联网已经不是昔时那种少数人竞争的行业了，此刻良多网平易近也涌入了互联网当一名站长，于是互联网成为了竞争激烈的行业，在这激烈的竞争之中良多站长却忽略了用户的益处，片面追求网>>>详细阅读
本文标题：<b>淘宝网技术发展回顾（五） Java时代：坚若磐石</b>
地址：http://www.lgo100.com/a/22/20120401/47382.html
网友点评
精彩导读
科技快报
品牌展示