博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
学习 Flickr 的 基于 LAMP 的容量规划经验
阅读量:2402 次
发布时间:2019-05-10

本文共 3337 字,大约阅读时间需要 11 分钟。

原贴:http://www.dbanotes.net/web/flickr_lamp_capacity_planning.html

好久没怎么正式更新 Blog 了,快荒芜了,长满了 Spam 的荒草。

最近其实发现了不少可以和大家一起学习的好内容。 的 在 作了一个题为 Capacity planning for LAMP () 的技术报告,说起容量规划,多少有点空对空的意思,不过这个 PPT 还是介绍了不少 Flickr 的网站运维经验。

Flickr 的数据量的确越来越惊人了,根据文档中透漏的数据:

Squid Cache 中共有 3500 万张图片;
在 Squid
RAM 中有 200 万张图片;
4.7亿的图片,每张图片有4到5种尺寸;
每秒钟 38000 个到 memcached 的请求;
2 PB 裸存储容量(周日需要消耗1.5T 的空间)

三个主要步骤:

计划

基于实际业务,而不是抽象的理论。John Allspaw 认为基准测试(Benchmark) 作用并不大,这一点我也很赞同。在业务频繁变化的环境中,Benchmark 根本不能与实际业务情况匹配。

部署

Flickr 使用 (自动化安装、软件分发), (网络中的文件分发、更新), (配置管理工具)提高部署效率。

度量(图形化展现)

Flickr 使用了 来进行容量数据的展现。Ganglia 最初设计是用于高性能集群计算的监控上面,也是以 RRDTool 为基础来进行图形展示。Ganglia 最主要的优点还是管理的方便性: Client/Server 结构, 各自跑 Demon 进行数据交互(XML形式)。相比起来, + 需要进行很多手工配置,在面对大量需要监控的主机的时候的确不那么方便。

Web 2.0 站点的运维似乎大家都在摸索着走。期望这次阿里巴巴组织的上也有有朋友坐下来聊聊这个话题(Flickr 的架构师本来可以来的,因为时间的问题不能成行,挺遗憾的)。

--EOF--

| | |
|
<script type="text/javascript"> function affiliateLink(str){ str = unescape(str); var r = ''; for(var i = 0; i < str.length; i++) r += String.fromCharCode(2^str.charCodeAt(i)); document.write(r); } affiliateLink('%3Ec%22jpgd%3F%20jvvr8--uuu%2Cvgzv/nkli/cfq%2Camo-%3Dpgd%3F62%3B%3A1%20%3COmlgvkxg%22%5Bmwp%22Qkvg%3E-c%3C'); </script>
<script type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-2198040673582211&cpa_choice=CAAQhaT2_gEaCI52gVKP95-sKLGsuIEBMAA&oe=UTF-8&dt=1191083713552&lmt=1190476149&format=ref_text&output=textlink&correlator=1191083713551&url=http%3A%2F%2Fwww.dbanotes.net%2Fweb%2Fflickr_lamp_capacity_planning.html&region=_google_cpa_region_&ref=http%3A%2F%2Fwww.dbanotes.net%2Farchives.html&cc=100&ga_vid=1801604278.1191083714&ga_sid=1191083714&ga_hid=809369315&flash=9&u_h=800&u_w=1280&u_ah=776&u_aw=1280&u_cd=24&u_tz=480&u_his=1&u_nplug=2&u_nmime=3" language="JavaScript1.1" type="text/javascript"></script>
<script type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/pagead/show_ads.js" type="text/javascript"> </script> <script src="http://pagead2.googlesyndication.com/cpa/ads?client=ca-pub-2198040673582211&cpa_choice=CAAQidTQgAIaCEapPfRcsfp6KN2uuIEBMAA&oe=UTF-8&dt=1191083713763&lmt=1190476149&prev_fmts=ref_text&format=ref_text&output=textlink&correlator=1191083713551&url=http%3A%2F%2Fwww.dbanotes.net%2Fweb%2Fflickr_lamp_capacity_planning.html&region=_google_cpa_region_&ref=http%3A%2F%2Fwww.dbanotes.net%2Farchives.html&cc=100&ga_vid=1801604278.1191083714&ga_sid=1191083714&ga_hid=809369315&flash=9&u_h=800&u_w=1280&u_ah=776&u_aw=1280&u_cd=24&u_tz=480&u_his=1&u_nplug=2&u_nmime=3" language="JavaScript1.1" type="text/javascript"></script>

本文相关评论|Comments(10)

xLight 的评论:

web2.0的数据量用什么技术消化一直都是热门问题,

也希望能看到更多这方面的文章介绍

的评论:

好东西,flickr就是nb

的评论:

基准测试在很多时候还是很有用的,不管是大架构还是一些小站点里, 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

的评论:

Capacity planning 也需要专门的Team来做,在国内很多SA,DBA都兼任这个。

的评论:

基准测试在很多时候还是很有用的,不管是大架构还是一些小站点里, 流量的突然爆发需在前期能基准测试而做到心里有数,在大站中一些非生产设备的基准测试也是为生产环境做应对措施

的评论:

第一次看到PB这个容量单位,-_-||

的评论:

图片很耗空间的,flickr好强!

的评论:

俺也很久没有更新了:)

非狐外传 的评论:

不错,学习。

的评论:

国内有个巴巴变网络相册的

做的还挺好的
就是在人数上和flickr有些差距
不过现在越来越多的摄影爱好者在加入
而且上传的照片质量越来越高
可以说在国内摄影的专业领域
已经很高了
如果对于交流和学习的话都很不错的地方
而且速度很快,没有专集组或者200张的图片限制

 
你可能感兴趣的文章
mysqldump与innobackupex备份过程你知多少(完结篇)
查看>>
sysbench花式踩坑之三:自增值导致的锁等待
查看>>
当心!使用mysqldump备份可能会让你欲哭无泪
查看>>
oracle 12c flex cluster专题 之 节点角色转换
查看>>
MySQL问题两则
查看>>
ASM 翻译系列第十弹:ASM Internal ASM DISK header
查看>>
ASM 翻译系列第一弹:基础知识 ASM AU,Extents,Mirroring 和 Failgroups
查看>>
ASM 翻译系列第八弹:ASM Internal ASM file extent map
查看>>
利用sys schema解决一次诡异的语句hang问题
查看>>
MySQL 5.7复制配置不规范修改导致的坑(一)
查看>>
MySQL8.0——Resource Group(资源组)
查看>>
基于Oracle的私有云架构探析(连载二)
查看>>
Oracle压缩黑科技(一)—基础表压缩
查看>>
容器化RDS—计算存储分离架构下的“Split-Brain”
查看>>
关于legacy system中使用bind variables(zt)
查看>>
在sqlplus交互环境下测试存储过程
查看>>
RTFM("Read The Fucking Manual")的意思(zt)
查看>>
用RMAN迁移文件到ASM或从ASM迁出
查看>>
421 Message temporarily deferred (from yahoo)
查看>>
elicpse如何查看jdk源码
查看>>