坚信科学,分享技术

Daily Archives: 2009-10-13

[五四陈科学院]校内相册发展过程及核心技术分析爆料

信春哥,转载的都给我注明出处:http://www.54chen.com/801-54-chen-academy-schools-the-development-process-and-the-album-broke-the-heart-of-technical-analysis/ 前言 感谢人人网曾经的吕威大侠、现在的文斌大侠、谢龙大侠对人人网相册的不朽贡献,是吕威大侠精益求精的专研才有如此优秀的上传方案。 第一章 相册瓶颈所在 1.用户上传海量数据是一个头疼的事情,每天上千万的数量,又因为互联网的特殊性,会出现高峰期和低潮期,以每天10,000,000张图片来计算,高的时候,每秒上传有可能会在上千张,而低的时候可忽略不计。 2.因为产品不同,往往上传一张原始的照片会需要压缩成四五张不同大小的图片。这个压缩过程相当消费cpu。 相信有同一问题的应该有:QQ空间,网易相册,新浪博客,flikr等等。 第二章 校内相册的发展和改革 第一阶段,原始社会。 在第一阶段,我们过着刀耕火种的生活,java代码上传+jmagick压缩,其结果就是,再多的服务器,也搞不定越来越多的访问量。 第二阶段,具有封建主义气息的资本主义社会。 这一阶段,我们痛定思痛啦,服务常常挂啊,怎么办?怎么办,当然是分布式处理,分析下原因,原来挂是因为cpu太高,用户上传一图压成四图,太费劲了。干脆传到其他cpu多的机器去。 说时迟那时快,我们挽起袖子,一个分布式的上传压缩过程就出来了。。。 所使用的方法: 结果发现。。。没啥改观。。。 第三阶段,完全没有社会主义气息的共产主义社会。 改革春风吹满地,齐心协力

Continue reading

Posted in 架构研究 | Tagged , , | 27 Comments