坚信科学,分享技术

>>>尝试更加利于阅读的2014版科学院,以后都在新版上写。

Tag Archives: renren

海纳百川——人人网海量存储系统Nuclear开发手记

此文为《程序员》杂志约稿,发表在2010年9月刊。怀念过去美好的时光和所有的UGC兄弟真挚友谊,谨以此文为个人职业发展阶段作一个美好的终结。以下是全文原稿。 2009年8月左右,由于业务扩展的需要,我们的团队开始了一个新项目的研发,其中需要完成一个存储系统,把评论数据聚合到一起同时还要提供线上的读写服务。这些评论来自不同的业务产品,数据量非常之巨大;同时对稳定性的要求非常高,因为如果出现宕机,将影响到大量的业务线。于是,我们开始了对此类系统的探索。 Nuclear 的由来 经过需求分析阶段,摆在我们面前的是五点要求:高可用、高可扩展、高性能、Key-Value存储、支持关系化查询。经过一段痛苦的系统选型分析,我们最终决定开发属于人人网的海量存储系统。Nuclear,正如其名,nuclear的未来将要肩负起整个评论系统存储的核反应般的压力爆发的重任。由于当时并没有这方面的经验,一切都是摸着石头过河,我们设计了好几期的雏形,一开始明显就是有问题的构架设计,慢慢地在学习和进步的过程中,团队的成员也在慢慢地成长,离我们的目标也越来越近。又因为业务模型的需要和方便分布到集群,这个系统慢慢演变,最后成为了一个可靠的分布式key- value存储系统。以下特将在研发过程中遇到的问题做一个总结。 Key-Value系统的优缺点 NoSQL系统在过去的一两年里,饱受了争议和技术界的目光。从原理上讲,基本上这类系统都会有一些相同的优点和缺点: 优点: 1. 只有高效的查询可用,性能是可想像的。 2. 容易分布到集群。 3. 可以很容易增加缓存层用来加

Continue reading

Posted in java, 架构研究 | Tagged , , | 16 Comments

[演稿分享]人人网开发一站式体验

在公司给应届生开发入门的演讲稿,都是一些常见工具的简单介绍,大公司组织入门培训对新人进入角色不可或缺,对缩短熟悉工作岗位时间非常重要,如果有条件组织,任何公司组织这样的培训都有意义。 美中不足的几点: 1.培训通知三无:无讲师简介、无培训内容介绍、无适合人员介绍; 2.时间安排不适合在工作时间最集中(事情最多)的时候; 3.参会人员资料掌握不足; 4.参会邀请不使用outlook的“会议提醒”,提前通知的会议只能让有兴趣的人靠记忆记住。

Continue reading

Posted in WEB相关 | Tagged | 20 Comments

rose pipe–一次对http技术的伟大革新实现(54chen乱弹版)

网站速度一直是互联网公司所关注的核心目标之一,作为SNS网站更是这样。来自世界第一大的打不开的SNS网站facebook的工程师日志中提到,BigPipe: Pipelining web pages for high performance。 原文在墙外,豆瓣有存根,地址为http://9.douban.com/site/entry/139173635/。 来自infoq的一篇资料报道:http://www.infoq.com/cn/news/2010/08/bigpipe-facebook-optimize 它本意是充分利用http,将用户感受到的延迟时间降低一半,是如何做到的呢,下面由54chen流水记账一篇解释实现原理。院内曾经由人人网架构师王志亮大侠发表过一篇文章,地址是http://www.54chen.com/architecture/rose-open-source-portal-framework.html,本文将以此例中的项目举例。 HTTP协议 HTTP是一个客户端和服务器端请求和应答的标准,尽管TCP/IP协议是互联网上最流行的应用,HTTP协议并没有规定必须使用它和(基于)它支持的层。 事实上,HTTP可以在任何其他互联网协议上,或者在其他网络上实现。HTTP只假定(其下层协议提供)可靠的传输,任何能够提供这种保证的协议都可以被其使用。 在这里重新解释HTTP是为了后面做铺垫,一次http访问的过程如下: 1.打开一个连接后,客户机把请求消息送到服务器的停留端口上,完成提出请求动作; 2.服务器在处理完客户的请求之后,要向客户机发送响应消息; 3.客

Continue reading

Posted in 架构研究 | Tagged , , | 9 Comments

人人网-英特尔技术专题讨论会实录

Intel/Qianxiang server workshop (这横幅很搞 叫Qianxiang不如叫RenRen,千橡的英文:Oak Pacific) intel技术专家 互联网大客户技术技术服务内容 1.idc机房相关 2.性能优化:调试、锁等基础知识 下面由请intel技术专家:一个阿姨先讲话,可能是领导,无自我介绍 数据中心专家:张静、oracle专家津鹏、泰勒、优化组的徐进 (以上纯音译) 泰勒说话 性能技术分享 cpu 至强服务器优化产品 数据中心 Optimized Datacenters 技术专家津鹏开始说话 国内普通机房2.2kw-3kw每机柜 放视频:英特尔原料的一个生产厂 现在是一个数据中心 一个三层的楼 (真TM大) 视频里一个老外一层一层地介绍 每机柜30kw(国内的十倍)(听不懂老外在介绍啥,没有字幕,一帮人在看纯视频) 视频放完 在研究散热与机柜 张静开始 PPT 数据中心未来的发展和案例分析 从九六年到零九年的服务器成本的柱状图。power & cooling的费用在增长。 数据中心:可靠性、可扩容性、管理 神奇了(第一个大哥讲了半天,第二个大哥上来说PPT是他准备的。。。) 津鹏大哥来说话了 数据分散 …

Continue reading

Posted in linux | Tagged , , , | 3 Comments