Tag Archives: 新鲜事

讲座已经开始，现在是人人网牛人张洁介绍。 ---- 现在是新鲜事后台架构牛人铁安在讲解新鲜事要完成的功能： 将一个用户产生的内容实时发送给与他相关的一群人。 尽可能地帮助用户保存内容。 现在面临的挑战 分发压力：5000W*100 全天分发的总量在五十亿左右。每秒分发的次数是六万次每秒。 现在有1.3t的内存占用。 ---- 老版本的新鲜事结构 ---- 新的系统结构 分发之后，内容本体丢进cache和db，dispatch服务通知到相关的人，分发后来的结构保存一人一条到TC --- MENU 技术细节部分 分发部分的策略优化：瞬间分发海量数据，光良首页的例子（一百万的粉丝同时产生）。产品策略优化。 内存压缩技术：新鲜事内存结构(FlyWeight)，字符串压缩存储（QuickLZ） 新鲜事存储方案 ---- 内存压缩技术：flyweight的设计思想 只要对象存在，所有的指针都能找到正确的内容。 boost::flyweight在高并发情况下有效率问题，自己实现了相同的功能。 各种压缩办法的性能比较： QuickLZ的压缩比不是最高的，但解压缩是最快的；代码简单；支持追加方式的压缩；有成熟的商业应用。 boost::multi_index介绍 用来做多视图显示的东东 提供三种不同的索引方式 一段例子代码 c++代码。。。略鸟 ------- 新鲜事存储方案 TC+Direct IO + SSD key-value DB的一个表。 研究的三个开源项目： …

Continue reading →