Monthly Archives: 08月 2009
为人人设计的分布式key-value系统架构[原创]
[作者:陈臻 转载请注明出处:http://www.54chen.com/714-design-for-all-key-value-of-the-distributed-system-architecture-original/ 版本:1.1 2090810] 8.10 增加dev4server组里esx大侠提出的几个代表性问题 这个架构的产生,是为了公司的一个新项目,而后来慢慢变成了解决整个公司的所有问题的一个架构,期间经yahoo的angentZh先生、dev4server组里张立冰先生、盛大的许式伟先生推荐研究了bigtable、Dynamo等很有代表性的分布式架构。 如下图所示: 总体:底层以key-value存储,每个节点内作主主互备,节点以一致性哈希存取,哈希所使用的key为relation-key,非直接存取时的key。 step 0:连接客户端收到一个key为relatioin-key_id的存取请求,取出relation-key进行一致性哈希计算,这里是为了让相关的内容都能存在一个节点上,类似bigtable的tablet; step 1:连接客户端读取最新的配置文件,server.conf。 step 2:根据配置文件寻找正确的节点。 step 3:在B节点之间增加了一个节点A的时候,A前的虚拟节点将寻找不到数据,此时连接客户端会重新读取老的配置文件server.conf.1,根据老的配置,这里的数据会去B节点读取原来的数据,读到的数据会转移到新增加的节点A中。 step 4:增加节点A后,服务器端会同时运行手动的转移脚本,转移脚本直接将B节点中符合A
一周废话汇总【54chen Twitter 2009-08-08】
美国的vps真是不怎么快,不论怎么优化,到最后还是只剩下一个请求了,还是慢,但是为了能够读取twitter,还是切过去。。。 # 切过dns,静观其效 # 周一是困顿的 # QQ新闻头条:信访办同志上班时间办公室搓麻将。 # 瀑布汗哪,查java和php调用php的方式,结果看到roy的一篇真正的rest是什么样的blog上去,结果一上午就这么费了 # 晕了,纠正。。瀑布汗哪,查java和php调用 ice 的方式,结果看到roy的一篇真正的rest是什么样的blog上去,结果一上午就这么费了 # RT: @cxzhp: @54chen 你也要用ICE呀,有机会交流交流,呵呵。 我们是用php调用ICE //这边java php都在调ice,这东西被用烂了,一篮子鸡蛋 # RT: @gaochunhui: RT: @zuola: RT @mozhixu: 3日上午,妙觉法师和刘沙沙在天安门广场打出横幅呼喊口号声援许志永声援NGO,被带到广场派出所已经超过一个小时。妙觉:15918520364,刘沙沙:13020041571//那个地方还是不要去的好 # 一个有意思的帖子,特别是后面的评论:求求你们,千万别再说自己是REST了 http://bit.ly/8tx8L # http://opensource.plurk.com/LightCloud/ 有人用过没 用过的举手。。。满网的找人问。。。 # 查tokyo cabinet资料,猛然见一回复:“我以为是Tokyo hot姐妹篇” …
对等网络中主流分布式哈希算法比较分析[收集]
作者不详,如果作者看到可联系站长添加版权声明。 本文首先从P2P的定义出发,介绍了结构化P2P与非结构化P2P的区别以及结构化P2P的核心技术DHT。而后,本文深入介绍了几种主流的DHT算法与协议并对每种协议进行了讨论。文章的最后展望了DHT在未来的发展趋势。 对 等网络(Peer-to-Peer,简称P2P)是目前非常热门的应用,自1999年以来,P2P的研究一直是国外知名学府(如美国麻省理工学院,加州大 学伯克利分校和莱斯大学等)以及知名企业的研发机构(如微软,诺基亚的研究院)关注的重点。它甚至被美国《财富》杂志称为改变因特网发展的四大新技术之 一,被认为是代表无线宽带互联网未来的关键技术。 作为一项新兴的技术,目前学术界对P2P在 技术层面上的定义尚未统一。Keith W. Ross (Polytechnic University)和Dan Rubenstein(Columbia University)在[9]中提到了对P2P系统的3个基本定义: 相比中央服务器而言有明显的自治性(Autonomy)。 利用网络边缘的资源,如存储/计算能力和信息资源。 网络边缘的资源处在动态的变化中(新的资源加入,已有的资源消失)。 自治性的要求使得P2P系统不再需要特定的中央管理机制,所有节点之间拥有对等的关系。这一方面为系统带来了自组织、容错性好、可扩展性强等优点;另一方面也提出了新的问题:如何在没有集中管理机制的情况下实现系统的自组织和自管理? 定义2,3中分布性和动态性的特点使得上述问题的实现具有更大的难度。在分布式系统中,过多过快的信息交互可能消耗大量的网络资源;而为了实时反映
校内正式更名 人人等你参与
视频下载中... window.onload = function(){ var videoPlayer = new SWFObject("http://xnimg.cn/100800/marksfine/videoPlayer_v3.swf", "mymovie", "450", "338", "8", "#336699"); videoPlayer.addParam("quality", "high"); videoPlayer.addParam("wmode", "transparent"); videoPlayer.addParam("salign", "t"); videoPlayer.addParam("allowfullscreen", "true"); videoPlayer.addVariable("videoListUrl", "http://xnimg.cn/100800/marksfine/thumbnailList.xml"); videoPlayer.addVariable("autoPlay", "true"); videoPlayer.write(
wordpress nginx php-cgi mysql在128m内存下的vps安装和优化手记[原创]
[ 文章作者:陈臻 本文版本:v1.0 最后修改:2009.8.2 转载请注明原文链接:http://www.54chen.com/688-wordpress-nginx-php-cgi-mysql-memory-in-the-128m-to-install-and-optimize-the-vps-notes/ ] 选取CentOS,因为它是号称最安全及性能都相对较好的Linux系统。系统内存128m,系统用掉30m,有100m左右可用(如图1所示),swap已经有256M,硬盘为5G,除去系统后大约有4G可供捣腾。 图1。 首先,在空白的系统上使用下面的命令,安装gcc等一堆工具和后面php会用到的一些包: yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel …
一周废话汇总【54chen Twitter 2009-08-01】
@nodex 在给我推销不是。。。俺不翻墙,俺直接到外面去 in reply to nodex # 终于上了一回报纸了,还是负面的 # nnd 上证咋这么惊心动魄 吓得我改hosts的twitterfox不好用了 # 729事件的发生,标志中国的股市进一步"规范"和天朝黑手的进一步牛x # 早上推了一下 twitter就挂了,现在回大家问我上的啥报纸,我是说的前天下午关掉的一堆校内app,因为有关部门的有关人士认为不是和谐的,是非法的,下令瞬间关掉。。。至于是啥报纸,你逛街看到的时候就知道了。 # 准备个postgreSQL的ppt 打算拿mysql来做对比,居然找不到mysql的详细历史 # 网络负面信息删除 说: *您好,很高兴认识您 陈臻@xiaonei 说: *很高兴认识您 网络负面信息删除 说: *我们提供网络负面信息删除服务,您有负面信息需要删除吗? 陈臻@xiaonei 说: *什么个价格 网络负面信息删除 说: *请提供负面信息的地址,我们给你报价 # 准备写篇文章 一个篮子里的鸡蛋:从校内网看大型网站长远构架 需要一个装满鸡蛋的篮子图 …
SEARCH
Update
- rose手册第三章三节:controller层:ErrorHandler支持
- 54chen Twitter memo 2012-05-13
- 54chen Twitter memo 2012-05-06
- rose手册第三章二节:controller层:拦截器支持
- 54chen Twitter memo 2012-04-29
- rose手册第三章一节:controller层:url对照规则与返回结果规则
- 54chen Twitter memo 2012-04-22
- 54chen Twitter memo 2012-04-15
- rose手册第二章:配置与使用
- 54chen Twitter memo 2012-04-08
- 54chen Twitter memo 2012-04-01
- rose手册第一章:入门指引
- 54chen Twitter memo 2012-03-25
- 54chen Twitter memo 2012-03-18
- senseidb使用手记
