坚信科学,分享技术

2018全新版本,未来在blog.54chen.com更新博客!

>>>尝试更加利于阅读的2014版科学院,以后都在新版上写。

Yearly Archives: 2010

54chen Twitter memo 2010-10-24

#Ugc Tech Talk#我们补了一个KATA的补丁,关于client的线程池的重复产生。 # #Ugc Tech Talk#分布式的评分、排序,请求分成三步,1.到每个节点发请求去算满足的数量和词频,在客户端临时换算 2.第二次带上1的计算结果去各节点查后在客户端排序 3.第三次请求已经知道节点和shards的具体信息去请求详细内容 # #Ugc Tech Talk#在kata中搜数据时:先分词,索引逻辑或进行查询,客户端向zk拿到索引列表,每个索引维护一个索引,zk索引变化会通知客户端。 # #Ugc Tech Talk#整个集群共同管理整套虚拟目录,这是zk提供的牛B机制。 # #Ugc Tech Talk#kata有主节点,zoolkeeper维护终端 sh zkCli.sh -server 127.0.0.1:2182 # #UGC Tech Talk#kata提供了不少的管理工具,比如:sh kata showStructure(在kata.java中定义) # #Ugc Tech Talk#Zookeeper在kata中作用巨大,是一个去中心化的系统。kata中有一个专门的包与其通信。 # #UGC Tech Talk#搜索的缓存热点很少,缓存5分钟即可。 # …

Continue reading

Posted in 生活备份 | Tagged | Leave a comment

国内互联网公司数据库访问层调查

在WEB开发中,数据库的数据读写和传输一向是瓶颈,在此基础上的解决方案基本都是数据库连接层的设计,一个公司数据库连接层的牛B与否可以标识这个公司的全局规划的“工艺水平”到达一个什么样了。下面的内容来自明查暗访,决无BS之意,旨在提供给需要统一规划整体架构的架构师一个帮助。 54chen声明:本文所有内容本着技术分享的原则,收集资料皆来自网络,绝不透露不该透露的内容,绝不隐藏不该隐藏的内容(阿弥托佛,资本家万岁)。 1.人人网 参考:http://ugc.renren.com/2009/12/28/renren-ice-problem/ 关键词:ice中间层,统一配置数据源,开发者不关心分库分表 与很多大型的网站一样,人人网的系统全部是由开源软件构建的。使用Nginx做前端接入,resin做容器,Memcached做通用 cache,MySQL做数据库,使用Linux操作系统。 除了上述的部分外,人人网还有一个与众不同的中间层。中间层以服务的形式存在,位于MySQL和resin中间,提供高并发低成本的数据访问层。 2.百度 参考:http://wenku.baidu.com/view/9daa2b8102d276a200292e9c.html 关键词:dbproxy,服务器都是flash卡,DBA与开发者都不关心分裤分表(半自动) 百度的dbproxy利器,将mysql的管理半自动化,HA等功能一应俱全,再加上SSD等硬件支持,性能相当不一般。 3.盛大-技术保障中心 参考:网友 关键词:无中间件,每个系统一个数据库,开发者严重关心分库分表 4.新浪 参考:网友 关键词:无

Continue reading

Posted in linux, 架构研究 | Tagged , | 5 Comments

nginx.conf控制指定的代理ip和ip访问的设置手记

工作中有一次用到利用nginx的配置来让只有公司ip的访问才能打开指定的后台url,于是有了下面的记录。 在nginx中if很弱,http://www.nginxcn.com/doc/standard/httprewrite.html,基本上不能写太复杂的条件或者是嵌套。 因为公司我(54chen)网络的设置,过去打到服务器的ip有可能是几个ip,同时也有可能是代理的ip,所以在if判断的时候,可能有多个条件。 location /administrator { #log_format www_54chen_com '$remote_addr - $remote_user [$time_local] $request ' # '"$status" $body_bytes_sent "$http_referer" ' # '"$http_user_agent" "$http_x_forwarded_for"'; # access_log /data/www.log www_54chen_com; set $fuck 0; if ($remote_addr = '1.1.1.1'){ set $fuck 1; } if ($remote_addr = …

Continue reading

Posted in linux | Tagged , | 2 Comments

54chen Twitter memo 2010-10-17

九九重阳节,今天天气不错,适合登高望远。 # 明日牡丹园藏书馆,众英雄齐聚商议地方门户站点的发展和执行。 # 试了一下xweibo的开源代码,有点屎。 # 今天的评论员文章很有感觉哦,继续吹。 # drizzle 设计理念:1 异步 2 架构解决复制同步和插件 # 一直都认为QQ是个技术封闭的公司,看了大讲堂的PPT才知道,内部分享还是比较活跃的,分享东西还是比较深层次的。 # 成立“技术人员俱乐部”,每个会员每年:1)有10万元经费可以吃喝玩乐。2)至少出国考察1次。3)专用俱乐部大厦中的各项休闲、娱乐、健身设施。 # 说说中国互联网公司的地域差异 http://goo.gl/fb/WjnHT # 还是古代好混,割掉小JJ就能当中央公务员。 # 大公司要不断引入3年以上工作经验的人,才能保证技术的领先,一味地只招应届生,只会让公司的技术水平停滞不前。 # 大公司要不断引入3年以上工作经验的人,才能保证技术的领先,一味地只招应届生,只会让公司的技术水品停滞不前。 # http://liuming.javaeye.com/blog/776890 那些令人喷饭的注释 # http://wildrain.blog.163.com/blog/static/143002201081914031956/ 网易跟贴的前世今生 # 有人使用Tornado做为web service吗?性能如何? # QQ今天弹的提示很有爱,“某公司”。。。 # oldRT 雨果曾说:一个国家不把钱花在造学校上,那就必然花在造监狱上。 …

Continue reading

Posted in 生活备份 | Tagged | Leave a comment

说说中国互联网公司的地域差异

我们,是一个尚义轻利的民族。 中国山东,有这样一对夫妇: 刚刚结婚时,妻子在济宁,丈夫在枣庄;过了若干年,妻子调到了枣庄,丈夫却一纸调令到了菏泽。若干年后,妻子又费尽周折,调到了菏泽,但不久,丈夫又被提拔到了省城济南。妻子又托关系找熟人,好不容易调到了济南。可是不到一年,丈夫又被国家电业总公司调到重庆。 于是,她所有的朋友,就给她开玩笑——你们俩呀,天生就是牛郎织女的命。要我们说呀,你也别追了,干脆辞职,跟着你们家老张算了。 但是,她以及公婆、父母,都一致反对。“干了这么多年,马上就退休了,再说, 你的这么好,辞职多可惜。要丢掉多少钱呀!再干几年吧,也给孩子多挣一些。” 夫妻两个至今依然是牛郎织女。 英国某小镇: 有一个青年人,整日以沿街为小镇的人说唱为生;这儿,有一个华人妇女,远离家人,在这儿打工。他们总是在同一个小餐馆用餐,于是他们屡屡相遇。时间长了,彼此已十分的熟悉。 有一日,我们的女同胞,关切地对那个小伙子说:“不要沿街卖唱了,去做一个正当的职业吧。我介绍你到中国去教书,在那儿,你完全可以拿到比你现在高得多的薪水。” 小伙子听后,先是一愣,然后反问道:“难道我现在从事的不是正当的职业吗?我喜欢这个职业,它给我,也给其他人带来欢乐。有什么不好?我何必要远渡重洋,抛弃亲人,抛弃家园,去做我并不喜欢的工作?” 邻桌的英国人,无论老人孩子,也都为之愕然。他们不明白,仅仅为了多挣几张钞票,抛弃家人,远离幸福,有什么可以值得羡慕的。在他们的眼中,家人团聚,平平安安,才是最大的幸福。它与财富的多少,地位的贵贱无关。于是,小镇上的人,开始可怜我们的女同胞了。 只要锄

Continue reading

Posted in WEB相关 | 25 Comments

54chen Twitter memo 2010-10-10

如果不能让员工认同企业文化,至少让他感觉这个公司有前途;如果员工感觉不到公司有前途,至少让他觉得这份工作还有点意思;如果员工觉得这份工作没啥意思,至少能让他学到点什么;如果学也学不到什么,那么趁早解散吧。 # 互联网除了内容就是工具,sns的目的是以熟悉为前提勾引用户产生内容,微博是以个人中心为前提引诱用户产生内容。 # 回了@Fenng才发现,记录一下,对比相似图片的办法:http://libpuzzle.pureftpd.org/project/libpuzzle/php # @Fenng php相似图片,可以看看opencv的网站有没有现成的 in reply to Fenng # 传统SNS的隐私设置组成的social graph,会不会阻碍网站的发展,人们或者可以认为网络是一种拓宽人脉的方式,按照各种属性的群组也许是改写这历史的时刻。 # 公司变身节省成本招数之年度体检:通知一个时间,然后说明必须提前2天电话预约,大部分员工上班时间无暇打电话,千万不要划分某个部门几点到几点去。 # 今天的主角,一是一位小月月,另一是和平的敏感词。今晚上要喝酒庆祝。 # 俄罗斯的宇宙飞船飞往国际空间站之前都要进行一下“神职人员”的洗礼,我们的嫦娥2号不知道有没有这一步。 # 真的猛士,敢于面对dz屎一般的代码。 # http://www.cnta.gov.cn/html/2010-10/2010-10-6-16-50-26629.html 这个新闻亮了:刚和我们科长玩跑跑卡丁车 # @xm_dragon 快鸟快鸟。。 in reply to xm_dragon # 才用上了twit

Continue reading

Posted in 生活备份 | Tagged | Leave a comment

54chen Twitter memo 2010-10-03

写程序这事,我见了好多上大学才开始学basic的人,基本上上了两年班后,智慧就到了终点了。 # 对于中央的房市调控,刚刚学会的一个词,“中央空调”,怒赞。 # 昨天楼市新政打压,今天的房地产板块股市会如何走?平民已经不相信了,估计是这样。 # 盖茨和巴菲特在北京拉斐特城堡举行慈善晚宴,上次公司年会也是在那个地方,看来那个地方不错。 # @Skiyo 哥就开始穿了? in reply to Skiyo # 国庆前倒数第二天,放松心情,准备过节吧,上线的改代码的开会的,都歇歇吧。 # 开始下注啦,国美大选,究竟谁能获胜? # RT 囧事 : 嫦娥二号发射在即,绕月任务特点: "快、近、精、多"…… # 今天上班的同志们,发现hosts文件被加#的举手,没有发现的赶紧打开看一看。 # 国美之争今日票决,国内媒体都当快把这消息放到娱乐版了。 # 楼里有人家在装修,早晨八点又是轰鸣又是敲打,杯具。 # pengyou.com朋友,被QQ收了? # 今天是节前两个月的准备中的项目beta上线,中午庆功宴,总算可以结束折腾了。 # @liuyangbin http://t.baidu.com/i/1e296797ddd415af172e5fd1 in reply to …

Continue reading

Posted in 生活备份 | Tagged | Leave a comment

越来越懒的中国WEB程序员

  在中国的互联网行业,基本上现在的大小公司都有这样一个部门,QA。也没有人论证过为什么要专门出来这样一批队伍,反正大家都这样做了,这样做也不会错到哪里去。 测试工程师释义   某百科有云:软件开发测试工程师(Software Development Engineer in Test,SDET),一般为具有1-2年经验的测试工程师或程序员。编写自动测试脚本程序并担任测试编程初期的领导工作。进一步拓展编程语言、操作系统、网络与数据库方面的技能。   更有某大型培训公司有云:软件质量的把关者,人才凤毛麟角,薪酬上升空间非常大。   在国外,一般软件测试人员与软件开发人员的岗位设置比例是1:1,微软在开发windows2000时测试开发人员比例高到1.7:1,由此可见软件测试岗位重要性的一斑。 WEB开发是否需要SDET?   SDET诞生于传统软件开发过程中,由于WEB开发的特殊性,不仅是指定输入指定输出的测试过程,所涉及方向方方面面,十分繁杂。那么,WEB开发是否需要SDET?   一线开发人员的感叹:一个分页bug给我提了4张单。。。上一页,下一页,第一页,最后页,干脆每个页码也配个单吧 。(分页按钮数字都多一或少一了)--转自Willko的微博。   开发一个新产品,由产品提出来个大概,开发出来个大概后,QA再来提细的需求,所谓的测试阶段,只不过是个需求细化的过程。许多开发经理都赞同这个观点,因为:到目前为止,还没有见到这么NB的产品,一下把细节都能想好,描述清楚的。--转自阿罗的微博。   实际上,WEB开发是十分需要SDET的。而且需要比传统开发更加专业的测试开发工程

Continue reading

Posted in WEB相关 | Tagged , | 16 Comments

54chen Twitter memo 2010-09-26

RT 张志刚 : 在几乎每一个需要努力的领域,多数人开始学得很快,然后就比较慢了,最后完全止步不前。——这句话,值得谨记。 # 百度说吧又多了五个邀请码,要的请举手。 # 开发一个新产品,由产品提出来个大概,开发出来个大概后,QA再来提细的需求,所谓的测试阶段,只不过是个需求细化的过程。 # 团队战斗的力量是巨大的,团队里有人不使劲影响也是巨大的。 # 没有bug我们制造bug也要上。 # 让那些完美的人加入那些“完美的”大公司吧:他们的使命是帮助他们的雇主继续维护既有的商业轶序和份额,继续统治互联网上的每一寸土地。--这话说的,真是。。。 # http://www.blog-brother.com/gb/v1.html 技术组织哥学社的技术报纸,《哥报》创刊号独家首发。 # 澄清一下,我参加的不是非诚勿扰,是那个乐嘉十一上的新整的一夫妻秀节目,哥纯粹是陪老婆参加的。 # 一边是项目要赶在十一前上线,一边是江苏卫视要一天工作日视录制节目,这可如何是好,打工真是不自由,唉。 # 世乱则萎,世治则荣 # 从老婆那里得知,上次面试参加江苏卫视的节目居然通过了,不过可惜时间上排不开。 # 百度说吧的邀请码放出的频率有问题,以前腾讯微博的,用完了就开始三个五个地出来,说吧的邀请码自从我发完一次后,再也没有了。 # twitter的成功和国内微博的模仿,说明了几件事:1.单向follow可迅速扩大用户信息量,提升timeline可读性;2.follow后永远不会嫌多,除非少数意见领秀follow人非常之多 # 54chen Twitter memo 2010-09-19 http://

Continue reading

Posted in 生活备份 | Tagged | Leave a comment

54chen Twitter memo 2010-09-19

大型网站登录项目的重要性 http://goo.gl/fb/PW3eg # 毕业这些年,发现学校里的最有用的东西是毕业时发的一把纪念伞,一下雨就用,还真别说挺好用。 # 新版的twitter对于facebook是致命的 # http://www.54chen.com/web-ral/twitter.html 已经支持百度说吧了,Enjoy it. # vip的标识是一个有意思的话题。 # 呆会发布程序,能够同步 腾讯、新浪、网易、人人网、digu、做啥、follow5、人间、豆瓣、鲜果、9911 还有刚刚上线的 百度说吧 # 庆祝百度说吧上线,同步工具在吃饭时间写毕。 # @Fenng 其实给学长一个好印象那个广告更加恶劣。 in reply to Fenng # 大部分的程序员每天大约能写出10-12行的能进入最终的产品的代码 — —不管他的技术水平有多高。 好的程序员花去90%的时间在思考、研究和实验,来找出最优方案。差的程序员花去90%的时间在调试问题程序、盲目的修改程序,期望某种写法能可行。 # 到点开会 # 此微博同步更新工具 支持:腾讯、新浪、网易、人人网、digu、做啥、follow5、人间、豆瓣、鲜果、9911 http://www.54chen.com/web-ral/twitter.html # http://www.54chen.com/web-ral/twitter.html 发布微博同步更新工具(包括腾讯微博) …

Continue reading

Posted in 生活备份 | Tagged | 1 Comment
Page 3 of 131234510...Last »