Category Archives: WEB相关
nginx防hashdos模块释出
2012.1.7 更新 编译的时候推荐使用nginx-1.0以上版本，不要加--with-debug参数编译，（感谢agentzh指出）。 hashdos这个事，严格意义上不是各种语言的错了（不过perl的确处理得很好），但是用nginx来擦屁股要干净些。 借鉴tomcat的作法，实现了下面这个nginx-http-hashdos-module，通过设置hashdos（默认on）的开关和body_max_count(默认值1000)，对nginx后面的服务进行安全防护，相比对php或者java进行patch，这或许是最好的办法了。 nginx-http-hashdos-module项目地址 https://github.com/54chen/nginx-http-hashdos-module 如何使用 1.下载zip后保存到一个目录，如~/nginx-http-hashdos-module。 2.cd nginx-1.0.9/ 3.重新编译和安装nginx ./configure --prefix=/opt/soft/nginx --with-pcre --user=www --group=www --with-http_stub_status_module --with-http_ssl_module --add-module=/path_to/nginx-http-hashdos-module/ && make && make install 4.配置打开： hashdos on; body_max_count
velocity2011讲师经验总结及velocity2011的ppt下载
总结： 1）会场有点小，比较热 2）讲的东西为了照顾更多人，比较片面，如果有想听深入的同学，可以参加我们哥学社的吃喝会。 3）会上遇到了douban强宁大侠、安全宝的冯大侠、还有一位来自清华的主任、以及各位一线的朋友恕不能一一列出，深感荣幸。 互联网创业服务器运维工具集 View more presentations from zhen chen.
[flash]建立socket安全策略文件服务器
前因 Flash被广泛应用于互联网各个方面，是因为它提供了各种各样的特性，其中很重要的一点就是，可以用flash建立TCP连接到服务器然后交换数据。从网络管理员的观点看，一个互联网的服务器能够连接进到内网里来，是一个很恐怖的事情，所以flash搞出来一个安全策略文件。 改变 Flash Player 9,0,124,0 版本对这个策略文件进行了两个重大改变：一是所有的端口都需要在策略文件里声明了，以前的版本只需要1024以下的端口需要进行声明；二是可以集中到843端口进行集中式的托管了。Flash Player 9,0,124,0建立的socket连接，会先去请求843端口，如果这个端口没有策略文件，则会去你要连接的端口本身请求策略文件，如果二者都没有，则会被拒绝连接。 控制过程解读 1.Flash Player先到请求的843端口请求策略文件，如果没有，进行第2步，如果site-control为none则拒绝掉，如果site-control为all则进行第2步。 2.如果在AS中写了Security.loadPolicyFile() ，（它并不是一定生效的，必须在843端口的声明中允许引用其他的策略文件后才能生效），开始读取策略。 3.最后一步是检测要连接的端口是否有权限，这步检测要在843端口中声明需要检测端口才会去做，如果843声明了而策略文件里没有，则会被拒绝。 庆亮哥小更正：请求843和你的指定端口后，会访问当前访问域名下是否有crossdomain.xml文件，如果你的端口不是80，那么请求最多可能三次。 万能脚本 这个兄弟是adobe的开发人员吧，搞了两个脚本
[nginx]如何在access log中记录post请求的参数
移动互联网行业开发过程中，服务端经常会需要检查是否收到请求，收到什么样的请求，最简单的办法就是看nginx的access log，常见的nginx配置中access log一般都只有GET请求的参数，而POST请求的参数却不行。 http://wiki.nginx.org/NginxHttpCoreModule#.24request_body $request_body This variable(0.7.58+) contains the body of the request. The significance of this variable appears in locations with directives proxy_pass or fastcgi_pass. 正如上文件所示，只需要使用$request_body即可打出post的数据，在现存的server段加上下面的设置即可： log_format access '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent $request_body "$http_referer" "$http_user_agent" $http_x_forwarded_for'; …
squid缓存失效之谜：一步步提高squid缓存命中率办法记录
手里有个前端自己做cdn的服务器，结果发现进出流量相等，这是个诡异的事情，因为一般来说，做前端缓存的机器，流量基本上很长时间里都是出多进少的。 一开始的时候，是nginx做的nginx_cache，发现进出流量相等后，换上了squid 3.0，使用命令： squidclient -p 8088 mgr:info （启在8088） 发现如图所示的几个命中率，相当低下，一般的WEB服务器缓存30－60％是正常的，而CDN作用的应该说80%以上才是正常的。 刚启动squid的时候，个人认为是因为缓存文件还没有拖动到前端来，所以是正常的，但结果过了一天后，还是没有看到进流量松动。 第二天来，硬盘已经过了10G了，还是不行。通过cat access.log来看，cat access.log|gawk '{print $4}'|sort|uniq -c|sort -nr 发现TCP_MISS/200相当的多，再看流量图，进出还是没有变化。杯具。 于是乎，想到了直接tail -f access.log，看看究竟都有什么东西在访问。 一条接一条的xxx.jpg?unid=1111触动了我（公司用来做用户行为分析的参数），就这样白花花的浪费了缓存。 解决方案： 幸好，squid前面，还有一层nginx，于是考虑在nginx上做转发，将所有的xxx.jpg?xx=xx全部转到 xxx.jpg去，过滤掉url中的参数。尝试了几个不行，内置的参数$url $request_url都不可行。 只有一招利用403来跳转的可行。 location ~* (.jpg$)|(.png$)|(.gif$
说说中国互联网公司的地域差异
我们，是一个尚义轻利的民族。 中国山东，有这样一对夫妇： 刚刚结婚时，妻子在济宁，丈夫在枣庄；过了若干年，妻子调到了枣庄，丈夫却一纸调令到了菏泽。若干年后，妻子又费尽周折，调到了菏泽，但不久，丈夫又被提拔到了省城济南。妻子又托关系找熟人，好不容易调到了济南。可是不到一年，丈夫又被国家电业总公司调到重庆。 于是，她所有的朋友，就给她开玩笑——你们俩呀，天生就是牛郎织女的命。要我们说呀，你也别追了，干脆辞职，跟着你们家老张算了。 但是，她以及公婆、父母，都一致反对。“干了这么多年，马上就退休了，再说， 你的这么好，辞职多可惜。要丢掉多少钱呀！再干几年吧，也给孩子多挣一些。” 夫妻两个至今依然是牛郎织女。 英国某小镇： 有一个青年人，整日以沿街为小镇的人说唱为生；这儿，有一个华人妇女，远离家人，在这儿打工。他们总是在同一个小餐馆用餐，于是他们屡屡相遇。时间长了，彼此已十分的熟悉。 有一日，我们的女同胞，关切地对那个小伙子说：“不要沿街卖唱了，去做一个正当的职业吧。我介绍你到中国去教书，在那儿，你完全可以拿到比你现在高得多的薪水。” 小伙子听后，先是一愣，然后反问道：“难道我现在从事的不是正当的职业吗？我喜欢这个职业，它给我，也给其他人带来欢乐。有什么不好？我何必要远渡重洋，抛弃亲人，抛弃家园，去做我并不喜欢的工作？” 邻桌的英国人，无论老人孩子，也都为之愕然。他们不明白，仅仅为了多挣几张钞票，抛弃家人，远离幸福，有什么可以值得羡慕的。在他们的眼中，家人团聚，平平安安，才是最大的幸福。它与财富的多少，地位的贵贱无关。于是，小镇上的人，开始可怜我们的女同胞了。 只要锄
Posted in WEB相关
24 Comments
越来越懒的中国WEB程序员
在中国的互联网行业，基本上现在的大小公司都有这样一个部门，QA。也没有人论证过为什么要专门出来这样一批队伍，反正大家都这样做了，这样做也不会错到哪里去。 测试工程师释义 某百科有云：软件开发测试工程师（Software Development Engineer in Test，SDET），一般为具有1-2年经验的测试工程师或程序员。编写自动测试脚本程序并担任测试编程初期的领导工作。进一步拓展编程语言、操作系统、网络与数据库方面的技能。 更有某大型培训公司有云：软件质量的把关者，人才凤毛麟角，薪酬上升空间非常大。 在国外，一般软件测试人员与软件开发人员的岗位设置比例是1：1，微软在开发windows2000时测试开发人员比例高到1.7：1，由此可见软件测试岗位重要性的一斑。 WEB开发是否需要SDET？ SDET诞生于传统软件开发过程中，由于WEB开发的特殊性，不仅是指定输入指定输出的测试过程，所涉及方向方方面面，十分繁杂。那么，WEB开发是否需要SDET？ 一线开发人员的感叹：一个分页bug给我提了4张单。。。上一页，下一页，第一页，最后页，干脆每个页码也配个单吧 。(分页按钮数字都多一或少一了)--转自Willko的微博。 开发一个新产品，由产品提出来个大概，开发出来个大概后，QA再来提细的需求，所谓的测试阶段，只不过是个需求细化的过程。许多开发经理都赞同这个观点，因为：到目前为止，还没有见到这么NB的产品，一下把细节都能想好，描述清楚的。--转自阿罗的微博。 实际上，WEB开发是十分需要SDET的。而且需要比传统开发更加专业的测试开发工程
[54chen山寨]发布微博同步更新工具（包括腾讯微博、百度说吧）9月16更新
微博同步更新工具（包括腾讯微博） * 软件大小：24889B * 人气指数：970 * 软件语言：英文/中文 * 软件评级：1 * 开 发 商：http://cuies.com http://www.54chen.com * 软件类别：国内软件/微博同步 * 软件授权：免费开源版 * 运行环境：Winxp/vista/win7/2000/2003/Linux/PHP * 更新时间：2010-9-14 10:24:44 * 联 系 人：54chen * 支持：腾讯、新浪、网易、人人网、digu、做啥、follow5、人间、豆瓣、鲜果、9911 微博同步更新工具（包括腾讯微博）软件简介 此工具加工自cuies的tw2other，修改的地方有： 1.添加了QQ的支持 2.去除了twitter的callback的过程 3.简化了crontab的过程 微博同步更新工具（包括腾讯微博）使用步骤 1.使用前修改host文件，准备php环境： 128.242.240.244 www.twitter.com 128.242.245.244 dev.twitter.com …
用搜索的倒排轻松搞定“好友的文章”类相关推荐功能
在SNS网站中，“好友的相册”、“好友的日志”、“好友常去的小组”，这样的功能到处都是，如果处理不当，对整个系统的压力都会非同小可。 这里介绍一种利用sphinx的搜索天性，倒排索引群中的人，然后把好友的XX功能化解为或关系的搜索，下面是是一些记录。关于sphinx的安装，详细见54chen之前的一些手记：http://www.54chen.com/tag/sphinx 第一步，制造随机数据 这里为方便理解，作一个假设的场景，要索引的字段缩减到2个字段，字段1是目标id，表示相册id\日志id\小组id等等，字段2是一个text，里面以逗号隔开记录了所有的和这个目标id有关系的人的id号，大致如下所示： id members 1 1,2,3,4,5,6 这样一个表，标识了id为1的一个目标，都有什么用户和他有关。比如可以表示：id为1的群都有12345这五个人加过；id为1的相册都有12345这五个人看过；id为1的相册都有12345这五个人回复过，等等。 下面代码片段所做之事，是将10万条记录插入到表中，表的members的记录在五千条内随机，里的人id从1到50000随机产生，这样，基本能够模拟一个中型应用的水平了。 $db = new DLConnection(); $sql = "INSERT INTO `forum`.`forum_info` (`id` ,`members`)VALUES"; $dot = ""; for ($i=0;$
[演稿分享]人人网开发一站式体验
在公司给应届生开发入门的演讲稿，都是一些常见工具的简单介绍，大公司组织入门培训对新人进入角色不可或缺，对缩短熟悉工作岗位时间非常重要，如果有条件组织，任何公司组织这样的培训都有意义。 美中不足的几点： 1.培训通知三无：无讲师简介、无培训内容介绍、无适合人员介绍； 2.时间安排不适合在工作时间最集中（事情最多）的时候； 3.参会人员资料掌握不足； 4.参会邀请不使用outlook的“会议提醒”，提前通知的会议只能让有兴趣的人靠记忆记住。
SEARCH
Update
- 人肉解析riak_admin join
- go语言安装手记
- 54chen Twitter memo 2012-02-05
- Riak Core说明
- maven库nexus拖不到jar包小记
- 服务接入层小结
- 54chen Twitter memo 2012-01-15
- nginx防hashdos模块使用帮助
- 54chen Twitter memo 2012-01-08
- nginx防hashdos模块释出
- 54chen Twitter memo 2012-01-01
- 水煮鱼杯2011年度不得不总结的十件事
- 年终攻击hashDos-哈希表多碰撞实现拒绝服务-破解办法
- 54chen Twitter memo 2011-12-25
- riak 1.0.2安装手记