坚信科学,分享技术

2018全新版本,未来在blog.54chen.com更新博客!

>>>尝试更加利于阅读的2014版科学院,以后都在新版上写。

54chen的2017总结和2018预测

北京生娃指北-采购篇

How to run GUI app in docker on osx

北京生娃指北

How to install caffe 1.0 with Anaconda python3 on centos7

优化器、激活函数、评价函数

利用深度学习解决直播支付风控

54chen的2016总结和2017预测

中国、印度、印尼在线支付接入、风控和靠谱度对比

小米大树part3:产品进度之痛

md5在线破解 MD5 crack

本站400PB硬盘已经上线,共有md5记录约40P(1P=1000*1000*1000*1000*1000)条,宇宙第一,且还在不断增长中,包括所有组合,本站数据量大,查询速度快,同时支持16位及32位密码查询。通过对10万会员的真实动网论坛样本数据的测试,本站对于动网论坛密码的命中率达到83%。全国独此一家。另感谢cnflex的同志们提供这么好的idea,感谢瓜瓜未来的试用手记,无形中使得大大提高了命中率!

Continue reading

Posted in 生活备份 | Tagged , | 11 Comments

一部非常好的视频-和谐拯救危机

这是《和谐拯救危机》的视频 是一部有深刻教育意义的影片 一共七集

Continue reading

Posted in 生活备份 | Tagged | 2 Comments

公开了bbsdown的源代码下载

下载地址:http://www.54chen.com/bbsdown 一个小工具,在学校的bbs里,许多时候限制上传2m大小的东西,如果要传大的附件的时候,都会分卷压缩了才上传,这样,一个页面里有很多的需要下载的东西,有多少个分卷就要点多少次下载。 此工具就是解决这个问题,方便下载一个帖子里的所有分卷压缩包,只需要指定一个帖子的起始和结束页面地址,再加上压缩包的名字,bbsdown就可以自己在后台全部下载在指定的目录内。

Continue reading

Posted in WEB相关 | Tagged , | Leave a comment

配置一个使用plproxy的PostgreSQL数据库集群

本文只有一个连接 没有那么多内容 http://www.pgsqldb.org/mwiki/index.php/配置一个使用plproxy的PostgreSQL数据库集群

Continue reading

Posted in linux | Tagged , | 1 Comment

plproxy部署手册

安装过程如下: 1 安装plproxy:下载plproxy.安装完成plproxy后,运行{$PATH_TO_PG}/share/contrib/plproxy.sql 2 建立数据库_proxy; 3 建立plpgsql语言; 4 在_proxy中建立模式plproxy;分配权限 grant all on schema plproxy to <用户>。 5 建立pgcluster;  --以上步骤sql语句: CREATE FUNCTION plpgsql_call_handler () RETURNS language_handler AS '/usr/local/pgsql/lib/plpgsql.so' LANGUAGE C; CREATE FUNCTION plpgsql_validator(oid) RETURNS void AS '/usr/local/pgsql/lib/plpgsql.so' LANGUAGE C; CREATE TRUSTED PROCEDURAL LANGUAGE 'plpgsql' HANDLER plpgsql_call_handler VALIDATOR plpgsql_validator; -------------------------------------------------------------------- drop schema if exists plproxy cascade; create schema plp

Continue reading

Posted in linux | Tagged , | 1 Comment

使用plproxy和pgbouncer完成分布式处理

  plproxy和pgbouncer都是skype开发的基于postgresql的开源应用;前者主要用于完成分布式计算,后者主要充当数据库连接池;它们的主页在[plproxy]和[pgbouncer]  plproxy的特性   使用plproxy类似于RPC;假设我们有A,B两台数据库,在A在创建一个plproxy的function,并指定一些参数和返回值,就可以在B上也创建一个同名的pgsql函数,并指定同样的参数和返回值;这样,在A上调用该function,通过适当地声明,就可以实现在B上调用该函数的同样效果,但结果是在A上返回的; plproxy还能合并多个结点服务器上返回的结果集,就像是这些结果是由一个函数产生的一样,方便客户端操作; plproxy可以指定同时在所有结点服务器上执行操作,或者只在指定的几台服务器上操作,或者只在任意一台结点服务器上执行操作; plproxy默认是自动提交的;也就是说,只要目标服务器的函数执行成功了,它就会提交;这样有可能造成各个结点数据库的状态并不一致;因为可能有的结点执行成功了,有的没有执行成功,但plproxy并不会因为一个结点失败就回滚其它结点的操作 一开始,我们只有一台账户数据库;但随着账户增加,单个数据库肯定满足不了需求;当多台数据库服务器并存的情况下,需要解决负载平衡的问题; 为此,我们在系统的syshostconfig表中存储了一个key为accountNum,value为整数的参数;每次进行开户操作时,先用plproxy在所有数据库上查出该值并返到proxy层;由pgsql函数找出哪个数据库的accountNum最

Continue reading

Posted in linux | Tagged , , | 1 Comment

pgpool安装

下载地址:http://pgfoundry.org/projects/pgpool/ 文件为:pgpool-II-2.0.1.tar,tar xvfj pgpool-II-2.0.1.tar 在pgpool-II-2.0.1目录下,执行./configure --prefix=/home/y/share/pgsql ----with-pgsql=/home/y/share/pgsql, 要求with-pgsql目录必须为pgsql安装目录。 之后执行gmake,sudo gmake install; pgpool需要用PCP命令来连接数据库检索数据,其用户名、密码是在pcp.conf文件中保存的。密码是经过md5加密的,需要用户手工输入。 cp /home/y/share/pgsql/etc/pcp.conf.sample /home/y/share/pgsql/etc/pcp.conf md5加密码可以用/home/y/share/pgsql/bin/pg_md5直接生成 :例/home/y/share/pgsql/bin/pg_md5 postgres 结果为e8a48653851e28c69d0506508fb27fc5 将用户名,密码记入到pcp.conf文件中。 pcp默认端口为pcp_port = 9898。可以在pgpool.conf文件内修改 cp /home/y/share/pgsql/etc/pgpool.conf.sample /home/y/share/pgsql/etc/pgpool.conf,默认连接端口为port = 9999, 默认只允许本地连

Continue reading

Posted in linux | Tagged , | Leave a comment

PostgreSQL系统安装(Linux)

1. 到 http://www.postgresql.org下载pg8.2.4 source 2. 编译安装pgsql tar xvfj postgresql-8.2.4.tar.bz2 cd postgresql-8.2.4 ./configure --prefix=/home/y/pgsql #注意下一步把这个目录加入你bash的PATH中去 gmake sudo gmake install sudo mkdir /home/y/pgsql/data sudo chown yahoo /home/y/pgsql/data sudo -u yahoo /home/y/pgsql/bin/initdb --locale=zh_CN.UTF-8 --encoding=utf8 -D /home/y/pgsql/data 3.创建数据库 cd /home/y/pgsql/bin sudo -u yahoo ./pg_ctl start -D /home/y/pgsql/data #启动服务进程 sudo -u yahoo /home/y/pgsql/bin/createdb test #创建数据库test sudo -u yahoo /home/y/pgsql/bin/psql test test=# create role changxin superuser login ; test=# \q 备注:现在就可以直接登入test数据库进行操作了。并且我的权限是最大权限的superuser。 

Continue reading

Posted in 生活备份 | Tagged , | 1 Comment

pgsql如何控制来自其他电脑的连接?

缺省情况下,PostgreSQL只允许来自本机且通过 unix 域套接字或TCP/IP方式的连接。你只有在修改了配置文件postgresql.conf中的listen_addresses,且也在配置文件$PGDATA/pg_hba.conf中打开了 基于远程电脑( host-based )的身份认证,并重新启动PostgreSQL,否则其他电脑是不能与你的PostgreSQL服务器进行连接的。 将postgresql.conf中的listen_addresses设为:listen_addresses = '*' 在pg_hba.conf中加入访问数据库的服务器的IP。如,IP=10.62.130.136,在pg_hba.conf的最后加入 host all all 10.62.130.136/32 trust

Continue reading

Posted in linux | Tagged , | Leave a comment

当Pg连接数达到一定数量时,Pgsql进程会终止,报Out of memory

Q: 当Pg连接数达到一定数量时,Pgsql进程会终止,报Out of memory A:在 Linux 2.4 以及之后的版本里,缺省的虚拟内存的设置对于 PgSQL而言不是最优的(32M)。原因也可能在于内核实现内存提交的方法导致出现了“过提交”内存(具体情况由于没有遇到,不作评述),如果其它进程的内存请求导致系统用光虚拟内存,那么内核可能会立即终止 PGSQL 服务器进程并会出具Out of memory报错,唯一的解救方法只能手工kill掉数据库进程,重启数据库。修改方法为: sysctl -w kernel.shmmax=134217728 sysctl -w kernel.shmall=2097152 sysctl -w vm.overcommit_memory=2 或者直接echo进proc中去(我个人喜欢比较传统的操作) echo 134217728 >/proc/sys/kernel/shmmax echo 2097152 >/proc/sys/kernel/shmall echo 2 > /proc/sys/vm/overcommit_memory 考虑到并不是每个人都乐意于每次开机都作此操作,最好还是修改/etc/sysctl.config文件添加相应的设置。 Slony不同步数据? Q:配置了Slony,并未报错,但数据没同步过来 A:你要同步的表都设置主键了么,如果没有设主键的Slony配置表的属性的时候要加Serial属性哦 Slony同步数据非常慢? Q:Slony同步数据非常慢,需要20~30s,且配置Slony

Continue reading

Posted in linux | Tagged , | 6 Comments
尝试与54chen交流:
Twitter sina微博V GMAIL GitHub

 

54chen,真名:陈臻。
2010年加入小米科技。
关键词:
rose,riak,rabbitmq,zookeeper,thrift,nuclear,
senseidb,hadoop,hive,dynamo,
php extension,nginx module

天下风云出我辈,一入江湖岁月催.
鸿图霸业谈笑中,不胜人生一场醉.
提剑跨骑挥鬼域,白骨如山鸟惊飞.
尘世如潮人如水,只叹江湖几人回.

过去的经历:
人人网分布式研究人员(nuclear系统开发者)
雅虎、淘宝搜索开发工程师
金山词霸开发工程师
曾用代号有:cc0cc、零蛋。

SEARCH

接受捐赠

Comments

  • TerryCat: 前辈好!上传通过MultipartFile,那么下...
  • chenjinbo: 请问大神,spring事务目前支持了...
  • 李东: 请问你的问题解决了吗?我也是这个...
  • 袁鹏: 同求,事物该如何处理,快速的互联网...
  • 别说我out: 请问这个问题在tomcat7上解决了吗...
  • xiongxu: 我的项目controllers下有子包,paoding-ros...
  • xuchen: paoding rose 支持POST请求的重定向么?...
  • 54chen: 并没有mybatis的高级,只是简单够用的...
  • 54chen: 参考jade包内,rowmapper包下代码...
  • qiang: sql中查询的字段和实体类中的字段是...