介绍
Sphinx[英] [sfɪŋks] [美] [sfɪŋks]
出自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级）。Coreseek是一款基于Sphinx的开源检索引擎，支持Tb级的全文数据索引，专门为中文用户提供免费开源的中文全文检索系统。
下载
wget http://www.coreseek.cn/uploads/csft/3.2/csft-3.2.12.tar.gz
wget http://www.coreseek.cn/uploads/csft/3.2/mmseg-3.2.12.tar.gz
解压
tar -zxvf mmseg-3.2.12.tar.gz
tar -zxvf csft-3.2.12.tar.gz
中文依赖下载和安装
wget http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.13.tar.gz
tar zxvf libiconv-1.13.tar.gz
cd libiconv-1.13/
./configure --with-libiconv-prefix
make
make install
建立系统动态链接
在/etc/ld.so.conf中加一行/usr/local/lib，运行ldconfig。 ld.so.conf和ldconfig是维护系统动态链接库的。真不明白为什么iconv库安装时不把这一步也做了
安装mmseg分词
cd mmseg-3.2.12
yum -y in
Continue reading →
Posted in 架构研究
|
Tagged coreseek, Sphinx
|
问题的提出
网友bercmisir在院内留言，针对php手册中的call_user_func函数的文档一事，大致如下：
http://php.net/manual/en/function.call-user-func.php
其中parameter下有这样一句话：
Note: Note that the parameters for call_user_func() are not passed by reference.
简单地翻译一下，是说这个函数的参数是不能依靠引用来传递的。
还有一个例子：
输出是：
0
1
而网友bercmisir的问题在于：
call_user_func('increment', $a);输出是0,而call_user_func('increment', &$a);却输出是1，明明说不能依靠引用来传递。
寻根溯源
然后再进一步寻根溯源，这个Note的信息其实是http://bugs.php.net/bug.php?id=24931这个bug中最后处理的结果。
并且在call_user_func('increment', &$a);虽然输出了1的结果，但一般情况下，会有一个警告信息：Deprecated: Call-time pass-by-reference has been deprecated。
这是什么原因呢？
先看一个例子：
结果为2，并且没有类似expected to be a reference, value given的警告信息，相反地，如果将第8行代码修改为&$x，将得到一个废除警告。从而得以验证
Continue reading →
概述
来自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级），实测千万级数据在0.0X秒和0.00X秒占大多数。 Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，实测30W线上复杂的blog数据需要5分钟，创建1000万条记录的索引可以在50分钟内完成，实测时间比这个更长得多，而只包含最新10万条记录的增量索引，重建一次只需几十秒，实测十万条在一分钟不到的时间。 Sphinx 是一个基于 GPL 2 协议颁发的免费开源的全文搜索引擎.它是专门为更好的整合脚本语言和SQL数据库而设计的.当前内置的数据源支持直接从连接到的 MySQL 或 PostgreSQL 获取数据, 或者你可以使用 XML 通道结构(XML pipe mechanism , 一种基于 Sphinx 可识别的特殊xml格式的索引通道) 。
sphinx安装
安装见 用Sphinx快速搭建站内搜索功能
配置多节点协同工作
第一点，原理
在sphinx.conf中可以配置index段落里的local和agent两个参数，local = blog_1表示使用本地索引名为blog_1的索引，agent = 10.1.1.1:3312:blog_2表示使用10.1.1.1这个机器的3312端口上服务的blog_2索引。这两个参数均可在此段落中重复出现。
利用这两个参数，可进行节点与节点间的配置。如图1所示，一个searchd服务在接到请求时两种使用索引的示意图。
图1 一个searchd服务在接到请求时两种使用索引的示意图
Continue reading →
Posted in linux, 架构研究
|
Tagged Sphinx, 搜索
|
==========尽职的安静的分隔线===========
在实际工作中遇到下面一个问题：
有一个表，存有2000万数据。
主键为ID bigint(20) NOT NULL auto_increment
另有一字段time timestamp NOT NULL default CURRENT_TIMESTAMP
故事从这两个字段说起：
sql1需要从这个表中检索出来时间为2010-05-26 11:55:00之前并且id号大于20000的前10条数据
sql2需要从这个表中检索出来时间为2010-05-26 11:55:00之后并且id号大于20000的前10条数据
两条sql写出来大概是这样子的：
sql1:select * from table where time 20000 order by id limit 10;
sql2:select * from table where time >'2010-05-26 11:55:00' and id>20000 order by id limit 10;
并且已经知道表中的数据，在上面所示时间之前的数据要远远多于所示时间之后的数据。如图1所示：
图1 数据在时间线上的示意图
实测发现，sql1执行时间0.03s，sql2执行时间33s。
为何大于小于运行的速度相比如何巨大？下面来解答。
第一，用explain来观察两条sql的区别
结论：没什么区别
第二，研究order by
将sql2的order by id修改为order by id desc(排序方向颠倒)后，发现速度马上提到了0.03s的水平。
同样修改
Continue reading →
Posted in 架构研究
|
Tagged mysql, order by
|
本次活动以RIA为主题，参会者多为关心RIA及后端数据服务的开发者和管理者。
我的主题是："Ria的强力后盾：rest+海量存储
主要内容是给参会者分享了淘宝在nginx上作的关于rest的事情，和一些人人网nuclear的原理。
下面是此次会上我所使用的slide。（国外 有点慢 需忍）
Ria的强力后盾：rest+海量存储
View more presentations from zhen chen.
Continue reading →
Posted in 架构研究
|
Tagged cloud, nosql, rest, ria
|
号外：http://url.cn/0ThU83 infoQ的线下技术活动Qclub本周六在知春路京仪大酒店举行，我给沙龙参会者分享来自人人网nuclear的开发经验以及如何运用在RIA上.
1.54chen解读NoSQL代表Dynamo
这篇文章颇费了心思从构思到成文，把dynamo原理描述得还算是清楚。
2.4月24日QCon现场直播流水帖
这篇是在QCon大会上现场记录的一些不算是太完整的笔记
4.java线程控制器代码分享-根据cpu情况决定线程运行数量和情况
一个根据cpu来执行的线程控制器实现，评论中有高人改进方案。
5.jdbc socketRead0 locked 记一个Mysql的不明bug
在开发nuclear过程中遇到的一个jdbc的bug
6.LinkIn基于Dynamo设计的系统：伏地魔(voldemort)设计中文文档[我是陈科学院译]-完稿
54chen翻译的一个来自国外SNS网站的分布式存储系统文档
Continue reading →
Posted in linux, 架构研究
|
Tagged nosql, 分布式, 总结
|
