8888 readers
坚信科学，分享技术

Tag Archives: 搜索

用sphinx轻松搞定方便管理的多节点过亿级数据搜索

Posted on 2010-07-14 by 54chen
概述 来自俄罗斯的开源全文搜索引擎软件Sphinx，单一索引最大可包含1亿条记录，在1千万条记录情况下的查询速度为0.x秒（毫秒级），实测千万级数据在0.0X秒和0.00X秒占大多数。 Sphinx创建索引的速度为：创建100万条记录的索引只需3～4分钟，实测30W线上复杂的blog数据需要5分钟，创建1000万条记录的索引可以在50分钟内完成，实测时间比这个更长得多，而只包含最新10万条记录的增量索引，重建一次只需几十秒，实测十万条在一分钟不到的时间。 Sphinx 是一个基于 GPL 2 协议颁发的免费开源的全文搜索引擎.它是专门为更好的整合脚本语言和SQL数据库而设计的.当前内置的数据源支持直接从连接到的 MySQL 或 PostgreSQL 获取数据, 或者你可以使用 XML 通道结构(XML pipe mechanism , 一种基于 Sphinx 可识别的特殊xml格式的索引通道) 。 sphinx安装 安装见 用Sphinx快速搭建站内搜索功能 配置多节点协同工作 第一点，原理 在sphinx.conf中可以配置index段落里的local和agent两个参数，local = blog_1表示使用本地索引名为blog_1的索引，agent = 10.1.1.1:3312:blog_2表示使用10.1.1.1这个机器的3312端口上服务的blog_2索引。这两个参数均可在此段落中重复出现。 利用这两个参数，可进行节点与节点间的配置。如图1所示，一个searchd服务在接到请求时两种使用索引的示意图。 图1 一个searchd服务在接到请求时两种使用索引的示意图

Continue reading →

Posted in linux, 架构研究 | Tagged , | 7 Comments

[原创]使用postgreSQL+bamboo搭建比lucene方便N倍的全文搜索 第一部分

Posted on 2009-07-01 by cc0cc
[文章作者：陈臻 本文版本：v1.2 最后修改：2009.7.7 转载请注明原文链接：http://www.54chen.com/_linux_/postgresql-bamboo-lucene-fulltextindex.html ] 修正：一些“--”（连续的两个杠）被转成了全角的“-”（一个杠）了，运行不过的试试-变成-- 所有用到到包有： cmake-2.6.4.tar.gz (编nlpbamboo用) CRF++-0.53.tar.gz(同上) nlpbamboo-1.1.1.tar.bz2（分词用） postgreSQL-8.3.3.tar.gz（索引用） 安装pgsql tar -zxvf postgreSQL-8.3.3.tar.gz cd postgre-8.3.3 ./configure --prefix=/opt/pgsql make make install useradd postgre chown -R postgre.postgre /opt/pgsql su - postgre vi ~postgre/.bash_profile 添加 export PATH PGLIB=/opt/pgsql/lib PGDATA=/data/PGSearch PATH=$PATH:/opt/pgsql/bin …

Continue reading →

Posted in java, linux, 架构研究 | Tagged , , | 12 Comments

SEARCH

Update