上周记录了如何用quercus建立混合型项目。
http://www.54chen.com/php-tech/quercus-notes-php-java-mixed-projects.html
这里来说说与数据库的访问，使用jndi得到连接池的好处。

JNDI
(Java Naming and Directory Interface)是SUN公司提供的一种标准的Java命名系统接口，JNDI提供统一的客户端API，通过不同的访问提供者接口JNDI SPI的实现，由管理者将JNDI API映射为特定的命名服务和目录系统，使得Java应用程序可以和这些命名服务和目录服务之间进行交互。

正题
在quercus中可以随意使用mysql_connect与mysql_pconnect两个方法来连接数据库。
当在web.xml定义得有database相关的消息时，mysql_connect与mysql_pconnect都会自动忽略里面的参数设置，直接使用web.xml的定义。

添加jndi设置：
vim WEB-INF/web.xml

使用的是resin4，需要继续在web.xml的servlet段里增加：

这里注意，param-value与上面的jndi-name对应，mysql_connnect函数在web.xml里有这个init-param的定义的时候，将使用对应的jndi的设置。由此可得到连接池的好处。

上面的例子只使用了jdbc的基础驱动，如果向下面的配置，自然就得到了pool:
例子1:

例子2:

这些简单的配置，都可以让php轻松跑在连接池上。
问题所在：
quercus写土了，没有在用户设置为unicode的时候来解析用户的输入，到处是hard code的latin1。（本来在GAE里使用这东西的人挺多的，可惜吧，AGE被盾了，然后quercus反馈latin1问题的人也不多，唉。）

上面三处修改为utf8即可。

创业公司参与项目的人口众多、背景不一，目前市场上的主流方向为php与java，很多时候java工程师恨铁不成钢，php工程师也无可奈何。于是便有了此文，讲述如何使用quercus创建php java混合型项目。

quercus是什么？
quercus是Caucho公司针对php语言的java实现，100%完成了php5的解析。是resin内建支持的功能。同时，因为使用了resin，使得php可以很容易得到连接池、分布式session、负载均衡等功能。使用resin的php项目可以更加安全，不存在很多fastcgi的问题。

性能如何？
官方：用mediawiki与drupal来做实验，要比mod_php快4倍。
有一个编译选项，在resin专业版里支持，可以把php转成java class，得到更高性能。

新建一个java项目混合php项目
web.xml是关键，里面声明了*.php文件的访问都以com.caucho.quercus.servlet.QuercusServlet来执行。

所有的php文件放在webapp下，所有的java文件还放到java目录里。

如何混合java到php中?
在java目录新建类Test54Chen，生成后位置：
WEB-INF/classes/com/chen/FrameWork.class

在webapp新建php文件：
test.php

配置到resin中：
目标文件夹指到webapp。

访问：test.php

截图：
1.整个项目的情况

2.访问的结果

下一记：如何利用java做连接池提供给php使用。

hudson是一个强大的持续性构建服务器。（现在开发者们分了一个分支，改叫Jenkins。）我（54chen）在使用过程中的手记如下：
下载
地址：http://hudson-ci.org/

wget http://java.net/projects/hudson/downloads/download/war/hudson-2.0.1.war

速度不咋的，60k/s.
先决条件
系统：centos 5.5

resin4下不work，换成了tomcat。

cp /opt/soft/hudson/hudson-2.0.1.war /opt/soft/apache-tomcat-7.0.16/webapps/

遇到的问题
1）tomcat使用utf8环境。
vim tomcat/conf/server.xml
找到8080，加入一行 URIEncoding="UTF-8"。

2）maven不工作
hudson启动后，系统管理里面，设置maven的地址：MAVEN_HOME指到maven的主目录，不是bin目录。

3）svn不工作
报re_version错误，在你的svn地址的最后面加上@HEAD

4）hudson一切正常后，有svn bug

FATAL: tried to access method hudson.scm.ChangeLogSet$Entry.setParent(Lhudson/scm/ChangeLogSet;)V from class hudson.scm.SubversionChangeLogSet

报上面的错误，我（54chen）在http://issues.hudson-ci.org/browse/HUDSON-8885里找到更新新的svn插件即可。进入到系统管理的插件管理中，选中svn 插件，安装更新即可。

5）定时执行
建立job时，有一个选项是Build Triggers，勾选 Build periodically ，schedule填写：0 10,22 * * *表示每天10/22点执行。

6）重启后jobs丢失
jobs都是定义在$HUDSON_HOME里的，如果一开始的时候没有设置，jobs将放在~/.hudson下，当重启的时候，可能发生各种找不到原来的jobs的问题，此时需要确定原来的HUDSON_HOME是啥，现在的是啥，如果不一致就会出问题。

java线上项目往往有许多的exception出现了没来得及去看，通过下面的工具，可以在每天早晨上班的时候通过邮件发出头一天出现的异常次数，是提高生产力和提早发现问题的好办法。
配置：

1.解压到指定目录
/data/analyze
2.email发送配置
vim mail.pl
5行，6行，7行，14行 修改为自己的配置
3.server配置
ssh-keygen打通ssh
cd server
项目名_server写服务器ip，多个机器一行一个
4.其他
可能会有不相同的log目录地址，看着修改一下shell就行。

*修改自烧饼的脚本，点击下载：
http://ishare.iask.sina.com.cn/f/16530420.html

日志分析时经常会遇到这个问题：一个正在增长中的大文件，要分析新增的每一行的固定内容进行统计并展示啥的。用java的RandomAccessFile盯住文件的末尾，是一个不错的选择，下面的实现，是一个高效的java tail工具，实现类似linux的tail工具的功能。用来做大日志文件的实时分析，是一个不错的选择。

public class LogFileTailer extends Thread {
private Logger logger = LoggerFactory.getLogger(LogFileTailer.class);

/**
* How frequently to check for file changes; defaults to 5 seconds
*/
private long sampleInterval = 5000;

/**
* The log file to tail
*/
private File logfile;

/**
* Defines whether the log file tailer should include the entire contents of
* the exising log file or tail from the end of the file when the tailer
* starts
*/
private boolean startAtBeginning = false;

/**
* Is the tailer currently tailing?
*/
private boolean tailing = false;

/**
* Set of listeners
*/
private Set listeners = new HashSet();

/**
* Creates a new log file tailer that tails an existing file and checks the
* file for updates every 5000ms
*/
public LogFileTailer(File file) {
this.logfile = file;
}

/**
* Creates a new log file tailer
*
* @param file The file to tail
* @param sampleInterval How often to check for updates to the log file
* (default = 5000ms)
* @param startAtBeginning Should the tailer simply tail or should it
* process the entire file and continue tailing (true) or simply
* start tailing from the end of the file
*/
public LogFileTailer(File file, long sampleInterval, boolean startAtBeginning) {
this.logfile = file;
this.sampleInterval = sampleInterval;
}

public void addLogFileTailerListener(LogFileTailerListener l) {
this.listeners.add(l);
}

public void removeLogFileTailerListener(LogFileTailerListener l) {
this.listeners.remove(l);
}

protected void fireNewLogFileLine(String line) {
for (Iterator i = this.listeners.iterator(); i.hasNext();) {
LogFileTailerListener l = (LogFileTailerListener) i.next();
l.newLogFileLine(line);
}
}

public void stopTailing() {
this.tailing = false;
}

public void run() {
long filePointer = 0;

if (this.startAtBeginning) {
filePointer = 0;
} else {
filePointer = this.logfile.length();
}

try {
this.tailing = true;
RandomAccessFile file = new RandomAccessFile(logfile, "r");
while (this.tailing) {
long fileLength = this.logfile.length();
if (fileLength < filePointer) {
file = new RandomAccessFile(logfile, "r");
filePointer = 0;
}
if (fileLength > filePointer) {
file.seek(filePointer);
String line = file.readLine();
while (line != null) {
this.fireNewLogFileLine(line);
line = file.readLine();
}
filePointer = file.getFilePointer();
}
sleep(this.sampleInterval);
}
file.close();
} catch (IOException e) {
logger.error("IO ERROR:", e);
} catch (InterruptedException e) {
logger.error("InterruptedException:", e);
}

}
}

使用起来很简单，只需要实现一个LogFileTailerListener后加入到tailer，这个tailer会去自动去执行。

类似：

public class Tail implements LogFileTailerListener {
/**
* The log file tailer
*/
private LogFileTailer tailer;

/**
* Creates a new Tail instance to follow the specified file
*/
public Tail(String filename) {
tailer = new LogFileTailer(new File(filename), 1000, false);
tailer.addLogFileTailerListener(this);
tailer.start();
}

/**
* A new line has been added to the tailed log file
*
* @param line The new line that has been added to the tailed log file
*/
public void newLogFileLine(String line) {
System.out.println(line);
}

/**
* Command-line launcher
*/
public static void main(String[] args) {
if (args.length < 1) {
System.out.println("Usage: Tail ");
System.exit(0);
}
Tail tail = new Tail(args[0]);
}
}

上面的代码出处：http://www.informit.com/guides/content.aspx?g=java&seqNum=226，我(54chen)对其进行了一些修改，保障出现异常时不会出现死循环。

下载修改后的可用的代码：
http://ishare.iask.sina.com.cn/f/15999043.html

国库流行的ip库记录数大约在6万条左右，数据格式大约都是如下：
start,end,country...
要查询的时候都是放到mysql里去，然后select * from ip where start>=xx and end end <=xx来得到ip信息，我（54chen）在搞一个实时监控时，因为并发量非常大，全部查询IP库，需要好几万每秒的查询，特改了java的TreeMap的get方法，将所有数据放到内存里来操作，put的时候还是保持TreeMap的红黑树实现，以start作为key，而在get的时候有一个 compare的过程，在发现compare是大于0的时候进行如下修改：

else if (cmp > 0) {
int start = ((Data) p.value).getStart();
int end = ((Data) p.value).getEnd();
int intKey = Integer.parseInt(k.toString());
if (intKey >= start && intKey <= end) {
return p;
}
p = p.right;
}

大概意思是：在树上遇到比要找的数据小的节点时，从数据中取到end的大小，来参加对比，如果满足要求，直接返回。

附修改好的代码：
http://ishare.iask.sina.com.cn/f/15805095.html

重要补充：

由qunar的sunli大侠补充，用实现comparable的key用法更加正宗，代码如下：

public class Chen {
public static void main(String[] args) {

java.util.TreeMap<IpEntry, Data> xmap = new java.util.TreeMap<IpEntry, Data>();
xmap.put(new IpEntry(0, 100), genData(0, 100, "中国"));
xmap.put(new IpEntry(101, 200), genData(101, 200, "日本"));
xmap.put(new IpEntry(2000, 3000), genData(2000, 3000, "美国"));
xmap.put(new IpEntry(201, 300), genData(201, 300, "巴西"));
xmap.put(new IpEntry(501, 600), genData(501, 600, "法国"));
xmap.put(new IpEntry(701, 800), genData(701, 800, "英国"));
xmap.put(new IpEntry(601, 700), genData(601, 700, "北京"));
xmap.put(new IpEntry(1601, 1700), genData(1601, 1700, "广州"));

Data data = xmap.get(new IpEntry(1260, 1260));
if (data == null) {
System.out.println("not found!");
} else {
System.out.println(data.getCountry());
}
}

private static class IpEntry implements Comparable<IpEntry> {

final long start;
final long end;

IpEntry(long start, long end) {
this.start = start;
this.end = end;
}

public int compareTo(IpEntry t) {
long t1 = start - t.start;
if (t1 < 0) {
return -1;
}
long t2 = end - t.end;
if (t1 >= 0 && t2 <= 0) {
return 0;
}
return 1;
}

}

private static Data genData(int start, int end, String country) {
Data data = new Data();
data.setCountry(country);
data.setStart(start);
data.setEnd(end);
return data;
}
}

Sonar是一个开源代码质量控制工具。把它加到现在的持续集成工具中就能够让你的java开发项目集中处于质量控制之下。下面是安装和使用记录 ：

修改.m2/settings.xml
增加下边的内容到profiles段落中：

<profile>
<id>sonar</id>
<activation>
<activeByDefault>true</activeByDefault>
</activation>
<properties>
<!-- EXAMPLE FOR MYSQL -->
<sonar.jdbc.url>
jdbc:mysql://localhost:3306/sonar?useUnicode=true&amp;characterEncoding=utf8
</sonar.jdbc.url>
<sonar.jdbc.driverClassName>com.mysql.jdbc.Driver</sonar.jdbc.driverClassName>
<sonar.jdbc.username>sonar</sonar.jdbc.username>
<sonar.jdbc.password>sonar</sonar.jdbc.password>

<!-- SERVER ON A REMOTE HOST -->
<sonar.host.url>http://localhost:8888</sonar.host.url>
</properties>
</profile>

增加mysql权限
GRANT all ON sonar.* TO sonar@localhost IDENTIFIED BY 'sonar';
FLUSH PRIVILEGES ;

vim .bashrc
export MAVEN_OPTS="-Xmx512m -XX:MaxPermSize=128m -Duser.timezone=Asia/Shanghai"

source .bashrc

下载sonar，配置mysql:

conf/sonar.properties
sonar.jdbc.url: jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8
sonar.jdbc.driverClassName: com.mysql.jdbc.Driver
sonar.jdbc.validationQuery: select 1

用户密码不用，默认都是sonar

配置启动的http端口

sonar.web.host : localhost
sonar.web.port: 8888
sonar.web.context: /

启动服务：

bin/[YOUR PLATEFORM]/sonar.sh start

开始使用：

进到项目里运行 mvn sonar:sonar

打开http://localhost:8888 即可看到对应项目里的代码质量和修改建议。

解决系统时区的问题：
vim sonar-xx/conf/wrapper.conf
wrapper.java.additional.3=-Duser.timezone=Asia/Shanghai

maven管理的java项目越来越多，令人遗憾的是在使用maven的时候，多多少少都会遇到这样那样的问题，于是会有各种各样的解决办法，下面是一个列表，列出了使用maven的误区和解决办法。
1.频繁在所有项目使用mvn install并且随时在更新
这是我见过的最常见的问题，解决了这个问题有许多的好处。在maven的文档中找不到一句对这种情况的描述，不过我坚信一句话：每个artifact在maven仓库中都有一个家。
在你的公司里，应该有一个仓库管理工具。每一个你开发的模块都应该发布到这个仓库上去。你可能会问，应该什么时候发布？答案是，每次在你的构建服务器构建之后，都需要发到仓库。我们通常都使用Hudson来做这件事情，另外还有Continuum和TeamCity也还不错。

现在，当你所有的项目都在仓库里有的时候，你的项目就不再需要不断地mvn install了。如果你修改一个模块，你只需要重建这个模块，其余依赖的模块会由maven自动从仓库中下载。

2.你和你的团队成员依靠复制.m2文件夹来解决项目里的依赖找不到的问题
这看起来很疯狂，不过这件事情经常发生。解决的办法，设置一名仓库管理员。一旦管理好了仓库，就不会再出现大家找u盘复制.m2文件夹的事情了。因为可以加速，你不应该把本地的仓库整个地删除掉，毕竟在本地读取仓库是最快的。

3. 你为了解决依赖找不到一个老版本构件的问题，把最新的pom文件修改了版本弄到了老文件里后安装
考虑到这种情况，有人把一个模块的版本从1.3-SNAPSHOT修改成了1.4-SNAPSHOT。你马上要去度假，所以呢你就不想再更新和安装1.3的版本了，而你的模块正好要依赖1.3版本的那个模块，你如何去弄到老的版本呢？嗯，你可以到处找找，在代码库里找到了这个模块的最新代码，而且版本还是1.3的，你更新了这个版本号并且进行了安装。或者你还可以把你的代码从1.4弄到1.3去，安装并祈祷能够正常工作。

我想上面的解决办法都不是很好，同样，你的公司需要一个代码仓库管理员，如果有一次1.3-SNAPSHOT成功的构建，那就应该在仓库里存在一份，问题解决。

4. 你有许多shell脚本或者是批处理文件，它们通过你的模块的target文件来产生一个zip文件
maven有方法专门做这件事情，叫做“assemblies”。他们不是最容易安装的，但是一旦你安装好了，将与maven完全无缝结合，这要比许多山寨自制的脚本要平滑得多。这些山寨的脚本有许多的问题，比如说版本开始改变，模块被移动等等。

5.你有许多的xml在pom里，目的只是复制文件到发布时的文件夹去，而且它不成很好的工作，也不轻便
这和4正好是对立的，maven看上去不是为了复制文件而构建。如果你想复制你的包（诸如war,ear,zip文件），写一个ant shell bat文件都会很简单完成。

6.你在build的时候总是呆在“checking for updates from xxx-repo”而你不知道什么原因
这是一个很让有些人很气愤的事情，往往花费太多时间去找问题所在。也许这个事情正好可以让你去喝杯咖啡。尽管如此，这个问题的一些通常原因，就是你有一个快照版本的依赖，并且在你的pom文件中有一堆的仓库列表。maven不关心哪个包去哪个仓库里取，所以看上去是从所有的仓库里更新所有的包。
如果你配置了你的maven安装时到指定的仓库里去寻找所有的包（在settings.xml里设置mirror），maven会只到这个仓库里寻找。当这个服务器在本地，将得到加速。用上仓库管理很重要，

7.如果你在release分支上写代码，你的trunk的构建将会失败（或者说是1.0-SNAPSHOT应该对所有人来说都是好用的）
有许多事情你应该记住，当给你的项目创建一个分枝的时候。其中之一是告诉你的构建服务器，并且其他模块需要修改版本为你的pom的声明。如果你忽略随后才做这事，当你想修改了分支里的代码又想在主干里开发时，你会遇到问题。
这里有一个goal在发布插件里，叫做“branch”，靠运行“mvn release:branch”，maven可以为你自动重命名pom文件里的版本号。（免责声明，我还没试过这个命令。。。目前我经常只在创建了一个release的时候才打分支，在“mvn release:perform”后使用“mvn release:prepare”）

8.整个公司内容的依赖都是以-SNAPSHOT结束
快照对开发者来说很舒服，它几乎要完成了，但是迟早，你应该要停下你的脚步，发送你的包给世人，或者是你的同事。一直呆在快照版本有许多的问题。首先它减慢了你的构建速度。因为maven不得不去检查最后的快照是不是在更新了。其次，如果你的项目依赖于一个快照版本，你很难判断是依赖哪个版本的快照。构建可能会失败，只是因为你拿到了一个更新的快照。
如果你依赖一个公司内部的模块，并且这个模块目前是好用的，那么修改所有的依赖为非快照版本后才发布，是一个不错的主意。这样我们才能知道，即使有家伙还在那个模块上疯狂写代码的时候，你的模块依旧可以构建通过，因为它依赖的是一个稳定的发布。

9.跑一下“mvn dependency:analyze”，没有使用和没有使用的依赖列表很长
这个很BT，但不知道准确依赖很危险。最大的问题是maven的传递依赖。

10.当有人发布了你使用的新版本的插件，你的构建就挂了
maven的插件不必写上版本，maven会找到最好的版本。当有新版本的插件的时候，你不必知道就会下载使用最新的。有时候，最好的判断不总是正确。根据经验，越新的越有bug。因此，明码标价写上你使用的插件的版本是有意义的

scribe 是facebook 开源的分布式日志系统 。其使用了thrift传输log，由于使用thrift，所以不论是什么语言的项目都可以实现日志收集，可达到远程或者是本地同步远程的分布式日志收集效果，在其示例配置中，并发量可达到max_msg_per_second=2000000，对普通的应用来说，每秒上百万的访问量可能性很小，因此基本上即使最简单的配置，远程收集所有项目的log也是可靠的，如果压力大的话，可以采取主从的配置，将日志打到本地后由scribe的主从配置来自动同步。下面讲述如何安装和使用scribe。

下载boost、thrift、scribe

boost_1_45_0.tar.gz
thrift-0.5.0.tar.gz
facebook-scribe-2ee14d3.zip

通过yum安装需要的依赖

yum install libevent libevent-devel python-devel
yum install gcc-c++
yum install automake
yum install byacc flex

安装boost

tar -zxvf boost_1_45_0.tar.gz
cd boost_1_45_0
./bootstrap.sh
./bjam install --prefix=/opt/soft/bootstrap

安装thrift-0.5.0

tar zxvf thrift-0.5.0.tar.gz
./configure --with-php-config=/opt/soft/php/bin/php-config --with-boost=/opt/soft/boost/ --with-java --prefix=/opt/soft/thrift
make
make install

安装fb303

cd contrib/fb303
./bootstrap.sh --prefix=/opt/soft/thrift/fb303 --with-boost=/opt/soft/boost/ --with-thriftpath=/opt/soft/thrift/
make
make install

安装scribe

unzip facebook-scribe-2ee14d3.zip
cd facebook-scribe-2ee14d3

export BOOST_ROOT=/opt/soft/boost/
export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/
./bootstrap.sh --prefix=/opt/soft/scribe --with-boost=/opt/soft/boost/ --with-thriftpath=/opt/soft/thrift/
make
make install

启动scribe服务

cd facebook-scribe-2ee14d3
cp example/exmaple1.conf /opt/soft/scribe/bin
cd /opt/soft/scribe/bin/
export BOOST_ROOT=/opt/soft/boost/
export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/
./scibed example1.conf

生成客户端使用scribe

先产生java的thrift代码:
cd facebook-scribe-2ee14d3/if/
thrift -r -I ../../thrift-0.5.0/contrib/（这里需要指到你的thrift的源码目录） -gen java scribe.thrift

使用

gen-java目录下有thrift的客户端，即取即用。javaeye里有一篇写配置log4j使用scribe的不错：http://www.javaeye.com/topic/800208

接上part1:http://www.54chen.com/java-ee/java-read-properties-files-part.html
从数据流到java.util.Properties
你应该注意到之前提过的方法只是一半的措施：他们都只返回输入数据流，而并没有类似键值对的返回。幸运的是，把数据加载成一个列表很简单（可以实例化java.util.Properties即可）。因为你会发现你在一再地使用它，搞成几个帮助类是有意义的。

java的内置方法给classpath加载指定的资源有小小的不同也是一件讨厌的事情，特别是当一些资源名字是硬编码但你现在想换另一个加载的方法时。抽取出来一些东西是有意义的，类似斜杠和点作为命名的分隔符等等。干脆一点，帖出我的properties的处理类，代码在这里下载：http://www.javaworld.com/javaqa/2003-08/01-qa-0808-property.html?page=2#resources

［代码略］

在loadProperties方法的javadoc里的注释显示这个方法的输入参数要求非常随意：接受资源名字被任何按照原生的方法设计（除了相关的包外尽量使用Class.getResourceAsStream()）的格式化而且使其本地实现标准化。

短一点的loadProperties() 公用方法决定了哪个类加载器加载资源。下面的解决方法是合理的但并非完美。你应该考虑使用文章"Find a Way Out of the ClassLoader Maze"里提到的技术来代替。

注意有两个条件编译的常量来控制loadProperties的行为，你可以调整它们来适应你的口味：

THROW_ON_LOAD_FAILURE选择loadProperties在找不到资源的情况下是抛异常还是返回空。

LOAD_AS_RESOURCE_BUNDLE 选择资源在查找的时候是绑定资源还是给出的classpath资源。

将LOAD_AS_RESOURCE_BUNDLE设置为true是不好的，除非你是想通过编译到java.util.ResourceBundle的本地化支持得到好处。而且，java内部缓存了资源绑定，所以你可以避免重复地对同样的资源名字进行磁盘文件读写。

更多的事情

我有意省略了一个有趣的classpath资源加载方法，ClassLoader.getResources。尽管它不常使用，但其允许许多有用的选项，这些选项在设计高度定制和简单配置的应用程序非常有用。

我没有在这文章里讨论ClassLoader.getResources是因为它值得专门写一篇文章。碰巧，这个方法与剩下的取得资源的方法联系紧密：Java.net.URLs。你可以使用他们，因为资源描述符要比classpath资源名字符要更通用。