Linux安装中文分词SCWS的PHP扩展

发布于 2015-12-04 作者 [重庆SEO]

昨天添加站内搜索时使用的是scws的API,使用起来主要的问题是搜索后响应速度稍慢,其中相当部分时间消耗在API传输那里了,所以今天折腾scws的PHP扩展, 进一步提高页面响应速度。另外PHP扩展版本比另一个纯PHP版本速度会快不少。

以下是SCWS官方的安装说明,照着这个一步一步做就可以了,其中7,8步直接跳过。

我一开始卡在10-2 phpize
[root@seonoco phpext]# phpize
Can't find PHP headers in /usr/include/php
The php-devel package is required for use of this command.
需要安装php-devel,运行yum install php-devel
还是不行,后来发现我是remi源安装,需要运行yum --enablerepo=remi install php-devel 然后其他就没问题了

SCWS-1.2.2 安装说明

以 Linux(FreeBSD) 操作系统为例
1. 取得 scws-1.2.2 的代码
wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2
2. 解开压缩包
[hightman@d1 ~]$ tar xvjf scws-1.2.2.tar.bz2
3. 进入目录执行配置脚本和编译
[hightman@d1 ~]$ cd scws-1.2.2[hightman@d1 ~/scws-1.2.2]$ ./configure --prefix=/usr/local/scws ; make ; make install
注:这里和通用的 GNU 软件安装方式一样,具体选项参数执行 ./configure --help 查看。
常用选项为:--prefix=<scws的安装目录>
4. 顺利的话已经编译并安装成功到 /usr/local/scws 中了,执行下面命令看看文件是否存在
[hightman@d1 ~/scws-1.2.2]$ ls -al /usr/local/scws/lib/libscws.la
5. 试试执行 scws-cli 文件
[hightman@d1 ~/scws-1.2.2]$ /usr/local/scws/bin/scws -h
scws (scws-cli/1.2.2)
Simple Chinese Word Segmentation - Command line usage.
Copyright (C)2007 by hightman.
...
6 用 wget 下载并解压词典,或从主页下载然后自行解压再将 *.xdb 放入 /usr/local/scws/etc 目录中
[hightman@d1 ~/scws-1.2.2]$ cd /usr/local/scws/etc
[hightman@d1 /usr/local/scws/etc]$ wget http://www.xunsearch.com/scws/down/scws-dict-chs-gbk.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ wget http://www.xunsearch.com/scws/down/scws-dict-chs-utf8.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-gbk.tar.bz2
[hightman@d1 /usr/local/scws/etc]$ tar xvjf scws-dict-chs-utf8.tar.bz2
7. 写个小程序测试一下
[hightman@d1 ~]$ cat > test.c
#include <scws.h>
#include <stdio.h>
main()
{
scws_t s;
s = scws_new();
scws_free(s);
printf("test ok!\n");
}
8. 编译测试程序
gcc -o test -I/usr/local/scws/include -L/usr/local/scws/lib test.c -lscws -Wl,--rpath -Wl,/usr/local/scws/lib
./test
9. 这样就好顺利安装完毕可以使用 libscws 这套 C-API 了
10. 如果您需要在 php 中调用分词,建议继续阅读本文安装 php 扩展,否则可跳过不看。
假设您已经将 scws 按上述步骤安装到 /usr/local/scws 中。
安装此扩展要求您的 php 和系统环境安装了相应的 autoconf automake 工具及 phpize 。
1) 进入源码目录的 phpext/ 目录 ( cd ~/scws-1.2.2 )
2) 执行 phpize (在PHP安装目录的bin/目录下)
3) 执行 ./configure --with-scws=/usr/local/scws
若 php 安装在特殊目录 $php_prefix, 则请在 configure 后加上 --with-php-config=$php_prefix/bin/php-config
4) 执行 make 然后用 root 身份执行 make install
5) 在 php.ini 中加入以下几行
[scws]
;
; 注意请检查 php.ini 中的 extension_dir 的设定值是否正确, 否则请将 extension_dir 设为空,
; 再把 extension = scws.so 指定绝对路径。
;
extension = scws.so
scws.default.charset = utf8
scws.default.fpath = /usr/local/scws/etc
6) 命令行下执行 php -m 就能看到 scws 了或者在 phpinfo() 中看看关于 scws 的部分,记得要重启 web 服务器
才能使新的 php.ini 生效。
7) 这样就算安装完成了,余下的工作只是PHP代码编写问题了。

关于 PHP 扩展的使用说明请参看代码中 phpext/README.md 文件或其它文档章节。

根据phpext/README.md搞了一个分词demo,然后替换昨天的API方法后,速度确实快了不少!

//scws PHP扩展
function scws_phpext($str){
 $so = scws_new();
 $so->set_charset('utf8');
 $so->set_dict($sh, '/usr/local/scws/et/dict.utf8.xdb');
 $so->set_rule($sh, '/usr/local/scws/et/rules.utf8.ini');
 $so->set_ignore(true);
 $so->set_multi(true);
 // 这里没有调用 set_dict 和 set_rule 系统会自动试调用 ini 中指定路径下的词典和规则文件
 $so->send_text($str);
 $array=array();
 while ($tmp = $so->get_result())
 {
  $array=array_merge($array,$tmp);
 }
 $so->close();

 foreach($array as $v){
   $arr[]=$v['word'];
 }

 return $arr;
}

参考与扩展阅读

SCWS-1.2.2 安装说明