GETAによるファイルの全文検索
Up$Date: 2003/01/05 10:05:20 $ $Revision: 1.1 $

(UnixMagazineに記事を書きましたのでこちらも参照下さい - 2003/4/29)

情報学研究所の高野氏/ 日立の西岡氏らによる GETA というライブラリを使うことによりファイルの全文検索を行なうことができる。

GETAの使い方

チュートリアルが用意されているが、いまひとつわかりやすいとはいえないので、忘れないように書いておく。

GETAプログラムは標準で /usr/local/geta にインストールされる
その下の sbin/mkw を使って、単語出現マトリックス WAM (Word-Article Matrix)を作成することにより tf/idf法などによる検索を高速に実行することができる。
WAMは疎行列を効率的に表現するデータ構造らしい。詳細はたぶん論文に書いてある。
mkwは単語の出現頻度ファイルを入力とする。出現頻度ファイルは chasen や MeCab などで作成する。
検索は WAM ライブラリを使用する。例: search.c

文書やチュートリアルが用意されているのだが構成が悪く理解しづらい。例えばWAMという言葉の説明すらどこにも見当たらない。
WAMのバイナリデータが cw.c などというファイル名になっておりまぎらわしい。
単語出現頻度ファイルは以下のような形式になっている必要がある。スペースのかわりにタブだとエラーになる。
```
@ファイルパス
2 単語1
4 単語2
...
```
WAMの置き場所などは検索コマンドの引数で指定するのではなく ci.conf という設定ファイルに記述することになっているらしい。あまりサエた方法とは思えないが...

上記問題点を考慮しつつなんとか活用してみることにする。

単語出現頻度ファイルを作るには時間がかかるので、 ~/Mail/inbox/123 のようなファイルそれぞれに対して ~/IR/freqfiles/Mail/inbox/123 のようなファイル名の単語出現頻度ファイルを作る。
単語出現頻度ファイルは、もとのファイルが更新されたときだけ更新する。
これらの処理を makefreqfiles というスクリプトで実行する。
find コマンドで単語出現頻度ファイルのリストを作成し、それを引数として mkw を起動することにより WAM を作成する。
setenv GETAROOT ~/IR と指定することにより、 $GETAROOT/etc/ci.conf を使用する。
etc/ci.conf には以下のように記述しておく。
```
handle: all.ir
short-name: ir
dataroot: /Users/masui/IR/data/
```
この指定により、WAMが dataroot の下に作成されるようになる。相対パスは使えないように思われる。

以上の処理をまとめると以下のようになる。詳細は Makefile 参照。

bin/makefreqfiles `pwd`
find `pwd`/freqfiles -type f -print > freqfilelist
GETAROOT=`pwd`; export GETAROOT; $(MKW) ir @freqfilelist

検索には

search.c
     を使用する。

% echo Unix | search          # Unixというキーワードで検索
% show | nkf -e | search      # メールの内容に近いファイルを検索



ダウンロード

スクリプトは以下にまとめてある。



ir.tar.gz



 Up$Date: 2003/01/05 10:05:20 $

Toshiyuki Masui