[groonga-dev,04357] Re: pgroongaのログ出力内容について

Back to archive index

tak_kaz24****@yahoo***** tak_kaz24****@yahoo*****
2017年 4月 28日 (金) 19:42:15 JST


須藤様。高橋です。回答ありがとうございます。

>■事象1:system call error: Permission denied: failed to remove pathが発生する

>このときに何をしていたかわかりますか?

上記事象はPostgreSQLにCOPYコマンドで大量データ(数万〜数10万ドキュメント)を登録している時に発生します。
REINDEXはしておらず、ログからautovacuumは実行されておらず、ウィルスチェックソフトも入れていない環境です。
毎回発生するわけではないので環境や構成を変えて経過を観察してみます。

>■事象2:too many postingsが発生する

>これはウォーニングレベルのログなので、pgroonga.log_levelを
>errorとかにすると出力されなくなります。

書き方が悪かったです。ログに出力しない方法ではなくこの事象が可能な限り発生しないようにする方法があるか知りたいのです。
巨大なドキュメントファイルで上記事象が発生したファイルの後半部分が検索にヒットしない可能性を懸念しています。
各ドキュメントから抽出した文字情報をタブ区切りのファイルに出力し、
COPYコマンドのSTDINオプションで一定の件数ごと(1,000件)に読み込ませて登録していましたが、
100件→10件→1件のように減らしてもログ出力数が減りはしたものの1/10や1/100にはなりませんでした。

こちらでも検証は実施しますが他に有効な対処方法がありましたら連携ください。
またもしこの事象が発生したレコード等を特定する手法がありましたら連携ください。
※<Lexicon72052_0.index>のような情報が出力されますがこれで特定可能でしょうか?

>■事象3:ignore too long tokenが発生する

トークンの最大長が4096バイトという制限事項ということで了解しました。




groonga-dev メーリングリストの案内
Back to archive index