[fess-user 242] Re: 差分クロールについての質問

Back to archive index

Shinsuke Sugaya shins****@yahoo*****
2010年 6月 11日 (金) 11:22:29 JST


菅谷です。

現状の実装では差分クロール時に使われる次のリンクは
a タグになっていました。これですと、次のリンクの
取得先をカスタマイズした場合に機能しないので、
修正しました。3.1.2-SNAPSHOT で対応しました。
変更したファイルは
webapps/fess/WEB-INF/classes/jp/sf/fess/transformer/FessXpathTransformer.class
になります。

よろしくお願いいたします。

shinsuke


2010年6月11日9:10 kazuto fukuda <kf966****@gmail*****>:
> 菅谷様
>
> お世話になっております。福田です。
>
> 昨日の処理では差分クロールは行われていたようです。
> その前の日は10時間掛かっていたものが、今回はわずか1分で
> 終了していました。
>
> あまりの違いにびっくりしたのですが、念の為、確認させて頂きます。
> 「Not modified URL」というメッセージが2度しか出ていないようです。
> ウェブの設定で2件登録していますので、それぞれのトップページで
> Not modifiedだったという事なのかなと思いますが、まさかトップページが
> Not modifiedならそこからのリンク先はもうチェックしていないなんて事は
> ないでしょうか?。あまりに処理時間に差があったのと「Not modified」
> がちょうど2回しか出ていないので疑問に思いました。
>
> 以上です。よろしくお願いします。
>
> 2010年6月10日10:09 Shinsuke Sugaya <shins****@yahoo*****>:
>> 菅谷です。
>>
>> 移行方法はその流れで問題ありません。
>>
>> または、更新ファイルは少ないので
>> 以下のファイルだけを上書きでも問題ないと
>> 思います。
>>
>> webapps/fess/WEB-INF/classes/fess.dicon
>> webapps/fess/WEB-INF/classes/jp/sf/fess/action/admin/WizardAction.class
>> webapps/fess/WEB-INF/classes/jp/sf/fess/robot/FessS2RobotThread.class
>>
>> よろしくお願いいたします。
>>
>> shinsuke
>>
>>
>> 2010年6月10日9:25 kazuto fukuda <kf966****@gmail*****>:
>>> 菅谷様
>>>
>>> お世話になっております。福田です。
>>> 対応して頂き有難うございます。
>>>
>>>> この件を含めて直して 3.1.1 として
>>>> リリースしました。そちらでは問題ないと
>>>> 思います。
>>>
>>> VersionUpしたいと思いますが、
>>> ログファイルの件もありますので、出来るだけ今の環境を
>>> そのまま引き継がせたいと思います。
>>> 手順としては、
>>>
>>> 1.現行(3.1.0)の設定をバックアップする。
>>> 2.3.1.1を任意のフォルダへ解凍する。
>>> 3.現行を停止する。
>>> 4.現行のsolr\core1\data(インデックス)を3.1.1にコピーする
>>> 5.3.1.1を起動する。
>>> 6.設定をリストアする。
>>>
>>> で、よろしいでしょうか?
>>>
>>> また、webapps\fess\WEB-INF\classes以下のファイルには、
>>> こちらで変更したファイル(s2robot_transformer.dicon等)も
>>> あります。差分を反映する必要がありますので、変更された
>>> ファイルと内容を教えて頂けると有難いです。
>>> (もしかしたら、リリース情報として入っていたら、まだ見ていない
>>> ので申し訳ありません)
>>>
>>> 以上です。よろしくお願いします。
>>>
>>> 2010年6月9日22:05 Shinsuke Sugaya <shins****@yahoo*****>:
>>>> 菅谷です。
>>>>
>>>> 申し訳ありません。バグです…。
>>>> ちょうど別なバグを直したかったので、
>>>> この件を含めて直して 3.1.1 として
>>>> リリースしました。そちらでは問題ないと
>>>> 思います。
>>>>
>>>> 差分クロールはウェブであれば Last-Modified、
>>>> ファイルであれば更新日時と、インデックスされた
>>>> 日時を比較して、更新されていればインデックスも
>>>> 更新されます。Last-Modified が取れない場合は
>>>> インデックスは更新されます。
>>>>
>>>> よろしくお願いいたします。
>>>>
>>>> shinsuke
>>>>
>>>>
>>>> 2010年6月9日13:12 kazuto fukuda <kf966****@gmail*****>:
>>>>> お世話になっております。福田です。
>>>>>
>>>>> ログファイルの件は有難うございました。
>>>>>
>>>>> 今度は差分クロールについての質問なのですが、
>>>>> 差分クロールを「有効」にすると、どのような処理になるのしょうか?
>>>>> 現在、「有効」にしていて、スケジュールにて、毎日同じ時間からクロールを
>>>>> 開始するようにしていますが、処理時間に変化がありません。
>>>>> 対象にしているデータが多い、テストPCのスペックの問題もありますが、
>>>>> 毎日10時間処理が動いて、インデックスが8300作られる状況です。
>>>>> データ自体はそんなに変わっていないと思うので、差分が効いてない
>>>>> のではと思うのですが、どうなんでしょうか?
>>>>>
>>>>> 以上です。よろしくお願いします。
>>>>>
>>>>> _______________________________________________
>>>>> Fess-user mailing list
>>>>> Fess-****@lists*****
>>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>>
>>>>
>>>> _______________________________________________
>>>> Fess-user mailing list
>>>> Fess-****@lists*****
>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>>
>>>
>>> _______________________________________________
>>> Fess-user mailing list
>>> Fess-****@lists*****
>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>>
>>
>> _______________________________________________
>> Fess-user mailing list
>> Fess-****@lists*****
>> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>>
>
> _______________________________________________
> Fess-user mailing list
> Fess-****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/fess-user
>




Fess-user メーリングリストの案内
Back to archive index