[fess-user 801] robots.txt の扱いについて

Back to archive index

All Hide saita****@gmail*****
2013年 11月 13日 (水) 22:00:15 JST


三浦と申します。

個人的なサイト用に検索エンジンを設定しようと思い、fess-server-8.2.0 をテスト中です。
このサイトには robots.txt が置いてあり、以下のように設定しました。

User-agent: testbot
allow: /

User-agent: *
Disallow: /secret/

ここで allow に用いたユーザエージェントは「ウェブクロールの設定」にあるユーザエージェントに
同じ文字列を指定しました。結果としてクロールの URL で指定した secret 直下にある index.html 以外は
検索してくれません。

何か根本的な勘違いをしているような気がしてならないので色々とあがいてみたのですが、解決できません。
何かお気づきの方がいらっしゃるようでしたら、ご指摘戴けると幸いです。
よろしくお願い申し上げます。
-------------- next part --------------
HTMLの添付ファイルを保管しました...
다운로드 



Fess-user メーリングリストの案内
Back to archive index