Yahoo!検索サイトエクスプローラーの認証失敗はrobots.txtが原因か
Yahoo!検索の検索結果をサイト管理者が操作するためのツールとしてサイトエクスプローラーがあります。
このサイトエクスプローラーをどのような目的に使うかはそれぞれだと思います。
このサイトも登録してありますが、こことは別のとあるサイトを登録しようとした所、認証に失敗しました。
そのサイトは設置されたファイルがrobots.txtのみの閉鎖されたサイトだったため、robots.txtの内容を疑いました。
User-agent: *
Disallow: /確かにアクセス拒否してますけど、認証時のアクセスでもrobots.txtに従うん？
それから数時間おきに認証を試みましたが、全て失敗しました。
そこで、ざっくりとrobots.txtを削除してみました。
（単純にrobots.txtを書き換えるのが面倒だっただけです）
翌日、無事に認証されている事が確認できました。
robots.txtの確認が頻繁に行われないのはGoogleウェブマスターツールと同じようです。
さて、認証が完了した後に削除したrobots.txtを再び設置してみましたが、今のところ不具合はありません。
認証後であればrobots.txtの拒否設定（Disallow）は問題ないようです。
後日、ヘルプから関係ありそうな内容を見つけました。
認証用ファイルのアクセス権限が制限されている
→認証用ファイルのアクセス制限を解除し、再度認証処理を行ってください。
また、サーバーでアクセス制限を行っていて、Yahoo!のクローラーのアクセス制限を行っている場合も認証ができません。
なお、認証ファイルの確認は、"Slurp/Site Explorer"というユーザーエージェント名のチェッカーにより行われます。
確かに拒否はしましたけど、robots.txtなんて無視しようとすればできるのだから、認証時くらいは強引にアクセスしてくれても問題ないと思うのですが……。
想像以上に行儀の良いYahoo!のクローラーでした。
コメント[0]
コメント投稿フォーム
コメントを投稿するにはJavaScirptが必要です。ブラウザのJavaScriptを有効にしてください。
トラックバック[0]
トラックバックはまだありません。
コメントはまだありません。