単語カード
まず、ここだけ確認
robots.txtは、検索エンジンのクローラーにクロール可否を伝えるファイルです。
この記事で分かること
robots.txtは、検索エンジンのクローラーにクロール可否を伝えるファイルです。
この記事の目次
ひとことで言うと
robots.txtは、検索エンジンのクローラーに、どのURLをクロールしてよいかを伝えるファイルです。
サイトのルートに置かれ、クロールの許可やブロックを指定します。
この記事で分かること
- robots.txtが何を指すか
- どんな時に確認するか
- noindexとの違い
どんな時に出てくる言葉か
この言葉は、検索エンジンのクロールを制御したい時に出てきます。
たとえば、
- 管理用URLや不要なURLのクロールを抑えたい
- Search Consoleでクロール関連の確認をしたい
- noindex設定と混同していないか見たい
のような場面です。
たとえばこんな場面
robots.txtで特定のURLをブロックすると、クローラーがそのURLを見に行きにくくなります。
ただし、robots.txtは検索結果から消すための設定ではありません。すでに知られているURLは、内容を読めないまま検索結果に残る可能性もあります。
noindexとの違い
noindexは、検索結果に出さないようページ側で伝える設定です。
robots.txtは、クロールしてよいかを制御するファイルです。検索結果から外したい時は、robots.txtだけでなく、noindexが検索エンジンに確認される状態かも分けて見ます。
ここだけ覚えれば大丈夫
- robots.txtは、クロールの許可やブロックを伝えるファイルです
- 検索結果から消すための設定とは分けて考えます
- noindexと組み合わせる時は、検索エンジンが指定を確認できるかを見ます
自分の場合に置き換えるなら
robots.txtを確認するときは、まずWordPress運用の中で「今どこで止まっているか」と「次に誰が判断するか」を分けると整理しやすくなります。 言葉の意味だけを見るのではなく、実際の画面、配信、申込み、運用手順のどこに関係しているかまで見ると、次の行動を決めやすくなります。
似た言葉と迷ったとき
似た言葉と迷った場合は、目的の違いで見るのが安全です。新しく作る話なのか、今あるものを直す話なのか、数値を確認する話なのかで、必要な作業は変わります。 たとえば「設定」「改善」「分析」は近く見えますが、設定は形を作ること、改善は使われ方を見直すこと、分析は判断材料を集めることとして分けると混乱しにくくなります。
確認するときの順番
- 今の状態を一言で書く
- 影響している画面や導線を一つに絞る
- 直前に変えた設定、配信、文章があるか見る
- ユーザーが次に迷う場所を確認する
- すぐ直すことと、あとで検証することを分ける
相談前にメモしておくこと
- いつから気になっているか
- どのページ、LINE、フォーム、管理画面に関係しているか
- 今いちばん困っていることは何か
- 直前に変更した設定や文章があるか
- 期待している状態と、今の状態の差は何か
関連記事
迷ったらここから
クロールや検索結果の扱いを安全に見直したい時は、まずは 月次保守 からで大丈夫です。
