本記事の数値について 20業種603サイトを同一基準で実測した、2026年9月12日時点の診断データに基づきます。以後の診断で母数は増えますが、本記事の数値は再集計せず固定しています。集計方法・採点基準・限界は調査方法と採点基準をご覧ください。
sitemap.xmlとrobots.txtは、どちらも訪問者の目にはほとんど触れないファイルです。ボタンの色や文章の書き方と違い、これが無くても画面上は何も変わりません。だからこそ、後回しにされたまま気づかれずに放置されているケースが少なくありません。
この2つは、検索エンジンのクローラーに対する「案内板」の役割を持っています。sitemap.xmlはサイト内のページ一覧を示し、robots.txtはクロールしてよい範囲を示します。無くても即座に検索から消えるわけではありませんが、クローラーが自力でページを発見するしかなくなり、特にページ数の多いサイトほど、更新情報が検索エンジンに認識されるまでの時間に影響が出ると考えられます。
私たちが2026年9月時点で診断した603サイトで、この2つのファイルがどれだけ用意されているかを集計しました。以下の数値はすべてこの603サイトの実測値です。
603サイトの実測：5社に1社がsitemap.xmlを持たない
トップページを起点に、sitemap.xmlとrobots.txtの有無を確認した結果は次のとおりです。
| 項目 | 件数 | 割合 |
|---|---|---|
| sitemap.xml無し | 136 / 603 | 22.6% |
| robots.txt取得不可 | 116 / 603 | 19.2% |
| 両方とも無い | 62 / 603 | 10.3% |
表① sitemap.xml・robots.txtの欠落状況（全体）
sitemap.xmlが無いサイトは136件で、603件中の22.6%。robots.txtが取得できなかったサイトは116件で19.2%です。両方とも無いサイトは62件、10.3%あります。この62件は、検索エンジンに対する案内が実質的に何も用意されていない状態です。
なお、今回の集計はトップページを起点にした確認が中心です。サイト全体のページ数に対してsitemap.xmlがどこまで網羅的かまでは、この数値だけでは分かりません。ファイルの存在有無を見ている点にご注意ください。
業種で見ると、飲食の50%から結婚式場・ブライダルの23.3%まで開きがある
sitemap.xml無しの割合を業種別に見ると、上位と下位で倍以上の差があります。
| 業種 | sitemap無し | 割合 |
|---|---|---|
| 飲食 | 15 / 30 | 50% |
| 製造業 | 12 / 30 | 40% |
| 自動車販売・整備 | 12 / 30 | 40% |
| 観光・宿泊 | 9 / 30 | 30% |
| 人材・採用 | 9 / 30 | 30% |
| 介護・福祉 | 9 / 30 | 30% |
| 不動産 | 8 / 30 | 26.7% |
| 結婚式場・ブライダル | 7 / 30 | 23.3% |
表② 業種別・sitemap.xml無しの割合（多い順、上位8業種）
飲食は30サイト中15サイトでsitemap.xmlが無く、8業種の中で最も高い割合でした。製造業と自動車販売・整備はいずれも40%です。
なぜこの差が生まれるか
sitemap.xmlとrobots.txtは、多くのCMSやSEOプラグインで自動生成されます。WordPressに人気のSEOプラグインを導入していれば、設定を意識しなくても両方のファイルが用意されることが多く、こうした仕組みを使っているサイトでは欠落しにくいと考えられます。逆に、静的なHTMLで組まれたサイトや、古い時期に一度作られて以降更新されていないサイトでは、生成する仕組みが無く、担当者が意識的に用意しない限りファイルが存在しません。飲食や製造業、自動車販売・整備で欠落率が高い背景には、こうした制作方法の違いが影響している可能性があります。
robots.txtの「取得不可」についても補足が必要です。これは検索エンジンを意図的にブロックしている状態ではなく、多くの場合は単にファイルが置かれておらず、アクセスすると404が返ってくる状態を指します。無いこと自体がクロールを禁止しているわけではありませんが、クロールしてよい範囲や優先ページを明示する手段が無い状態ではあります。
両方とも無い62件、10.3%は、検索エンジンからの発見がサイト内外のリンクだけに委ねられている状態です。新しいページを公開しても、どこかからリンクされるか、クローラーが偶然たどり着くまで気づかれない可能性があります。更新頻度の低いサイトなら影響は限定的かもしれませんが、コラムやブログを頻繁に更新しているサイトほど、この案内の欠落は機会損失につながりやすいと考えられます。
自社サイトではどう確認するか
確認そのものは難しくありません。ブラウザで自社サイトのURLに/sitemap.xmlと/robots.txtを続けて入力し、内容が表示されるかを見るだけです。真っ白な画面やエラーページが出た場合は、そのファイルが用意されていない可能性が高いといえます。
WordPressなど主要なCMSを使っている場合は、導入しているSEO系プラグインの設定画面から、sitemap.xmlの生成状況を確認できることが多いです。プラグインを使っていない、あるいは静的に組まれたサイトの場合は、制作会社や開発担当者に直接確認するのが早道です。Google Search Consoleを利用しているなら、「サイトマップ」のメニューから送信状況もあわせて確認できます。
sitemap.xmlやrobots.txtのような技術基盤の状態は、構造化データの実装状況とあわせてAI検索やLLMOの観点からも影響します。この観点は603サイトの構造化データ実測記事でも扱っています。技術基盤全体を一度に確認したい場合は、私たちが公開しているコンバージョン偏差値スキャナーにURLを入れることで、同業種内での偏差値として確認できます。
まとめ
- 603サイトの実測で、sitemap.xml無しは136件・22.6%、robots.txt取得不可は116件・19.2%、両方とも無いサイトは62件・10.3%だった
- 業種別では飲食が50%で最も高く、製造業・自動車販売・整備が40%で続く
- robots.txtの取得不可は、多くの場合クロールを禁止しているのではなく、ファイル自体が用意されていない状態を指す
- 両方とも無い62件は、検索エンジンへの案内が実質的に無く、発見がリンクだけに委ねられている状態と考えられる
- 確認自体は
/sitemap.xmlと/robots.txtをブラウザで開くだけで済む
自社サイトの技術基盤がどこまで整っているかは、URLを入れるだけの無料診断で、同業種の中での位置を偏差値として確認できます。20業種の総合スコアはこちらの一覧記事にまとめています。
