リニューアル後の404、実は大半がBotだった ── 本当に直すべきURLの見分け方|飯田市のホームページ制作会社の検証記録

静的なHTMLサイトから、WordPressへリニューアルしたときの話です。主要なページはきちんとリダイレクト(旧URLから新URLへの転送)を設定したのに、Googleアナリティクス(GA4)を見ると「ページが見つかりませんでした」の表示回数が、やけに多い。

設定したはずなのに、なぜこんなに404が出ているのか。実際に一覧を出して調べてみたところ、その大半は、直す必要のないものでした。そして同時に、放置すると実害が出る、本当に直すべきURLも見つかりました。

今回は、404になっているURLの調べ方と、その一覧をどう読み解くかを記録しておきます。飯田市・南信州で、サイトのリニューアルに関わる方の参考になればと思います。

まず、404になっているURLを洗い出す

原因を推測するより、実際にどのURLで404が起きているかを見るのが早道です。GA4で一覧を出す方法を2つ紹介します。

方法1:「ページとスクリーン」レポートで見る(手軽)

  1. GA4の左メニューから「レポート」をクリック
  2. 「エンゲージメント」→「ページとスクリーン」を開く
  3. 表示回数の多い順に並んでいるので、404ページのタイトルを探す(「ページが見つかりませんでした」「404 Not Found」など、テーマによって表記はさまざまです)
  4. レポート上部の「ページタイトルとスクリーン名」という青字をクリックし、**「ページパスとスクリーンクラス」**に切り替える

これで、404が起きている実際のURLパスが一覧で見られるようですが、わたしのGA4では見られませんでした。

方法2:「探索」で自由に集計する(おすすめ)

一覧をCSVで書き出したい、件数順に並べたい、という場合はこちらが便利です。

  1. 左メニューの「探索」をクリック
  2. 「空白」のテンプレートを選択
  3. 「ディメンション」の+から、ページタイトルページパス+クエリ文字列を追加
  4. 「指標」の+から、表示回数を追加
  5. タブ設定で、行に「ページタイトル」、値に「表示回数」を設定
  6. 表示されたら、404ページのタイトルをクリックして絞り込む
  7. さらに行に「ページパス」を追加すると、そのタイトルに紐づくURL一覧が、表示回数順に並びます

表示件数が10件しか出ないときは

ここでつまずきやすいのですが、一覧が10件しか表示されないことがあります。その場合は、表の下(または上)にある**「行の表示数」を探してください。初期設定が「10」になっているので、クリックして100**などに変更します。これで、ほぼ全部のパスが見えるようになります。

一覧が出たら、右上のダウンロードアイコンからCSVで書き出しておくと、後の作業がラクです。Excelで並べ替えたり、対応リストとして使えます。

一覧を見て気づいたこと ── これ、ほとんどスパムでは?

さて、実際に一覧を出してみて、最初に思ったのがこれでした。

並んでいたのは、こういうURLです(実際のものではなく、形を示すための例です)。

/contact.php    /contact.cgi    /contact.html
/contactus      /contact-us     /contact_us
/mailform.php   /mailform.html  /mail.php
/inquiry.php    /enquiry.php    /qaform.php
/toiawase.php   /otoiawase.html /form.php
/postmail/postmail.php
/contact/mailform.php

お問い合わせページによくありそうなURLが、同じような意味の言葉で、あらゆる拡張子の組み合わせで、ずらりと並んでいる。「contact」「mail」「form」「inquiry」「enquiry」「toiawase」「otoiawase」……そして .php .cgi .html の全パターン。

これは、人間の行動としては不自然です。おそらくBot(自動プログラム)による総当たりのスキャンです。

なぜBotがこんなURLを探すのか

理由があります。昔のレンタルサーバーには、mailform.phppostmail.php といったメール送信スクリプトが、あちこちに設置されていました。その中には、脆弱性のあるものが多くあり、スパムメールの踏み台として悪用されてきました。

そのためBotは、世界中のサイトに対して「このパスに、脆弱なフォームが残っていないか」を機械的に総当たりでチェックして回っています。短期間に、同義語と拡張子の全パターンが揃って現れるのは、その典型的な特徴です。

この種のURLは、リダイレクトしなくていい

ここが大事な判断です。Botスキャンによる404は、リダイレクトを設定する必要がありません。

設定しても、Botの動きは止まりませんし、実害を防げるわけでもありません。工数の無駄になります。無視して構いません。

ただし、GA4の数字の上では、これらもカウントされます。だから「404が多すぎる」ように見えていたわけです。数字が大きいこと自体が、問題の大きさを表しているとは限らない——これが、今回いちばんの気づきでした。

その中に、本当に直すべきURLが混ざっていた

とはいえ、全部が無視していいわけではありませんでした。一覧をよく見ると、明らかに性質の違うURLが混ざっていました。

旧サイトに実在していたページ

/company/profile.html
/facility/
/support/

こうした、いかにも「昔このサイトにあった」というURLです。これらは、検索エンジンに登録が残っていたり、外部サイトからリンクされていたりする可能性があります。リダイレクトを設定すべき対象です。

旧環境のディレクトリが、まるごと残っていた

そして、いちばん重要だったのがこれです。

/wp-old/
/wp-old/service/○○/
/wp-old/recruit/company/
/wp-old/recruit/○○/

/wp-old/ のようなサブディレクトリ配下のURLが、いくつも並んでいました(実際のパス名は伏せています)。これは、旧サイトがそのサブディレクトリで運用されていた名残です。移行時に、この配下のリダイレクトが漏れていました。

しかも、その中に広告や外部からの流入と思われるアクセスが含まれていました。URLの末尾に、クリック計測用のパラメータ(?fbclid=... のような、SNS広告経由のアクセスに付くもの)が付いたものが、複数並んでいたのです。

これはBotではなく、本物の訪問者ですのでリダイレクトを行います。

この系統は、1本の設定でまとめて直せる

幸い、この種の漏れは、まとめて解決できます

/wp-old/ 配下のURLを、すべて対応する新URLへ転送する——という正規表現のルールを1本入れれば、その配下すべてが一度に片付きます。個別に何十本も設定する必要はありません。

/wp-old/(.*)/$1 に転送する、というような書き方です。「Redirection」などのプラグインで設定できます。)

今回の404の中で、いちばん効果が大きかったのが、この1本でした。

一覧の読み解き方まとめ

整理すると、404の一覧はこう分類できます。

無視してよいもの(Botスキャン) contact.php mailform.php postmail.php のように、フォームを探す名前が、同義語と拡張子の全パターンで並んでいるもの。リダイレクト不要です。

対応すべきもの(旧サイトの実在ページ) /company/profile.html のように、いかにも昔あったページ。検索エンジンや外部リンクからの流入がある可能性があるので、対応する新URLへリダイレクトします。

最優先で対応すべきもの(本物の流入がある) 広告のクリック計測パラメータが付いているもの、旧環境のディレクトリ配下がまるごと残っているもの。実際の訪問者を失っているので、真っ先に直します。ディレクトリ単位なら、正規表現で1本にまとめられます。

判断が必要なもの /?page_id=122 のような、古いWordPressのID指定URL。何のページだったか分かれば個別に設定し、分からなければトップページへ転送しておく、という判断でも構いません。

この検証から得た教訓

いちばんの学びは、「404の件数が多い=リダイレクト漏れが多い」とは限らない、ということでした。

数字だけ見ると焦りますが、中身を開けてみれば、大半は無視してよいBotのアクセスでした。一方で、件数としては少なくても、広告経由の本物の訪問者が404に飛ばされているという、放置できない問題が隠れていました。

数字の大きさではなく、中身を見る。 これはアクセス解析全般に言えることだと思います。

そしてもうひとつ。リニューアルのとき、「主要ページのリダイレクトは設定した」で終わりにしてしまうと、こういう漏れが残ります。特に、テスト環境や旧環境のディレクトリ、広告のリンク先は、見落としやすいところです。心当たりのある方は、一度確認してみてください。

リニューアルは、公開して終わりではありません。公開後しばらくして、404の状況を確認し、漏れを拾っていく。この工程まで含めて、ようやく完了だと考えています。

私たちは飯田市を拠点に、ホームページ制作やリニューアルのお手伝いをしています。見た目を新しくするだけでなく、旧サイトから積み上げてきた評価や流入を引き継ぐところまで含めて対応します。飯田市・南信州で、サイトのリニューアルをご検討の方は、お気軽にご相談ください。

Home
サービス
制作実績
お客様の声
デザイナー紹介
問合せ