ソフト404ページはウェブマスターとして微妙に恥ずかしい

ソフト404は実はあまり大きな問題にはならない

とはいえ、ソフト404の状態になっていても、HTMLでは「見つかりませんでした」などの説明が表示されるので、ふつうにページを見る人間のユーザーには何の影響もありません。

ソフト404で困るのは、検索エンジン。検索エンジンはネット上の大量のURLの情報をクロールして集めていますが、404の（存在しない）ページの情報は検索対象として取り扱いません。そうしないと、処理が大変ですし検索結果にもゴミが増えますからね。その際に、各URLを検索対象として扱うかどうかを判断するのが、HTTPレスポンスコードなのです。つまり、レスポンスコードが200ならば検索対象として取り扱って、レスポンスコードが404ならば処理対象として扱わないといった感じです。

そこでソフト404です。本来は処理対象に含めなくていいはずの「見つかりません」ページがレスポンスコード200を返していると、検索エンジンは「見つかりません」という内容のページをクロールしてインデックスします。すると結果として、検索結果ページに「そのページは存在しません」「その商品は存在しません」といったページが出たり、場合によっては他の（ちゃんとクロールされるべき）ページがクロールされにくくなったり、新しいページがインデックスされるのが遅くなったりしてしまうのです。

まぁ、困ったことだと言えば困ったことですが、大問題かというとそうでもないですよね。どちらかというと、「ブラウザでページはちゃんと表示されるけど、ちょっとHTMLの文法が間違っていてIEでは変な表示になる」といった状態と似ているかもしれませんね。「ダメとまでは言わないけど、ちょっと恥ずかしい」ぐらい。

ソフト404の調べ方と対策

さて、では自分のサイトがソフト404になっていないか、どうすれば調べられるのでしょうか？

そのためには、通常は表示されないHTTPヘッダーのレスポンスコードを表示する必要があります。Firefoxを使っている人ならばアドオンのLive HTTP Headersを使えばいいのですが、それも面倒なので、HTTP Web-Snifferのサイトを使うことにしましょう。

　・HTTP Web-Sniffer → http://web-sniffer.net/

使い方は簡単。「HTTP(S)-URL」の欄に、自分のサイトの存在しないはずのURLを入力します。たとえば、Web担ならこんな感じですね。