2003/09/05 - Robots.txt?

robots.txt について調べてみる。これは,Web サーバに robots.txt ファイルを置いておくと,そこに記述したページは(その仕様に従う)検索エンジンの検索結果に載らないようになるというもの。だが,サーバのトップページに置かなければならない & 検索エンジンのロボットが読めなくてはならないので,そのファイルをブラウザから見ると秘密のページ一覧が取得できる。これだと robots.txt を読めば秘密のページ一覧が得られるわけで,そんなページだけを集めた裏検索エンジンとか作れるよなあ,とか思った。まあ,いろいろ対策はあるらしい。


Solaris 上の Apache を使っていて,どうも MS Excel ファイルのダウンロードがおかしいと思ったら text/plain を返していた。mime.types を調べてみると,MS Word と MS PowerPoint はちゃんと application/msword とかになってるのに,MS Excel だけ記述がなかった。何故? ちなみに新しい Solaris では Execl も定義されていた。

コメントする