水無月ばけらのえび日記

GET リクエストに Content-Type フィールドが入っている UA

hatomaru.dll を改造してから一週間になりますが、とりあえず CPU 使用率 100% で固まるような現象は起きていないようで、ひとまず安心。

しかしログを見ていたら、変なものを発見しました。

• http://altba.com/bakera/hatomaru.aspx/ebi/topic/1290" という URL を GET しようとしている (URL 末尾に二重引用符がついている?)
• Referer は http://altba.com (いや、そこからリンクしてないし……)
• HTTP要求ヘッダに Content-Type: text/html が含まれている!! (爆笑)

ちなみに HTTP要求ヘッダに Content-Type があること自体は RFC2616的に誤りではなかったりしますし、実際、POST の時は普通に使います。ただ、GET するときに Content-Type を送ってくる UA というのは見たことがありません。User-Agent は Mozilla/4.0 (Compatible; MSIE 6.0; Windows NT 5.1) で、これは Windows XP + IE6 と同一なのですが、IE はこんな変な動きしません。

というわけで、へっぽこな spam 系クロウラーが UA を偽装しているといったところでしょうか。URL の末尾がおかしいのは、末尾に拡張子も / もついていない URL を考慮していないからとか?

• 「GET リクエストに Content-Type フィールドが入っている UA」にコメントを書く

関連する話題: UA