Twiceler — наглый бот!
В логах его видно как
Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html)
Приходил ко мне сначала с подсети 38.99.*, нагружает серв страшно.
роботс.тхт ему не указ, хоть на офф сайте пишуть, что все он понимает. Фих там, пришлось банить другими средствами.
Если кого достаёт эта зараза, добавляйте в хтакчес след строчки
Бан по айпи Twiceler
# Ban Twiceler bot by IP
order allow,deny
deny from 38.99
deny from 64.1.215
deny from 208.36.144
allow from all
Бан по юзер агенту Twiceler
# Ban Twiceler bot by user agent
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^.*Twiceler-0\.9.*$ [NC]
RewriteRule ^.* - [F]
з.ы. Покажите мне этих разработчиков, я им крепко пожму горло.