Disallow UnisterBot ! roboter spam oder contentscraper?

Unter der Kennung Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de) besucht ein Robot regelmäßig meine Webserver.

Auf der entsprechende Webseite der Firma Unister werden keine entsprechenden Services angeboten. Trotzdem habe ich eine Email an crawler@unister-gmbh.de geschickt um mal nachzufragen wie man diesen bot aussperren kann.

KEINE ANTWORT!

mit dem ROBOTS.TXT Eintrag

User-agent: UnisterBot
Disallow: /

geht es schon mal nicht.

Daraufhin habe ich diesen Bot einmal etwas detaillierter untersucht und kann heute sagen: BLOCK UNISTERBOT.

Denn aus dem IP-Bereich 87.118.64.0/18, der von der Keyweb AG IP Network verwaltet wird, kommt eh nur dirty traffic, wie man an der folgenden Auswertung schön sehen kann.

Requests MBrec MBsent c-ip           cs(User-Agent)                                                          Last visit
-------- ----- ------ -------------- ----------------------------------------------------------------------- ----------
839      -     13     87.118.116.118 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-24
396      -     6      87.118.116.171 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-23
383      -     6      87.118.116.152 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-23
338      -     5      87.118.116.42  crawler4j+(http://code.google.com/p/crawler4j/)                         2011-05-10
159      -     2      87.118.116.169 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-18
116      -     2      87.118.116.156 Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de)           2011-08-11
110      -     1      87.118.116.156 UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-30
99       -     2      87.118.126.66  crawler4j+(http://code.google.com/p/crawler4j/)                         2011-03-26
90       -     1      87.118.116.152 UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-30
87       -     1      87.118.116.156 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-23
82       -     2      87.118.116.152 Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de)           2011-08-10
63       -     0      87.118.116.150 UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-30
49       -     0      87.118.116.150 Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de)           2011-08-10
38       -     0      87.118.116.42  UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-10
18       -     0      87.118.116.152 unister-bot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)           2011-08-30
16       -     0      87.118.116.145 crawler4j+(http://code.google.com/p/crawler4j/)                         2011-07-23
13       -     0      87.118.116.156 unister-bot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)           2011-08-30
13       -     0      87.118.116.42  unister-bot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)           2011-08-30
6        -     0      87.118.116.118 Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de)           2011-07-27
6        -     0      87.118.116.150 unister-bot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)           2011-08-29
4        -     0      87.118.82.153  -                                                                       2011-09-06
2        -     0      87.118.86.133  Mozilla/5.0+(compatible;+Plukkie/1.4;+http://www.botje.com/plukkie.htm) 2011-09-22
2        -     0      87.118.124.26  UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-16
2        -     0      87.118.124.28  UnisterBot+(Mozilla/5.0+compatible;+crawler@unister-gmbh.de)            2011-09-15
2        -     0      87.118.116.171 Mozilla/5.0+(compatible;+UnisterBot,+crawler@unister-gmbh.de)           2011-07-26
1        -     0      87.118.126.67  Wget/1.11.4                                                             2011-03-03
1        -     0      87.118.90.13   Wget/1.12+(linux-gnu)                                                   2011-05-10

also habe ich den ganzen Bereich 87.118.64.0/18 geblockt

bei dieser IP-Range handelt es übrigens um denselben Bereich, den früher einmal “referrertrick.com” verwendet hatte. hier ein paar Quellen, die das früher damals schön aufgearbeitet hatten:

• Michael
• Martin
• Stapis

Bei uns hatten die damals über die IP-Adressen 87.118.82.66 und 87.118.116.23 mit den Referrern www.immune-systems.eu und www.sourceweb.eu gespamt. Da die jetzt “vom Markt” sind hat offensichtlich dieser UNISTER die IP-Bereiche übernommen.

Hat jemand Erfahrungen mit dem BOT?!

Ist Traffic bei KEYWEB so billig, oder warum sind so viele Spammer bei Keyweb?