ein bot der sich als „twisted pagegetter“ ausgibt grast mir seit einer weile etwas zu viel auf meinem blog. allein im februar erfolgten bisher 4629 zugriffe. das scheint zunächst nicht viel, komischerweise wird aber immer nur eine url aufgerufen. und zwar der kommentarfeed zu franks remix von „sky and sand“ von paul & fritz kalkbrenner.
die knapp 5000 aufrufe erfolgten über 40 verschiedene ips. interessanterweise lösen alle auf amazonaws.com auf. auf webmasterworld.com gibt es auch schon einen sehr ausführlichen thread „amazonaws.com plays host to wide variety of bad bots„. der versuch den twisted pagegetter über die robots.txt auszuschliessen schlug fehl, also was tun? die aufrufe erfolgten bisher über folgende ip-adressen:
- 50.18.5.163
- 50.18.10.238
- 184.72.0.166
- 184.72.3.108
- 184.72.7.100
- 184.72.18.134
- 184.72.21.152
- 184.72.21.164
- 184.72.21.251
- 184.72.30.217
- 184.72.30.220
- 204.236.136.73
- 204.236.138.242
- 204.236.139.46
- 204.236.139.146
- 204.236.139.186
- 204.236.139.191
- 204.236.139.223
- 204.236.139.252
- 204.236.140.93
- 204.236.141.225
- 204.236.142.35
- 204.236.142.86
- 204.236.143.191
- 204.236.143.193
- 204.236.143.249
- 204.236.145.245
- 204.236.145.248
- 204.236.146.235
- 204.236.147.194
- 204.236.154.91
- 204.236.155.226
- 204.236.155.26
- 204.236.157.19
- 204.236.159.206
- 204.236.165.30
- 204.236.176.244
- 204.236.177.176
- 204.236.177.206
- 204.236.185.240
anstatt jetzt diese 40 ips oder gar den host amazonaws.com zu sperren, und somit auch evtl harmlose bots auszuschliessen, habe ich mit folgender regel in der .htaccess den twisted pagegetter ausgesperrt:
RewriteCond %{HTTP_USER_AGENT} "Twisted PageGetter" [NC]
RewriteRule .* - [F]
bei jedem aufruf bekommt dieser seit gestern ein http 403 (forbidden) zurück. mal sehen wann er es aufgibt.
Ja, ich habe auch schon seit langem das Problem das irgendwelche Bots auf meine Seite zugreifen und sich die IP-Adressen ändern. Aber den wirklichen Sinn dahinter versteh ich nicht, außer das sie unnütz Traffic verbrauchen. Grüße Daniel
ich habe auch so ein problem. warum die das machen versteh ich schon. es gibt automatiesierte programme. die brauch man für blackhat. anscheinend lohnt sich das für die leute, rofl. naja, hab schon mein hoster informiert, mal sehen was die dagegen machen werden
Sie versuchen mit dem hohen Aufkommen, deinen Traffic zum Platzen zu bringen, damit deine Webseite für ein paar Stunden down geht.
Das hört sich eher danach an, als ob derjenige irgendeinen Test mit Programmieren ausprobiert hat und nun es ist nicht abgestellt hat. Sehr sehr komisch, den Sinn verstehe ich auch nicht.
Auch bei mir ist das ähnlich. Daher werde ich das auch mal mit der Regel in der .htaccess austesten. Ich bin zwar kein Programmierer, hoffe aber, dass ich es dennoch hinbekomme.
@christian: das so versucht wird meine seite zu plätten ist dann doch etwas weit hergeholt. zumal wem sollte das was genau bringen?
ich sehe das eher wie michael.
Sehr elegant gelöst. Hast du mal ein wenig nachgeforscht, was der Zweck dahinter war?