Comments on: Blog-Corpus Crawler/Reader http://floriantischner.net/blog/2007/11/06/blog-corpus-crawlerreader/ Random rants from a would-be software developer Sat, 04 Feb 2012 19:05:45 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: Besitzstandwahrer http://floriantischner.net/blog/2007/11/06/blog-corpus-crawlerreader/comment-page-1/#comment-911 Besitzstandwahrer Tue, 06 Nov 2007 17:22:21 +0000 http://florianhaas.net/blog/2007/11/06/blog-corpus-crawlerreader/#comment-911 Danke für die Infos! Es tut mir leid das es mit dem Kommentar auf meinem Blog nicht geklappt hat, irgendwas ist da mit dem Captcha schief gelaufen. Benutzt Du einen Proxy oder so? Ich habe den Kommentar jedenfalls per Hand nachgetragen... Wenn Du das .htaccess File verändern kannst, dann kannst Du folgendes in das File einfügen (Zeilen mit '#' am Anfang sind Kommentare): # Diese Zeile brauchst Du einmal im .htaccess File RewriteEngine on # Diese beiden Zeilen sperren den BlogCorpusCrawler aus. Bitte hinter RewriteEngine on einfuegen! RewriteCond %{HTTP_USER_AGENT} BlogCorpusCrawler RewriteRule ^.* - [F,L] # Und so kann man verschiedene Browser aussperren RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR] RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR] RewriteCond %{HTTP_USER_AGENT} ^Wget RewriteRule ^.* - [F,L] Danke für die Infos! Es tut mir leid das es mit dem Kommentar auf meinem Blog nicht geklappt hat, irgendwas ist da mit dem Captcha schief gelaufen. Benutzt Du einen Proxy oder so? Ich habe den Kommentar jedenfalls per Hand nachgetragen…

Wenn Du das .htaccess File verändern kannst, dann kannst Du folgendes in das File einfügen (Zeilen mit ‘#’ am Anfang sind Kommentare):

# Diese Zeile brauchst Du einmal im .htaccess File
RewriteEngine on

# Diese beiden Zeilen sperren den BlogCorpusCrawler aus. Bitte hinter RewriteEngine on einfuegen!
RewriteCond %{HTTP_USER_AGENT} BlogCorpusCrawler
RewriteRule ^.* – [F,L]

# Und so kann man verschiedene Browser aussperren
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget
RewriteRule ^.* – [F,L]

]]> By: Martin http://floriantischner.net/blog/2007/11/06/blog-corpus-crawlerreader/comment-page-1/#comment-910 Martin Tue, 06 Nov 2007 16:46:26 +0000 http://florianhaas.net/blog/2007/11/06/blog-corpus-crawlerreader/#comment-910 interessant - werde ich kontrollieren und falls nötig per IP-Tables blocken. Das hilft immer ;-) interessant – werde ich kontrollieren und falls nötig per IP-Tables blocken. Das hilft immer ;-)

]]>