Posted:

BREAKING! Deutsche Verleger haben eine Erweiterung der robots.txt vorgeschlagen!

less than 1 minute read

Der Vorschlag wurde mir geleakt von einem befreundetem DevOps in einem ungenannten Verlag.

# robots.txt zu http://www.bild.de/
User-agent: Google-Crawler*<br />
Pay: /* {PayPal:SpingerVerlagLSR@bild.de:0.05€/click}
Free: /404.html
Free: /500.html
Pay: /erotik*  {PayPal:SpingerVerlagLSR@bild.de:2.50€/click}

Es wird bereits über erweiterte Sytax diskutiert. Unter anderem ein Promo: mit Datumsangaben für Freicrawlertage.

Ach ja, wer Sarkasmus und Ironie findet darf es behalten.