User-agent: * Disallow: /cgi-bin/ # nicht indexieren Disallow: /admin/ # nicht indexieren Disallow: /bg/ # nicht indexieren Disallow: /css/ # nicht indexieren Disallow: /swish/ # nicht indexieren Disallow: /schriften/ # nicht indexieren User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /cgi-bin/