User-agent: * # news von Miniboxen Disallow: /news/backPid/ # Shopitems von New Arrivals bzw Sales Boxen ohne Category.. Disallow: /shop/pr/ # Suche nicht crawlen Disallow: /shop/search/ User-agent: Googlebot # Keine nicht realrul links crawlen -- ist vorallem notwendig damit die alte seite nicht weiter gecrawled wird, index.php?.. links geben nemlich keine 304 headers aus -- nicht sicher ob Syntax auch für andere Bots ok, mit Google Webmaster Tools getestet Disallow: /index.php?