# dit bestand geeft aan welke zoekmachines deze website mogen doorzoeken, een * geeft aan dat alle zoekmachines # de website mogen bezoeken, maar je kunt het bijvoorbeeld ook per zoekmachine instellen, bijv. googlebot User-agent: * # disallow geeft aan welke bestanden of mappen niet door de bovenstaande zoekmachine(s) mogen worden bezocht # er kunnen per user-agent meerdere disallow-commando's worden gegeven #Disallow: links.asp #Disallow: rechts.asp