User-agent: scooter 
Disallow: / 

User-agent: googlebot 
Disallow: /intestazione.html 
Disallow: /links.html 
Disallow: /temporanei/ 
Disallow: /cgi-bin/ 

User-agent: * 
Disallow: 

Lista degli spider 

Ecco di seguito una breve lista con i nomi degli spider dei principali motori di ricerca internazionali: 

Nome spider Motore di ricerca 
googlebot Google 
fast Fast - Alltheweb 
slurp Inktomi - Yahoo! 
scooter Altavista 
mercator Altavista 
Ask Jeeves Ask Jeeves 
teoma_agent Teoma 
ia_archiver Alexa - Internet Archive 

Il nome (User-agent) degli spider di altri motori di ricerca puņ essere individuato cercando nei log del server HTTP che gestisce il sito web oppure consultando le pagine dei motori di ricerca dedicate ai webmaster. Quasi sempre, vengono indicati i nomi degli spider e come bloccarli usando il file robots.txt. 
Indicazioni finali 

Nel caso in cui vuoi inserire all'interno del file robots.txt alcuni commenti, puoi farlo scrivendo righe di testo il cui primo carattere č un "cancelletto" #. Tali righe verranno completamente ignorate dagli spider dei motori. Esempio: