I robots.txt sono file di testo memorizzati nella directory principale di un sito web. La loro funzione è quella di indicare quali parti del sito non sono accessibili ai crawler dei motori di ricerca. Sono un ottimo strumento per i webmaster (o in generale per chi gestisce un sito), in quanto offrono la possibilità di dire ai motori di ricerca quali file o pagine del sito possono essere esaminate (ovvero visitate) o meno.
Un file robots.txt può essere creato utilizzando un semplice editor di testo e devi assicurarti che venga identificato (e quindi salvato) come "robots.txt". Di seguito sono proposte alcune righe di testo, presenti nel file, che sono sempre scansionate e analizzate dai motori di ricerca.
Ogni file robots.txt è composto da due parti: La prima parte è detta "User Agent". Google utilizza diversi user-agent, cioè robot dei motori di ricerca, come Googlebot. Dovresti iniziare a scrivere un testo robots.txt partendo con la sintassi "User-agent": *", un comando che in pratica comunica a tutti i web crawler di seguire le successive righe. Nella seconda parte, invece, puoi definire cosa vuoi che sia letto o meno grazie ai comandi allow e disallow. Questo permetterà ai robot di eseguire la scansione di una pagina o meno. Si dovrebbe iniziare questa riga con la sintassi "Disallow: /", il che significa che i robot elencati non possono leggere nessun file o pagina.
