Il Robot.txt è un file di testo che va inserito nella directory principale del sito (root), e serve ad indicare agli spider dei motori di ricerca che pagine non devono essere visitate e quindi memorizzate.
Se in un sito abbiamo delle pagine che non vogliamo vengano viste dai motori di ricerca è sufficiente inserire nel file robot.txt tutte le pagine o le directory che vogliamo escludere.
Si ottengono gli stessi risultati utilizzando il Meta Tag Robots.