Il Robot è un programma che attraversa automaticamente la struttura ipertestuale del World Wide Web recuperando un documento e successivamente recuperando in maniera ricorsiva tutti i documenti che vi sono collegati.
In pratica il Robot è quel software che gira (passando da un link ad un altro) su internet e memorizza nuove pagine, senza che ci sia nessun intervento umano.
L'esempio piu conosciuto di Robot sono gli Spider, "i ragnetti" che i motori di ricerca utilizzano per trovare sempre nuove pagine e siti.