Il file robots.txt non è altro che un file che permette di dare dei comandi ai robots che indicizzano un sito. In genere viene usato per indicare delle restrizione, utili soprattutto per garantire una certa sicurezza al sito, in quanto si può indicare di non indicizzare alcune cartelle: nel caso di wordpress le cartelle dell’area admin.
Creare un file robots.txt è molto semplice e basta aprire un file txt ed inserire dei valori.
Il file robots.txt che ho creato io, contiene queste due stringhe:

User-Agent : *
Disallow: /wp-

“User-Agent : *” indica al robot di tutti i motori di ricerca di seguire le istruzioni specificate successivamente nel file.
“Disallow: /wp-” indica al robot di escludere dall’indicizzazione, tutti i files e le cartelle che cominciano per “wp-” (quindi tutti i files e le cartelle dell’area amministrazione).

Una volta creato e salvato il file robots.txt, basta inviarlo tramite ftp nella cartella principale del blog, e l’operazione è conclusa.