Il file robots.txt non è altro che un file che permette di dare dei comandi ai robots che indicizzano un sito. In genere viene usato per indicare delle restrizione, utili soprattutto per garantire una certa sicurezza al sito, in quanto si può indicare di non indicizzare alcune cartelle: nel caso di wordpress le cartelle dell’area admin.
Creare un file robots.txt è molto semplice e basta aprire un file txt ed inserire dei valori.
Il file robots.txt che ho creato io, contiene queste due stringhe:

User-Agent : *
Disallow: /wp-

“User-Agent : *” indica al robot di tutti i motori di ricerca di seguire le istruzioni specificate successivamente nel file.
“Disallow: /wp-” indica al robot di escludere dall’indicizzazione, tutti i files e le cartelle che cominciano per “wp-” (quindi tutti i files e le cartelle dell’area amministrazione).

Una volta creato e salvato il file robots.txt, basta inviarlo tramite ftp nella cartella principale del blog, e l’operazione è conclusa.

Una nota molto positiva che ho potuto facilmente di Wordpress è l’incredibile velocità di indicizzazione dei contenuti. Questo blog era presenta in google già 2 giorni dopo la sua messa online. Ora quasi tutte le pagine sono indicizzate e presente nei vari motori di ricerca. Prima fra tutti Google.
Ho comunque usato due plugin utili in questo senso, che andrò a recensire in seguito.