Dopo aver creato un sito e prima di averlo pubblicato bisognerebbe creare sembre un file robots.txt da mettere nella root del proprio sito.
La maggior parte dei motori di ricerca quando visitano il vostro sito con i loro search engine spiders per indicizzarlo, prima di iniziare, cercano il file /robots.txt nel quale noi possiamo inserire le linee guida che indicando cosa è visibile e cosa vogliamo tenere riservato.
Il file robots.txt è l'opposto del sitemap, quest'ultimo nato per aiutare i BOTS a trovare meglio tutte le nostre pagine.
A qualsiasi web crawler, spider, robots neghiamo tutto
Disallow: /
Disallow: /private
Disallow: /testpages
Allow: /
Salvate il vostro robots.txt e caricatelo nella root del vostro sito.
Se avete già il vostro sitemap.xml potete specificarlo nel file robots.txt.
Basta aggiungere la seguente riga
Sitemap: http://www.example.com/sitemap.xml
Per ulteriori dettagli vi invito a leggere gli approfondimenti disponibili in rete. Se avete un account google, potete andare negli strumenti del webmaster dove troverete una pagina che vi consente di creare un robots.txt in maniera guidata.
