Stella inattivaStella inattivaStella inattivaStella inattivaStella inattiva
 

Dopo aver creato un sito e prima di averlo pubblicato bisognerebbe creare sembre un file robots.txt da mettere nella root del proprio sito.

La maggior parte dei motori di ricerca quando visitano il vostro sito con i loro search engine spiders per indicizzarlo, prima di iniziare, cercano il file /robots.txt nel quale noi possiamo inserire le linee guida che indicando cosa è visibile e cosa vogliamo tenere riservato.

Il file robots.txt è l'opposto del sitemap, quest'ultimo nato per aiutare i BOTS a trovare meglio tutte le nostre pagine.

Il file robots.txt come indicato dalla sua estensione, è un semplice  file di testo, per crearlo possiamo utilizzare un comunissimo editor come notepad oppure il mio preferito ossia notepad++.
La prima cosa che va specificata a quale web crawler / spider /robot si applica il testo che andremo a scrivere : "User-agent:*"  dove l'asterisco indica per tutti i web crawler / spider e robot.

 

A qualsiasi web crawler, spider, robots neghiamo tutto

User-agent: *
Disallow: /
A qualsiasi web crawler, spider, robots neghiamo le cartelle specificate in Disallow e consentiamo tutto in quanto in Allow abbiamo specificato la root.
User-agent: *
Disallow: /private
Disallow: /testpages
Allow: /

Salvate il vostro robots.txt e caricatelo nella root del vostro sito.

 

Se avete già il vostro sitemap.xml potete specificarlo nel file robots.txt.
Basta aggiungere la seguente riga

Sitemap: http://www.example.com/sitemap.xml

 

 

Per ulteriori dettagli vi invito a leggere gli approfondimenti disponibili in rete. Se avete un account google, potete andare negli strumenti del webmaster dove troverete una pagina che vi consente di creare un robots.txt in maniera guidata.

REFERENCES


DISQUS - Leave your comments here