Robots.txt

En robots.txt fil är inget annat än en simpel textfil som görs i t.ex wordpad. Filen innehåller instruktioner om hur sökmotorernas robotar skall agera när dom kommer till er hemsida. Man kan sätta olika parametrar som t ex “allow” eller “disallow” som tillåter eller förbjuder sökmotorerna att indexera vissa delar av er hemsida.

  • Stäng av eller tillåt t.ex admin katalog
  • Stäng av eller tillåt t.ex bilder i gif format
  • Stäng av eller tillåt t.ex bilder i jpg format
  • Stäng av eller tillåt t.ex forum

Exempel på hur en robots.txt fil kan se ut:

Denna hindrar alla robotar att indexera sidan:

User-Agent: *
Disallow: /

Denna stänger av samtliga robotar förutom Google:

User-Agent: Googlebot
Allow: /

Denna stänger av jpg, gif bilder samt admin katalogen för samtliga robotar:

User-Agent: *
Disallow: .jpg
Disallow: .gif
Disallow: /admin/

Denna stänger av sökmotorrn Roverdog från katalogen /bilder/, en speciell sida, speciell_sida.html och katalogen /admin/. Stänger av Altavistas robot “Scooter” helt men tillåter Google helt:

User-Agent: Roverdog
Disallow: /bilder/
Disallow: speciell_sida.html
Disallow: /admin/
User-Agent: Scooter
Disallow: *
User-Agent: Googlebot
Allow: /

Ovastående är exempel på vad som kan göras.

Filen robots.txt skall placeras i roten av er domän, inte i en eller flera kataloger utan på samma ställe som er startsida.