Vet du vilket innehåll du har blockerat?

google-wmt-blockerade-resurser2

Google gör det enklare att lokalisera blockerat sajtinnehåll.

Vi har tidigare skrivit om hur blockeringsivern kan få påföljder. Det vill säga att man medvetet eller omedvetet stänger ute sökmotorerna från vissa delar av sajten. [Read more…]

Så här fungerar robots.txt

robots.txt
När det kommer till sökmotoroptimering finns det en väldigt viktig fil som man bör ha koll på när det gäller sin domän, nämligen robots.txt. Ett litet fel i denna fil kan göra att din sajt faktiskt inte indexeras alls av sökmotorerna Det är helt klart viktigt att se över den och säkerställa att den fungerar som det är tänkt.

De flesta vet inte ens om att den finns och i vissa fall är det faktiskt så att den inte finns överhuvud taget.

Lyckligtvis är det väldigt enkelt att titta på sin robots.txt eftersom den alltid går att hitta på samma ställe oavsett domän, nämligen:

www.dindomän.se/robots.txt

När jag håller SEO Workshops för kunder brukar jag alltid säga att jag ser robots.txt som en trafikpolis som talar om för sökmotorernas spindlar vilka delar på sajten de får besöka och vilka delar vi inte vill att de besöker. Varför skulle vi inte vilja att sökmotorerna indexerar vissa delar av en sajt?

Ett par exempel kan vara:

  • En underkatalog som kräver att man loggar in, exempelvis /kundzon eller /varukorg
  • En katalog som innehåller dina templatefiler, exempelvis /templates
  • Om ditt CMS genererar duplicerade sidor och du vill att dessa ska ignoreras
  • För att tala om vart de kan hitta din sitemap.xml avsedd för just sökmotorer

[Read more…]

Robots.txt

En robots.txt fil är inget annat än en simpel textfil som görs i t.ex wordpad. Filen innehåller instruktioner om hur sökmotorernas robotar skall agera när dom kommer till er hemsida. Man kan sätta olika parametrar som t ex “allow” eller “disallow” som tillåter eller förbjuder sökmotorerna att indexera vissa delar av er hemsida.

  • Stäng av eller tillåt t.ex admin katalog
  • Stäng av eller tillåt t.ex bilder i gif format
  • Stäng av eller tillåt t.ex bilder i jpg format
  • Stäng av eller tillåt t.ex forum

Exempel på hur en robots.txt fil kan se ut:

Denna hindrar alla robotar att indexera sidan:

User-Agent: *
Disallow: /

Denna stänger av samtliga robotar förutom Google:

User-Agent: Googlebot
Allow: /

Denna stänger av jpg, gif bilder samt admin katalogen för samtliga robotar:

User-Agent: *
Disallow: .jpg
Disallow: .gif
Disallow: /admin/

Denna stänger av sökmotorrn Roverdog från katalogen /bilder/, en speciell sida, speciell_sida.html och katalogen /admin/. Stänger av Altavistas robot “Scooter” helt men tillåter Google helt:

User-Agent: Roverdog
Disallow: /bilder/
Disallow: speciell_sida.html
Disallow: /admin/
User-Agent: Scooter
Disallow: *
User-Agent: Googlebot
Allow: /

Ovastående är exempel på vad som kan göras.

Filen robots.txt skall placeras i roten av er domän, inte i en eller flera kataloger utan på samma ställe som er startsida.