Googles Sitemap team intervjuad

Sebastian på Smart IT consultig har postat en intervju med Google Sitemap team.

Det mest matnyttiga är att Google hanterar en 404 HTTP status kod (sidan hittas inte, men kan återkomma) och en 410 HTTP status kod (sidan hittas inte, borta för gott) på samma sätt. Jag antar att dom hanterar en 404 som om det var en 410 om Googles spindlar råkar på en 404:a. Man kandå anta att dokumentet är birta för alltid. 

En god gissningslek kan vara hur många som använder felkoden inkorrekt, nog ett ansenligt antal.

Läs gärna artikeln, den är intressant och förklarar Googles intentioner med sin sitemap tjänst. Finns det fördelar eller nackdelar med Google sitemaps? Avgör själva, vi använder inte tjänsten ännu eftersom den fortfarande är i sitt “beta stadie”.

Trots mycket bra information på nätet har t om experter svårt att till 100% veta vad en robots.txt fil gör. Delar av problemen är att man oftast bara behöver göra det en gång. Får man det då rätt behöver man inte tänka på det igen. Ett annat problem kan vara att om det blir fel kan det få oerhörda konsekvenser för din hemsida. Detta innebär att dom flesta struntar i att använda en robots.txt fil. Dessutom, varje enskild sökmotor har olika optioner som dom supporterar. Exempelvis accepterar Google “wildcards” som t ex * och “Allow” option.

Googles robots.txt kontroll
Google har sin egna validering som ni kan köra på er robots.txt fil. Det fina med robots.txt valideringen från Google SiteMaps är att du där kan göra en test för att se hur Googlebot (Googles spindel som hämtar information från din hemsida) hanterar filen. Vill du leka med att stänga av spindling av dina bilder (jpg/gif etc), varsågod och testa. Vill du experimentera med VERSALER eller gemener? Svar: det spelar ingen roll vd du använder. Vill du kontrollera om specialtecken (som -) fungerar på Google?, testa dig fram. Svar: Google accepterar “UserAgent” eller User-Agent” men vill poängtera att User-Agent är det korrekta.

Det bästa är att du kan testa filen innan du placerar den live på din domän. Då utan att riskera någonting. Som exempel kan nämnas att Google accepterar “Allow” (tillåt) hänvinsning och även mer specifik hänvisning som överordnas mer generella direktiv. Tänk dig att du skulle vilja stänga av alla sökmotorers robotar utom Googles googlebot. Då skulle du kunna testa nedanstående:

User-Agent: *
Disallow: /

User-Agent: Googlebot
Allow: /

 Om du testar denna i Google Sitemeps Robots.txt validering ser det ut såhär:

robots.txt result

Jag gillar att man kan testa olika robots.txt filer och forska i hur Google och deras robot agerar utan att riskera någonting. På detta sättet se hur Googles RIKTIGA robot svarar mot dom olika variationerna man kan tänka sig.

Här hittar ni lite mer fakta på svenska om en robots.txt fil.

Hans Sandblom
Forskning och utveckling
SEO
031-517170

Om du gillade det här inlägget, lämna gärna en kommentar eller prenumerera via RSS så du inte missar framtida inlägg.

Trackbacks

  1. […] Nu gör Google, MSN och Yahoo ett samarbete där Googles sitemap sätter standarden för hur en sitemap skall se ut och tolkas av sökmotorerna. Hela tekniken baseras på XML data och kan liknas med ett RSS flöde som alla bloggar använder för att presentera sin information. […]

Speak Your Mind

*