robots.txt – den lille filen som kan ødelegge hele SEO-strategien din (eller redde den)

Se for deg dette: Du har brukt titalls timer (og kanskje en del tusenlapper) på å lage den perfekte nettsiden. Innholdet er knallbra, designet skinner – men du får null trafikk fra Google.

Hvorfor?

robots.txt forklart, gratis SEO artikkel fra Gseo.no

User-agent: *
Disallow: /

Velkommen til robots.txt, SEO-verdenens viktigste lille tekstfil – og noen ganger dens største sabotør.

Hva er robots.txt?

robots.txt er en liten tekstfil som ligger i roten av domenet ditt – typisk på www.dittdomene.no/robots.txt. Den er ikke sexy. Den har ingen farger, ingen bilder, ingen interaksjoner. Men den snakker direkte til søkemotorenes roboter – og sier: “Dette får du lov til. Dette får du ikke lov til.”

Google, Bing og andre søkemotorer sender ut roboter (crawlere) som leser denne filen først, før de i det hele tatt begynner å se på innholdet ditt.

Hvorfor eksisterer robots.txt?

Godt spørsmål. Det korte svaret: Fordi ikke alt på nettet er ment for offentligheten.

Eksempler:

  • Admin-sider og innloggingssider
  • Midlertidige testmiljøer
  • Duplikatinnhold
  • Systemmapper eller scripts som ikke bør indekseres

robots.txt gir deg en enkel måte å si: “Hei, søkemotor – hold deg unna denne delen av nettstedet mitt.”

Hva skjer hvis du ikke har en robots.txt?

Da skjer i utgangspunktet… ingenting. Søkemotorene antar at alt er åpent for indeksering, og krabber gladelig gjennom hele nettstedet ditt.

Men det betyr også:

  • Du har ingen kontroll.
  • Du bruker kanskje crawl-budget på uviktige sider.
  • Du blokkerer ikke sensitive deler du burde beskytte (i SEO-forstand, ikke sikkerhetsmessig – robots.txt er ikke en sikkerhetsmekanisme).

Så selv om den er valgfri, anbefaler vi sterkt å ha en – om ikke annet enn for å signalisere at du har kontroll.

Eksempel på en sunn robots.txt

User-agent: *
Disallow: /admin/
Disallow: /wp-login.php
Allow: /
Sitemap: https://www.dittdomene.no/sitemap.xml

Forklaring:

  • User-agent: * – gjelder for alle roboter.
  • Disallow: /admin/ – roboter skal ikke besøke /admin/.
  • Allow: / – men de får gjerne krabbe resten.
  • Sitemap: – hjelper roboter med å finne innhold raskt.

Eksempel på en uheldig robots.txt (og ja, vi har sett dette live)

User-agent: *
Disallow: /

Dette sier: «Hei Google. Ikke krabb noen ting på nettstedet mitt. Ingenting. Nada.»

Med andre ord: du har selv bedt søkemotorene om å ignorere deg. Ikke rart du ikke får besøk.

Hva du ikke bør bruke robots.txt til

  1. Å skjule sensitivt innhold. robots.txt er offentlig. Hvis du blokkerer /hemmelig-prosjekt/, kan alle se at det finnes noe der – og så besøker de det direkte.
  2. Å hindre indeksering av sider. Blokkering via robots.txt hindrer crawling – men ikke nødvendigvis indeksering. Hvis noen lenker til siden din, kan Google likevel indeksere den – uten å ha sett innholdet.
    Løsningen? Bruk noindex i <meta>-taggen eller HTTP-header i stedet.

Hvordan sjekker du om du har en robots.txt?

Bare gå til:
www.dittdomene.no/robots.txt

Finnes den ikke? Da er det på tide å lage en.

Hvordan lager du en robots.txt?

  1. Åpne en teksteditor (f.eks. Notepad eller VS Code).
  2. Skriv reglene dine.
  3. Lagre filen som robots.txt.
  4. Last den opp i rotmappen på serveren din (f.eks. via FTP, eller via kontrollpanelet i WordPress).

For WordPress-brukere med SEO-plugins (som Yoast eller Rank Math), kan du ofte redigere robots.txt direkte i pluginens innstillinger.

Bonus: robots.txt og Google Search Console

I Google Search Console kan du:

  • Se om Googlebot støter på blokkeringer.
  • Teste robots.txt-filen din.
  • Få varsler hvis det er feil.

Dette er gull verdt – spesielt hvis du ikke er helt sikker på hvordan filen din fungerer.

Skal du være streng eller liberal?

Det kommer an på situasjonen. Her er to eksempler:

Streng robots.txt (f.eks. under utvikling):

User-agent: *
Disallow: /

Åpen robots.txt (f.eks. ferdig nettside):

User-agent: *
Disallow:
Sitemap: https://www.dittdomene.no/sitemap.xml

Poenget er å vite hva du gjør – og hvorfor.

Oppsummering: Den lille filen med den store makten

En god robots.txt:

  • Hindrer at søkemotorer kaster bort tid på uviktige sider.
  • Gir deg bedre kontroll over indeksering og crawl-budget.
  • Sender et signal om profesjonalitet.

En dårlig robots.txt:

  • Blokkerer kanskje hele nettstedet ditt.
  • Kan føre til total usynlighet i søkemotorene.
  • Gir deg hodepine – og lav trafikk.

Så ta deg tid. Sjekk robots.txt. Og husk: selv om det bare er en tekstfil på noen linjer, har den makt til å gjøre eller ødelegge SEO-strategien din.

Se alle våre gratis guider!

Image by Tumisu from Pixabay