Vi har alle vært der: En side dukker opp i Google som ikke burde vært der – eller enda verre, en side du vil ha indeksert er forsvunnet som et spøkelse. Vi forklarer litt om X-Robots og noindex.
Skyldige? Noindex og X-Robots-Tag. To kraftige SEO-verktøy som, brukt riktig, kan rydde opp i søkemotorindeksen din. Brukt feil? Vel… si farvel til synligheten din.
Hva er noindex?
noindex er en direktiv du gir til søkemotorer for å si: “Ikke inkluder denne siden i indeksen.” Det betyr at den ikke vises i søkeresultatene, selv om den er tilgjengelig på nett og kan crawles.
Du kan bruke noindex på to måter:
- Som et HTML-meta-tag
Plasseres i<head>-delen av HTML-dokumentet:
<meta name="robots" content="noindex, follow">
Dette sier: Ikke indekser siden, men følg lenkene videre.
- Som HTTP-header (X-Robots-Tag)
Brukes gjerne når du ikke har HTML-tilgang (f.eks. på PDF-filer eller bildefiler):
X-Robots-Tag: noindex, nofollow
Dette sendes som en HTTP-responsheader, altså noe serveren sier til søkemotoren før filen i det hele tatt lastes.
Forskjellen på noindex og X-Robots-Tag
meta name="robots" |
X-Robots-Tag |
|
|---|---|---|
| Bruksområde | HTML-sider | Alle filtyper (HTML, PDF, DOC, bilder…) |
| Plassering | I HTML-head | Som HTTP-header |
| Fleksibilitet | Kun på innhold du har HTML-kontroll over | Fungerer overalt hvor du kan sette headers |
| Typisk bruk | Blogginnlegg, sider, produkter | PDF-er, bilder, nedlastbare filer |
Når bør du bruke noindex?
- Tagsider eller arkivsider du ikke ønsker i Google
- Takkesider etter skjema («/takk-for-bestilling»)
- Duplisert innhold du ikke vil ha indeksert
- Ferdiginnhold som skal være tilgjengelig, men ikke offentlig synlig
Når bør du bruke X-Robots-Tag?
- PDF-filer som ikke skal indekseres
- Dokumenter eller filer som er tilgjengelige via lenke, men som ikke skal i Google
- Gamle URL-er som videresendes, men fortsatt kan nås av crawlere
- Massestyring via .htaccess eller serverskript
Hvordan bruker man X-Robots-Tag i praksis?
Hvis du bruker Apache-server, kan du legge dette i .htaccess-filen:
<FilesMatch "\.(pdf|doc|jpg)$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>
Dette vil si til søkemotorer: “Ikke indekser PDF-er, DOC-er eller bilder.”
I PHP kan du gjøre det slik:
<?php
header('X-Robots-Tag: noindex, nofollow', true);
?>
I Node.js med Express:
res.set('X-Robots-Tag', 'noindex, nofollow');
Typiske feil (og hvordan du unngår dem)
- Kombinasjon med robots.txt: Hvis du har blokkert siden i
robots.txt, kommer søkemotoren ikke til å senoindexi det hele tatt. Da fungerer den ikke. - Glemmer å fjerne noindex når innholdet skal publiseres: Vanlig feil! Mange lanserer nye sider med
noindexfortsatt aktiv. - Setter noindex globalt via plugin: Vær forsiktig med malbaserte regler i CMS-er. Ett feilklikk i Yoast eller Rank Math og hele bloggen er ute av indeksen.
Hvordan sjekker du om en side er blokkert med noindex?
Bruk URL Inspection Tool i Google Search Console.
Alternativt: Åpne utviklerverktøy i nettleseren (F12), gå til «Network», last inn siden og se etter X-Robots-Tag i respons-headerne.
Oppsummering
noindex og X-Robots-Tag er fantastiske verktøy for å styre synlighet i søkemotorer – men bare hvis du vet hva du driver med.
Bruk noindex: Når du har kontroll over HTML.
Bruk X-Robots-Tag: Når du vil ekskludere andre filtyper eller styre indeksering via server.
Og husk:
Blokker aldri noe i robots.txt hvis du vil bruke noindex på det – for da vil søkemotorene aldri se noindex-taggen i det hele tatt.
Bruk dette riktig, og du har kontroll. Bruk det feil – og du roper ut i SEO-tomrommet uten at noen hører deg.
Image by Tumisu from Pixabay