CM SystemsDET KORTE SVAR
robots.txt angiver crawlerregler, mens noindex instruerer relevante søgemaskiner om ikke at indeksere indhold. Reglerne har forskellige formål og kræver korrekt anvendelse. De er ikke adgangskontrol for private oplysninger. Undersøg altid den konkrete tjenestes dokumentation, især når søgning og træning skal behandles forskelligt.
Start med beslutningen om den enkelte side
Inden du redigerer en fil, skal du afgøre, hvad siden er til. En offentlig produktside skal normalt kunne læses af potentielle kunder. En kundeportal kan indeholde oplysninger, som kun bestemte personer må se. De to situationer kræver forskellige løsninger, selvom de ligger på samme domæne.
Lav tre kategorier: offentligt og ønsket i søgning, offentligt men ikke ønsket i søgning, samt privat. Det giver den tekniske ansvarlige et klart grundlag. Et ønske om ikke at stå i Google er ikke det samme som et krav om fortrolighed. Hvis nogen må læse siden ved at kende adressen, er den stadig offentligt tilgængelig.
Forstå hvad robots.txt kan og ikke kan
robots.txt ligger normalt ved domænets rod og beskriver adgangsregler for crawlere, der følger dem. En blokering kan forhindre en crawler i at hente en side. Det betyder ikke, at adressen nødvendigvis forsvinder fra søgning, hvis søgemaskinen kender den fra andre steder.
Brug derfor ikke robots.txt som en måde at beskytte kundedata på. Filen kan læses offentligt og er ikke en lås. Private oplysninger kræver eksempelvis korrekt login og autorisation. Når I ændrer en regel, skal I også undersøge dens omfang. En bred regel kan ved en fejl ramme hele artikelområdet eller vigtige ressourcer, der bruges til at vise siden.
Forstå adgang og indeksering
Vælg en situation i modellen, og læs forklaringen på adgang og visning. Modellen viser principper i et forenklet eksempel; den simulerer ikke Googles aktuelle indeks. Brug den til at stille præcise spørgsmål før en ændring. Hvis en side skal være privat, er den relevante beslutning adgangskontrol. Hvis en offentlig side ikke skal vises i søgning, skal crawlerens mulighed for at opdage den relevante regel undersøges.
Før du ændrer flere regler eller formater, kan du samle undersøgelsen med kontrol af offentlige sider.
Forstå hvordan noindex skal opdages
noindex kan angives i sidens meta-oplysninger eller i et relevant HTTP-headerfelt. Google skal kunne opdage reglen for at bruge den. Hvis en side samtidig er blokeret for crawling, kan en ny noindex-regel derfor være vanskelig at læse. Det er et vigtigt punkt, når en offentlig side skal fjernes fra indeks.
Kontrollér den faktiske URL og serverens svar frem for kun at se på en indstilling i et CMS. En skabelon kan lægge noindex på flere sider end forventet. En anden regel kan komme fra hostinglaget. Dokumentér hvor reglen findes, hvem der ejer den, og hvilken sidegruppe den skal gælde for.
Behandl søgning og træning som separate formål
En AI-tjeneste kan have forskellige botnavne til forskellige opgaver. OpenAI skelner blandt andet mellem OAI-SearchBot og GPTBot. Google beskriver også en forskel mellem Search-kontrol og Google-Extended. Det gør det nødvendigt at læse reglernes konkrete betydning frem for blot at blokere alt med AI i navnet.
Aftal virksomhedens ønskede politik først. Vil I kunne findes med offentlige produktbeskrivelser? Hvilke former for anden anvendelse ønsker I at begrænse? Lad derefter en teknisk ansvarlig omsætte beslutningen til relevante regler og kontrollere virkningen. Undgå at tilføje en lang liste af botnavne fra en tilfældig blog uden at vide, hvad hver regel gør.
Lav en afgrænset ændring og et kontrolspor
Værktøjet på siden viser principielle situationer, så du kan forklare forskellen til en kollega. Det er en læringsmodel og kontrollerer ikke din server. Når en reel ændring skal laves, bør der være en liste over forventede URL'er og regler, som kan testes før og efter.
Kontrollér både en side, der skal være tilgængelig, og en side, der skal være beskyttet. Gem resultatet uden at kopiere følsomme oplysninger ind i arbejdsarket. Følg derefter den offentlige side i Search Console, når det er relevant. Teknikken er først korrekt, når den understøtter den aftalte beslutning, og I kan forklare, hvilke kontroller der dokumenterer det.
Korte spørgsmål og svar
Kan robots.txt skjule fortrolige dokumenter?
Nej. Brug faktisk adgangskontrol. En crawlerregel er ikke en sikkerhedsgrænse for mennesker eller tjenester, der ikke følger reglen.
Skal jeg bare fjerne alle noindex-regler?
Nej. Nogle er tilsigtede. Undersøg formålet for den konkrete URL og ret kun regler, der strider mod den aftalte adgang.
Kilder og metode
Udarbejdet med AI-assistance af CM Systems. Kildereferencer kontrolleret 8. oktober 2026. Eksempler og værktøjer er illustrative arbejdsmodeller; de dokumenterer ikke resultater for en bestemt virksomhed.