Sommige ondernemers blokkeren AI-crawlers uit voorzichtigheid, zonder te beseffen dat diezelfde crawlers het ook mogelijk maken om genoemd te worden in een AI-antwoord. Blokkeren voelt als de veilige keuze, maar betekent in de praktijk onzichtbaar zijn op een steeds groter deel van hoe mensen bedrijven zoeken.
De meest voorkomende crawlers zijn GPTBot, ClaudeBot, PerplexityBot en Google-Extended. Een website die deze blokkeert in robots.txt sluit zichzelf uit van vermeldingen in ChatGPT, Claude, Perplexity en Google AI Overviews, ook als de rest van de website technisch prima in orde is.
Deze instelling staat vaker fout dan je zou denken, vaak zonder dat iemand het bewust zo heeft ingesteld: een standaardconfiguratie van een websitebouwer of beveiligingsplugin blokkeert soms alles wat geen mens is, AI-crawlers incluis. Check met de gratis scan of jouw robots.txt dit per ongeluk doet.