Um dos erros mais silenciosos e comuns de 2025-2026 é bloquear os bots das inteligências artificiais no robots.txt sem perceber.
O site continua ranqueando no Google, o SEO tradicional parece intacto, mas as IAs simplesmente não conseguem ler o conteúdo.
Resultado: invisibilidade completa nas respostas do ChatGPT, Gemini, Claude e Perplexity — mesmo com um site bem otimizado para buscadores clássicos.
Neste artigo você vai aprender a configurar o robots.txt de forma avançada: liberar os bots certos das IAs, proteger o que precisa ser protegido e fazer isso sem prejudicar o SEO tradicional.
O que o robots.txt realmente controla
O robots.txt é o arquivo que fica na raiz do site e orienta os crawlers sobre o que podem ou não acessar.
Ele não é uma trava de segurança. É uma orientação de boa conduta.
Quando um bot respeita o robots.txt (a grande maioria dos bots legítimos respeita), ele simplesmente não entra nas áreas marcadas com Disallow.
No contexto de visibilidade em IA, o robots.txt decide se os agentes conseguem ou não ler o conteúdo que você publicou. Se o bot está bloqueado, nenhuma outra otimização (Schema, llms.txt, MCP) consegue compensar completamente.
Por que tantos sites bloqueiam bots de IA sem saber
As causas mais frequentes são:
- Cópia de regras antigas de outros projetos
- Plugins de segurança ou de "proteção contra scrapers" que bloqueiam tudo por padrão
- Configurações herdadas de épocas em que se queria impedir coleta de dados
- Medo genérico de "IA roubar conteúdo"
- Falta de atualização depois que novos bots surgiram
Muitos sites bloqueiam GPTBot, ClaudeBot ou PerplexityBot sem que o responsável tenha tomado essa decisão conscientemente.
Os principais bots de IA que você precisa conhecer
- GPTBot (OpenAI): Treinamento e busca do ChatGPT. Recomendação: Liberar.
- OAI-SearchBot (OpenAI): Busca em tempo real do ChatGPT. Recomendação: Liberar.
- ClaudeBot (Anthropic): Claude e produtos relacionados. Recomendação: Liberar.
- PerplexityBot (Perplexity): Respostas com fonte do Perplexity. Recomendação: Liberar.
- Google-Extended (Google): Gemini e AI Overviews. Recomendação: Liberar.
- Googlebot (Google): SEO tradicional. Recomendação: Manter liberado (padrão).
- Bingbot (Microsoft): Bing e Copilot. Recomendação: Geralmente liberar.
Esses são os bots mais relevantes para visibilidade em IA em 2026. Bloquear qualquer um deles reduz significativamente a chance de ser lido e citado pelo agente correspondente.
Como liberar os bots de IA corretamente
A forma mais segura e clara é declarar explicitamente as permissões no robots.txt. Exemplo de estrutura recomendada:
User-agent: GPTBot<br>Allow: /<br><br>User-agent: OAI-SearchBot<br>Allow: /<br><br>User-agent: ClaudeBot<br>Allow: /<br><br>User-agent: PerplexityBot<br>Allow: /<br><br>User-agent: Google-Extended<br>Allow: /<br><br>User-agent: *<br>Disallow: /admin/<br>Disallow: /carrinho/<br>Disallow: /checkout/<br>Disallow: /minha-conta/
Essa abordagem:
- Libera explicitamente os bots de IA
- Mantém o bloqueio de áreas sensíveis (admin, carrinho, área logada)
- Não interfere no SEO tradicional (Googlebot continua com as regras gerais)
O que ainda deve ser bloqueado (e o que não)
Deve continuar bloqueado (na maioria dos casos):
- Áreas administrativas (/admin/, /wp-admin/)
- Carrinho e checkout
- Páginas de conta de usuário
- Resultados de busca interna
- Parâmetros de tracking desnecessários (quando fizer sentido)
Não deve ser bloqueado se o objetivo é visibilidade em IA:
- Páginas de produtos e serviços
- Home e páginas institucionais
- Blog e conteúdos de autoridade
- Páginas de categorias
Bloquear conteúdo público relevante é o erro mais custoso.
Exemplos práticos de configuração
Exemplo 1 – Site de serviços (recomendado):
User-agent: GPTBot<br>Allow: /<br><br>User-agent: OAI-SearchBot<br>Allow: /<br><br>User-agent: ClaudeBot<br>Allow: /<br><br>User-agent: PerplexityBot<br>Allow: /<br><br>User-agent: Google-Extended<br>Allow: /<br><br>User-agent: *<br>Disallow: /admin/<br>Disallow: /area-cliente/
Exemplo 2 – E-commerce:
User-agent: GPTBot<br>Allow: /<br><br>User-agent: OAI-SearchBot<br>Allow: /<br><br>User-agent: ClaudeBot<br>Allow: /<br><br>User-agent: PerplexityBot<br>Allow: /<br><br>User-agent: Google-Extended<br>Allow: /<br><br>User-agent: *<br>Disallow: /carrinho/<br>Disallow: /checkout/<br>Disallow: /minha-conta/<br>Disallow: /admin/
Sempre teste o arquivo depois de qualquer alteração (ferramentas do Google Search Console e testes manuais de acesso).
Erros comuns que ainda prejudicam a visibilidade
- Bloquear todos os bots por padrão: Invisibilidade nas IAs. Como corrigir: Declarar Allow explícito para bots de IA.
- Usar regras antigas copiadas: Bloqueio acidental de GPTBot/ClaudeBot etc. Como corrigir: Revisar e atualizar o arquivo.
- Bloquear conteúdo público relevante: IA não consegue ler o que interessa. Como corrigir: Liberar home, serviços, produtos e blog.
- Achar que robots.txt é segurança: Falsa sensação de proteção. Como corrigir: Entender que é apenas orientação.
- Não testar depois da alteração: Configuração incorreta passa despercebida. Como corrigir: Validar com ferramentas e testes manuais.
- Ignorar novos bots: Perder visibilidade em agentes emergentes. Como corrigir: Revisar periodicamente a lista de bots.
O próximo passo
Configurar o robots.txt corretamente é a camada zero da visibilidade em IA. Sem ela, Schema, llms.txt e MCP Server perdem grande parte da eficácia.
Antes de fazer alterações avançadas, vale medir o ponto de partida atual do seu site de forma objetiva.
O diagnóstico gratuito da Scrypta analisa em segundos:
- Rastreabilidade (incluindo status dos principais bots)
- Dados estruturados
- Presença e qualidade do llms.txt
- Legibilidade geral para agentes de IA
Leva cerca de 15 segundos e mostra exatamente se os bots das IAs estão conseguindo acessar o seu site — e o que mais está faltando.