Um dos erros mais silenciosos e mais comuns de 2025 e 2026.
A empresa investe em site, conteúdo, SEO, até em dados estruturados. Mas na hora em que os agentes de IA tentam acessar as páginas, encontram a porta fechada.
O culpado? Muitas vezes, o arquivo robots.txt.
Neste artigo você vai entender o que é o robots.txt, quais bots das IAs existem hoje, como verificar se você está bloqueando o ChatGPT e outras inteligências sem perceber, e o que fazer para corrigir.
O que é o robots.txt e por que ele importa
O robots.txt é um arquivo de texto colocado na raiz do site (exemplo: seusite.com.br/robots.txt). Ele funciona como uma instrução para os robôs de busca e crawlers: diz o que pode e o que não pode ser acessado.
É uma das primeiras coisas que um crawler bem comportado consulta antes de percorrer o site.
Quando o arquivo bloqueia de forma ampla os bots das principais IAs, o efeito é simples e brutal: a empresa fica invisível para esses agentes, independentemente da qualidade do conteúdo, do SEO ou dos dados estruturados.
Sem rastreabilidade, as outras camadas quase não funcionam.
Quais bots das IAs existem hoje
Os principais bots que as empresas precisam conhecer atualmente são:
- GPTBot e OAI-SearchBot → OpenAI / ChatGPT
- ClaudeBot → Anthropic / Claude
- PerplexityBot → Perplexity
- Google-Extended → relacionado ao Gemini e a recursos de IA do Google
- Outros bots emergentes de agentes e ferramentas de busca com IA
Além desses, continuam existindo os crawlers tradicionais (Googlebot, Bingbot etc.). A diferença é que, a partir de 2024-2025, os bots específicos de IAs generativas passaram a ter impacto direto na capacidade de a empresa ser citada em respostas.
Muitos sites bloqueiam esses bots por configuração antiga, plugins de segurança, temas ou cópias de regras de outros projetos — muitas vezes sem que o responsável perceba.
Como verificar se você está bloqueando
O processo é simples:
- Acesse seusite.com.br/robots.txt
- Procure por regras de Disallow amplas
- Verifique se existem diretivas específicas para GPTBot, ClaudeBot, PerplexityBot, Google-Extended ou User-agent: *
Exemplos de bloqueios problemáticos:
``` User-agent: GPTBot Disallow: /
User-agent: * Disallow: / ```
Ou regras que, na prática, impedem o acesso às páginas importantes.
Se o arquivo estiver bloqueando esses bots de forma ampla, a correção deve ser prioritária.
Como liberar os bots corretamente
A forma mais segura e recomendada é permitir o acesso dos bots das IAs às páginas públicas importantes, mantendo bloqueios apenas onde realmente faz sentido (áreas administrativas, páginas privadas, etc.).
Exemplo de abordagem mais aberta e controlada:
``` User-agent: GPTBot Allow: /
User-agent: ClaudeBot Allow: /
User-agent: PerplexityBot Allow: /
User-agent: Google-Extended Allow: / ```
Ou, dependendo da estratégia, trabalhar com regras mais granulares por User-agent.
O importante é não manter um Disallow: / amplo para esses bots se o objetivo é ser encontrado e citado.
Cuidados importantes ao liberar
Liberar não significa abrir tudo indiscriminadamente.
Pontos de atenção:
- Continue protegendo áreas privadas, painéis administrativos e conteúdo sensível
- Entenda a diferença entre permitir rastreamento para busca/resposta e permitir uso para treinamento (algumas empresas tratam isso de formas diferentes)
- Monitore o impacto após a mudança
- Não confie apenas em plugins que prometem "otimização automática" de robots.txt sem revisar o resultado final
A decisão de liberar deve ser consciente e alinhada com a estratégia da empresa.
O que fazer depois de liberar
Depois de ajustar o robots.txt:
- Salve e publique o arquivo
- Teste o acesso novamente
- Use ferramentas de inspeção e os próprios testes manuais com as IAs
- Aguarde algum tempo e repita os testes de citação (ChatGPT, Gemini, Claude, Perplexity)
- Combine a liberação com as outras camadas (clareza, Schema, llms.txt, MCP)
Só liberar os bots resolve a rastreabilidade. Não resolve sozinho clareza de entidade, autoridade ou dados vivos. Mas sem essa liberação, as outras ações perdem força.
Relação com as outras camadas de visibilidade
O robots.txt é a camada mais básica da pirâmide de visibilidade para IAs:
- Rastreabilidade (robots.txt) ← você está aqui
- Clareza de entidade
- Autoridade e menções externas
- Dados estruturados (Schema + llms.txt)
- Dados vivos (MCP Server)
Se a primeira camada está quebrada, o restante do trabalho fica seriamente comprometido. Por isso ela deve ser verificada antes de investimentos maiores.
O próximo passo
Verificar o robots.txt é uma ação rápida e de alto impacto. Mas ela é só o começo.
O diagnóstico gratuito da Scrypta analisa:
- Rastreabilidade (incluindo sinais de bloqueio)
- Dados estruturados
- Presença de llms.txt
- Legibilidade geral para agentes de IA
Leva cerca de 15 segundos e mostra o estado atual do site de forma objetiva.