No começo de outubro de 2026, revisando os sites que eu hospedo, achei um caso que resume o problema. O robots.txt liberava explicitamente o GPTBot e o ClaudeBot. Nos logs, os dois tinham sumido havia semanas. Testando com o user-agent deles, a resposta não vinha do meu nginx: era um 403 de 25 bytes, devolvido pelo Cloudflare na borda, antes de a requisição chegar ao servidor.
O robots.txt é um pedido. Quem decide se o robô entra é a primeira camada que responde, e hoje essa camada muitas vezes é o Cloudflare, que desde julho de 2025 bloqueia robôs de IA por padrão em domínios novos e tem regras de bot que nem olham o robots.txt. Otimizar para IA começa por conferir isso, porque nenhuma marcação de schema adianta se o robô não consegue ler a página.
A parte de conteúdo (o que escrever e para quem) importa tanto quanto a técnica. Só que texto bom atrás de porta fechada não é citado por ninguém, então é pela porta que eu começo.
| User-agent | De quem | Para que serve | O que eu recomendo para loja |
|---|---|---|---|
| GPTBot | OpenAI | Coletar conteúdo para treinar modelos | Decisão sua. Bloquear não tira a loja da busca do ChatGPT |
| OAI-SearchBot | OpenAI | Indexar páginas para a busca do ChatGPT | Liberar |
| ChatGPT-User | OpenAI | Abrir a página quando um usuário pede no chat | Liberar |
| ClaudeBot, Claude-SearchBot e Claude-User | Anthropic | Treino, busca e acesso a pedido do usuário | Treino: decisão sua. Busca e usuário: liberar |
| PerplexityBot e Perplexity-User | Perplexity | Índice da busca e acesso a pedido do usuário | Liberar |
| Google-Extended | Não é um robô: é o token do robots.txt que controla o uso do conteúdo no Gemini | Decisão sua. Não afeta o Googlebot nem a busca do Google | |
| Applebot-Extended | Apple | Token que controla o uso do conteúdo nos modelos da Apple | Decisão sua |
Primeiro no log do servidor. Este comando conta os acessos de cada robô de IA no access.log do nginx:
grep -oE 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User' \
/var/log/nginx/access.log | sort | uniq -c | sort -rn Os acessos de ChatGPT-User e Perplexity-User são os mais interessantes: indicam uma pessoa, no meio de uma conversa, pedindo para o assistente abrir a sua página. Os de OAI-SearchBot, Claude-SearchBot e PerplexityBot mostram a loja sendo indexada para as buscas dessas IAs.
Depois no GA4. Quem clica num link dentro de uma resposta chega como referência de chatgpt.com, perplexity.ai, gemini.google.com ou copilot.microsoft.com, e o ChatGPT costuma marcar o link com utm_source=chatgpt.com. Eu crio um grupo de canais personalizado chamado IA, com uma regex nesses domínios, e a evolução mês a mês fica num relatório só.
Uma ressalva: o log só mostra o que passou pela borda. O que o Cloudflare barrou não deixa linha no nginx e aparece apenas no painel de eventos de segurança dele.
A parte de conteúdo e de SEO técnico tradicional eu trato junto, na página de SEO para Magento e WordPress. Se o projeto pede produção de conteúdo contínua, com equipe, a Agência Buzz faz esse trabalho.
É o trabalho de deixar um site legível e citável pelos assistentes de IA, como ChatGPT, Gemini, Claude e Perplexity. Na parte técnica envolve liberar os robôs de busca dessas IAs, entregar o conteúdo no HTML sem depender de JavaScript e marcar produtos e perguntas com dados estruturados.
Não necessariamente. O GPTBot coleta conteúdo para treino. A busca do ChatGPT usa outro robô, o OAI-SearchBot, e o acesso feito a pedido do usuário usa o ChatGPT-User. Dá para bloquear o treino e continuar liberando a busca.
O bloqueio pode estar antes do servidor. O Cloudflare bloqueia robôs de IA por padrão em domínios novos desde julho de 2025 e tem regras de bot que não consultam o robots.txt. Nesse caso a requisição nem chega ao nginx, e quem mostra o bloqueio é o painel de eventos de segurança do Cloudflare.
Não é obrigatório. O llms.txt é uma proposta de 2024, não um padrão, e nenhum grande buscador confirmou que usa. Eu recomendo porque custa pouco e organiza as páginas importantes do site num arquivo que qualquer modelo lê sem dificuldade.
Não. O Google afirma que AI Overviews e AI Mode não exigem otimização especial além do básico de SEO: página indexável e elegível a aparecer em snippet. A maior parte do trabalho de GEO é SEO técnico bem feito, com atenção extra aos robôs das outras IAs.
No GA4, pelo domínio de origem: chatgpt.com, perplexity.ai, gemini.google.com e copilot.microsoft.com aparecem como referência. Eu crio um grupo de canais próprio para IA com esses domínios e, no log do nginx, conto os acessos de ChatGPT-User e Perplexity-User, que indicam uma pessoa pedindo para o assistente abrir a página.