Robots.txt: o que é e como criar no seu site
Entenda como o robots.txt orienta os rastreadores, por que ele não esconde páginas nem protege dados e como criar, publicar e testar o arquivo no seu site.
Por Redação Eleven Host · @robson.direitodigital · 18 de novembro de 2026 · 9 min de leitura

Capa da Redação Eleven Host para o guia: Robots.txt: o que é e como criar no seu site Arte: Eleven Host
O robots.txt é um arquivo de texto, na raiz do site, que diz aos rastreadores dos buscadores quais endereços eles podem acessar. Ele organiza o rastreamento, mas não tira páginas do Google nem protege dados.
Uma URL bloqueada no robots.txt ainda pode aparecer no Google se outros sites linkarem para ela. Para deixar uma página fora dos resultados, o Google indica a regra noindex, proteção por senha ou a remoção da página.
O que é o robots.txt e onde ele fica
A documentação do Google Search Central descreve o robots.txt como o arquivo que informa aos rastreadores quais URLs do site eles podem acessar. O uso principal, segundo o Google, é controlar o tráfego desses robôs, para que o site não fique sobrecarregado de pedidos.
A RFC 9309, de setembro de 2022, padroniza o chamado Robots Exclusion Protocol, o método dos arquivos robots.txt.
O lugar do arquivo é fixo. O nome precisa ser robots.txt, e ele fica na raiz do host a que se aplica, como em https://www.example.com/robots.txt. Segundo o Google, o arquivo não pode ficar numa subpasta, e um site só pode ter um.
As regras valem apenas para o protocolo, o host e a porta onde o arquivo está publicado. A documentação dá um exemplo: o arquivo em https://example.com/robots.txt não vale para https://m.example.com/ nem para http://example.com/. Subdomínios e portas fora do padrão podem ter o próprio robots.txt. Para entender como domínio e subdomínio se organizam, veja o guia completo de registro de domínio.
Para ter endereço próprio, a Eleven Host faz registro de domínio em centenas de extensões. Buscar domínio
Para que serve e para que não serve
O Google separa o uso do robots.txt pelo tipo de arquivo:
- Páginas (HTML, PDF e outros formatos que o Google lê): o arquivo ajuda a controlar o rastreamento e a evitar páginas sem importância ou muito parecidas entre si. Uma página bloqueada pode continuar nos resultados, só que sem descrição.
- Arquivos de mídia (imagem, vídeo e áudio): o arquivo controla o rastreamento e pode evitar que esses arquivos apareçam na busca, mas não impede que outras páginas ou pessoas linkem para eles.
- Arquivos de recurso (scripts, estilos e imagens usadas pela página): dá para bloquear os que não fazem falta, se a página funciona sem eles.
Agora, o que ele não faz. O Google é direto: o robots.txt não é um mecanismo para manter uma página fora do Google, e não deve ser usado para esconder páginas. Seguir as regras é voluntário. O Googlebot e outros rastreadores respeitáveis seguem, mas outros robôs podem ignorar o arquivo, e rastreadores diferentes podem interpretar a mesma regra de jeitos diferentes.
A RFC 9309 reforça o ponto: as regras do robots.txt não são uma forma de autorização de acesso. O padrão também lembra que listar caminhos no arquivo torna esses caminhos públicos. Para proteger conteúdo, a RFC aponta medidas na própria aplicação, como autenticação HTTP, e o Google recomenda proteção por senha para informação sensível.
Também é diferente do .htaccess. O .htaccess é configuração do servidor Apache; o robots.txt é um pedido aos robôs, que cada rastreador decide seguir. Para regras do servidor, veja Arquivo htaccess: o que é e como editar no site.
Como as regras do robots.txt funcionam
O arquivo é formado por grupos. Cada grupo começa com uma linha User-agent, que diz a qual rastreador as regras se aplicam, seguida das linhas de regra. O asterisco em User-agent: * vale para os rastreadores que não têm grupo próprio no arquivo.
O Google aceita quatro campos:
- User-agent: o nome do rastreador a que o grupo se aplica.
- Disallow: uma pasta ou página, a partir da raiz, que o rastreador não deve rastrear. O caminho de uma pasta deve terminar com barra.
- Allow: libera uma subpasta ou página dentro de uma pasta bloqueada.
- Sitemap: o endereço do mapa do site, completo, com protocolo e host.
Outros campos, como crawl-delay, não são aceitos pelo Google. O símbolo # começa um comentário.
Alguns detalhes mudam o resultado. Os caminhos diferenciam maiúsculas de minúsculas: uma regra para /file.asp não vale para /FILE.asp. Cada rastreador segue só o grupo mais específico que combina com o nome dele. E quando duas regras combinam com a mesma URL, vale a mais específica, ou seja, a de caminho mais longo; se Allow e Disallow empatam, o Google aplica a menos restritiva.
Há dois curingas. O asterisco representa zero ou mais caracteres, e o cifrão marca o fim da URL.
Exemplos de robots.txt
Os exemplos abaixo vêm da documentação do Google e da RFC 9309. Troque os caminhos e o endereço do sitemap pelos do seu site.
Arquivo básico com sitemap
Um exemplo, da documentação do Google:
User-agent: Googlebot
Disallow: /nogooglebot/
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
Segundo o Google, o Googlebot não pode rastrear URLs que começam com /nogooglebot/, os demais rastreadores podem rastrear o site inteiro, e o mapa do site está no endereço indicado. A documentação observa que a linha Allow: / poderia ser omitida com o mesmo resultado.
Bloquear uma pasta e um tipo de arquivo
Um exemplo, da RFC 9309:
User-Agent: *
Disallow: *.gif$
Disallow: /example/
Allow: /publications/
Pela explicação da RFC, para os rastreadores sem grupo próprio a pasta /publications/ fica liberada, a pasta /example/ fica bloqueada, e as URLs que terminam em .gif também.
Bloquear o site inteiro para um rastreador
Um exemplo, da documentação do Google, que bloqueia só o Googlebot:
User-agent: Googlebot
Disallow: /
Como criar o arquivo e colocar no site
O Google lista os requisitos do arquivo:
- O arquivo é de texto simples, codificado em UTF-8. Caracteres fora do UTF-8 podem ser ignorados e invalidar regras.
- A criação pede um editor de texto simples, como o Bloco de Notas, o TextEdit, o vi ou o emacs. O Google desaconselha processadores de texto, que podem acrescentar caracteres como aspas curvas e confundir os rastreadores.
- O Google lê até 500 KiB do arquivo; o que passa desse tamanho é ignorado.
Para enviar o arquivo, a documentação do Google diz que o caminho depende do site e do servidor, e indica falar com o provedor de hospedagem. Em um servidor que você administra, recomendamos subir o arquivo por SFTP ou pelo gerenciador de arquivos para a pasta raiz do site.
Plataformas de criação de sites e de blogs podem não deixar editar o robots.txt direto. Nesses casos, o Google orienta procurar as configurações de visibilidade em buscas da própria plataforma.
Antes de trocar o arquivo
- Recomendamos guardar uma cópia do robots.txt atual antes de editar.
- Mude uma regra de cada vez e confira o resultado.
- Confira se o arquivo ficou na raiz do host certo, com o nome em letras minúsculas.
Como testar o robots.txt
O primeiro teste indicado pelo Google é simples: abra o endereço do arquivo numa janela anônima do navegador e veja se ele aparece. Se abrir, o arquivo está público.
No Search Console, o relatório de robots.txt mostra quais arquivos o Google encontrou para os 20 hosts principais da propriedade, quando cada um foi rastreado pela última vez e os avisos ou erros encontrados. O relatório funciona para propriedade de domínio ou de prefixo de URL sem caminho, e só para arquivos que já estão acessíveis no site.
Depois de corrigir um erro ou liberar URLs importantes, o relatório tem a opção de pedir um novo rastreamento do arquivo. O Google avisa que o pedido não quer dizer rastreamento na mesma hora. Para saber se uma URL específica está bloqueada, a ajuda do Search Console indica a ferramenta de inspeção de URL.
Depois de publicado, o arquivo é encontrado sozinho pelos rastreadores do Google.
Erros comuns no robots.txt
Disallow: / no grupo errado. No exemplo do Google, Disallow: / sob User-agent: * bloqueia o rastreamento do site inteiro para os rastreadores sem grupo próprio. Uma linha assim pode sobrar de uma fase de testes.
Bloquear CSS e JavaScript de que a página precisa. O Google pede para não bloquear recursos que o rastreador usa para entender a página, porque isso pode dificultar a análise.
Usar robots.txt junto com noindex. Segundo o Google, para a regra noindex funcionar a página não pode estar bloqueada no robots.txt. Se estiver, o rastreador não chega a ver o noindex, e a página pode aparecer nos resultados quando há links para ela. Um exemplo, da documentação do Google, da meta tag que vai no head da página:
<meta name="robots" content="noindex">
Arquivo no lugar errado. Um robots.txt dentro de uma subpasta não é verificado pelo Google. E, no exemplo da documentação do Google, o arquivo de https://example.com/robots.txt não vale para o subdomínio m.example.com nem para o endereço com http.
Redirecionamentos no caminho do arquivo. O Google segue pelo menos cinco redirecionamentos para chegar ao robots.txt e, depois disso, trata o resultado como erro 404, ou seja, como se o arquivo não existisse. Se o site mudou de endereço, recomendamos conferir o robots.txt no endereço novo; sobre redirecionamentos, veja Redirecionamento 301: o que é e como fazer no site.
Arquivos de texto e servidores
O robots.txt é um arquivo que fica no servidor que responde pelo site.
Fora dos arquivos de texto, a Eleven Host também trabalha com servidores virtuais. VPS a partir de R$ 29,90/mês no Plano Bronze; confira na loja o que cada plano inclui. Ver VPS
Perguntas frequentes
Meu site precisa ter robots.txt?
Não é obrigatório. Segundo a ajuda do Search Console, não ter o arquivo não é problema: significa que o Google pode rastrear todas as URLs do site.
O robots.txt tira uma página do Google?
Não. Uma URL bloqueada pode continuar nos resultados se houver links para ela. O Google indica noindex, senha ou a remoção da página, e lembra que o noindex só funciona se a página não estiver bloqueada no robots.txt.
Onde fica o robots.txt?
Na raiz do host, como em https://www.example.com/robots.txt. As regras de um arquivo valem só para o protocolo, o host e a porta onde ele está publicado.
Quanto tempo o Google leva para ver a mudança?
Segundo a documentação, o Google guarda o arquivo em cache, em geral por até 24 horas, e esse tempo pode ser maior se a atualização falhar. No Search Console, dá para pedir um novo rastreamento do arquivo, mas isso não garante rastreamento na hora.