O que o robots.txt faz
É um pequeno arquivo de texto em `yoursite.com/robots.txt` que indica aos rastreadores quais partes do site podem acessar. É orientação para bots bem-comportados, não segurança — não esconde páginas, só pede que não sejam rastreadas.
Gere o arquivo
- Use o Gerador de Robots.txt para montar as regras e copiar o arquivo.
- Envie-o para a raiz do site para ficar em `/robots.txt`.
O básico da sintaxe
- `User-agent: *` — vale para todos os rastreadores.
- `Allow: /` — permite rastrear tudo.
- `Disallow: /private/` — pede para não rastrear essa pasta.
- `Sitemap: https://yoursite.com/sitemap.xml` — aponta para o sitemap.
Combine com um sitemap
robots.txt diz o que *não* rastrear; um sitemap lista o que você *quer* rastreado. Crie um com o Gerador de sitemaps e referencie-o no robots.txt.
Aviso
Não coloque `Disallow: /` no site inteiro por engano — isso bloqueia todo o rastreamento e tira você da busca.
Privacidade
O arquivo é gerado no seu navegador.