Qué hace robots.txt
Es un pequeño archivo de texto en `yoursite.com/robots.txt` que indica a los rastreadores qué partes del sitio pueden visitar. Es una guía para bots bien educados, no una medida de seguridad: no oculta páginas, solo pide que no se rastreen.
Generarlo
- Usa el Generador de Robots.txt para crear las reglas y copiar el archivo.
- Súbelo a la raíz de tu sitio para que esté en `/robots.txt`.
Lo básico de la sintaxis
- `User-agent: *` — aplica a todos los rastreadores.
- `Allow: /` — permite rastrear todo.
- `Disallow: /private/` — pide no rastrear esa carpeta.
- `Sitemap: https://yoursite.com/sitemap.xml` — apunta al sitemap.
Combínalo con un sitemap
robots.txt dice qué *no* rastrear; un sitemap lista lo que *sí* quieres que se rastree. Crea uno con el Generador de sitemaps y referéncialo desde robots.txt.
Advertencia
No pongas por error `Disallow: /` en todo el sitio: bloquea el rastreo y te saca de la búsqueda.
Privacidad
El archivo se genera en tu navegador.