Rastreadores IA, entrenamiento y llms.txt: qué importa de verdad
Distingue acceso de rastreo, preferencias de entrenamiento y visibilidad real en IA.
Empieza por la finalidad
Los rastreadores relacionados con IA tienen trabajos diferentes. OAI-SearchBot se usa para búsqueda en ChatGPT; GPTBot se refiere al posible uso para entrenamiento. Una web puede elegir políticas distintas. Tratar todos los bots igual produce recomendaciones engañosas.
Comprueba la ruta concreta
robots.txt puede permitir una ruta y bloquear otra. Importan los grupos específicos y las rutas coincidentes más largas. Esta herramienta evalúa Allow/Disallow clásico para la URL analizada. No es una petición de la red real del proveedor; el CDN o WAF pueden seguir bloqueándola.
Google Search tiene sus propios controles
Google-Extended no es el token de control de rastreo de Google Search. Googlebot y la elegibilidad habitual de búsqueda siguen siendo relevantes para las funciones IA de Google. Permitir entrenamiento no es un requisito que puntuemos como buen SEO.
llms.txt es opcional
Un llms.txt puede ser un resumen de navegación mantenido para sistemas que quieran usarlo. Google no lo requiere ni lo usa como marcado especial de búsqueda IA. Su ausencia no se trata como un fallo de posicionamiento. Revisa cualquier borrador y no publiques URLs privadas.
Acceso no equivale a citas
Una página puede ser accesible sin estar indexada, seleccionada o citada. Medir visibilidad real requiere observaciones por consulta, muestreo repetido y una metodología. Esta versión no mide menciones ni las compara con competidores.
Verifica antes de cambiar políticas
Decide qué usos quieres permitir antes de editar robots.txt. Los nuevos controles compartidos de entrenamiento y las políticas propias de proveedores pueden quedar fuera de un parser clásico. Consulta documentación actual y repite la prueba en rutas representativas.
Siguiente paso recomendado
Comprobar acceso IA y preparación GEO
Referencia: Documentación oficial