Rastreador CCBot

CCBot es el rastreador de Common Crawl, una organización que mantiene un repositorio abierto de datos de la web. Su visita no equivale a una persona leyendo el artículo ni garantiza que la página vaya a aparecer en Google.

Datos publicados previamente

Conservamos esta IP, país y cadena de identificación como referencia histórica. No son una lista vigente de direcciones autorizadas ni prueban quién realizó una solicitud concreta.

Cómo comprobar una visita de CCBot

El texto CCBot/2.0 puede copiarse en el encabezado de otro programa. Para comprobar el origen, contrastá la dirección que figura en el registro del servidor con los rangos y el procedimiento de DNS publicados por Common Crawl. La verificación inversa debe complementarse con una resolución directa que vuelva a la misma IP.

Qué revisar si genera demasiadas solicitudes

Compará la frecuencia de acceso, las rutas solicitadas y las respuestas del servidor. Common Crawl documenta cómo excluir a CCBot mediante un grupo específico en robots.txt. Esa preferencia de rastreo no sustituye la autenticación de áreas privadas ni una protección frente a programas que ignoran las reglas.