/ Documentación del Crawler

ThatSEOAgentBot

That SEO Agent hace dos tipos de peticiones a sitios externos, cada uno con un identificador diferente. Esta página explica cuáles son, cuándo se usa cada uno y cómo configurar tu servidor para permitirlos o bloquearlos.

Cadenas de user agent

That SEO Agent realiza dos tipos de peticiones a URLs externas, cada una con su propio user agent.

Crawler de sitio

ThatSEOAgentBot/1.0 (+https://thatseoagent.com/seo-bot)

Lo usa la herramienta crawl_site para hacer un rastreo BFS completo del sitio. Detecta enlaces rotos, páginas poco accesibles, contenido escaso y metadatos duplicados. Solo se activa cuando un usuario autenticado lo solicita desde su cliente MCP.

Auditor de página

Mozilla/5.0 (compatible; SEO-MCP-Bot/1.0; +https://thatseoagent.com)

Lo usan las auditorías de página y todos los checks on-page (título, meta, schema, E-E-A-T, GEO score, rastreabilidad, security headers). Hace una sola petición GET o HEAD por URL por llamada de herramienta.

Qué verifica el crawler

Al ejecutar crawl_site, ThatSEOAgentBot hace un rastreo BFS que empieza desde la homepage. Por cada página que visita, recopila:

01Código de estado HTTP y cadena de redirecciones
02Título de página y meta description (para detectar duplicados en todo el sitio)
03URL canónica y directiva noindex
04Encabezados H1
05Conteo de palabras (sin marcado HTML)
06Todos los enlaces internos (para descubrir las siguientes páginas en la cola)
07Profundidad BFS (número de clics desde la homepage)

El bot no ejecuta JavaScript, no renderiza páginas ni descarga recursos externos. Solo procesa el HTML sin formato.

Comportamiento del rastreo

Concurrencia	Máximo 3 peticiones en paralelo
Pausa entre lotes	300 ms entre grupos de peticiones para no saturar tu servidor
Timeout por página	12 segundos (crawler de sitio) / 30 segundos (auditor de página)
Redirecciones	Seguidas automáticamente
Tipo de contenido	Solo HTML — envía Accept: text/html, application/xhtml+xml
Robots.txt	Lo descarga y analiza antes de rastrear. Omite cualquier URL bloqueada para User-agent: * o User-agent: ThatSEOAgentBot
Caché en memoria	Las respuestas de auditoría de página se almacenan en caché por 60 segundos dentro de un turno de agente. Si varias herramientas revisan la misma URL, comparten una sola petición HTTP.
Activación	Solo bajo demanda: los rastreos y auditorías se ejecutan únicamente cuando un usuario autenticado los solicita desde su cliente MCP.

Cómo permitir ThatSEOAgentBot

Si tu servidor o firewall bloquea user agents desconocidos, agrega una excepción para las dos cadenas. Aquí van algunos ejemplos.

robots.txt

User-agent: ThatSEOAgentBot
Allow: /

User-agent: SEO-MCP-Bot
Allow: /

Cloudflare WAF

# Firewall Rule: Skip for ThatSEOAgentBot
# Field: http.user_agent
# Operator: contains
# Value: ThatSEOAgentBot
# Action: Skip

# Add a second rule for SEO-MCP-Bot

Nginx

# Inside your server block
if ($http_user_agent ~* "ThatSEOAgentBot|SEO-MCP-Bot") {
    # Remove any rate-limit or block rules
    set $skip_limit 1;
}

Apache

# In .htaccess or VirtualHost
<If "%{HTTP_USER_AGENT} =~ /ThatSEOAgentBot|SEO-MCP-Bot/">
    # Exempt from mod_evasive or rate limits
</If>

Cómo bloquear ThatSEOAgentBot

Si no quieres que That SEO Agent rastree tu sitio, agrega una regla Disallow en robots.txt. El crawler lo lee y respeta antes de empezar cualquier rastreo.

robots.txt

User-agent: ThatSEOAgentBot
Disallow: /

Las peticiones de auditoría de página (SEO-MCP-Bot) solo pueden activarse para URLs de sitios que conectaste en tu dashboard de That SEO Agent. Requieren un usuario autenticado con acceso a ese sitio.

Cómo verificar el user agent

Las peticiones legítimas de That SEO Agent siempre coinciden exactamente con una de las dos cadenas de user agent listadas arriba. Si alguna petición dice ser ThatSEOAgentBot con una cadena diferente, no viene de este servicio.

—Las peticiones del crawler incluyen el header Accept: text/html, application/xhtml+xml
—Las peticiones de auditoría de página usan GET o HEAD
—Todas las peticiones se originan en la infraestructura serverless de Vercel, sin una IP fija

Preguntas o reportes de abuso

Si crees que That SEO Agent está haciendo peticiones que no corresponden a lo descrito aquí, escríbenos a support@thatseoagent.com.

Auditoría on-page SEO Cómo funciona That SEO Agent Guía de configuración MCP

/ ThatSEOAgentBot

Audita cualquier página en menos de 2 minutos.

8 verificaciones. Datos en vivo. Sin copiar y pegar.

Conecta tu sitio y corre tu primera auditoría desde cualquier IA compatible con MCP.