ThatSEOAgentBot

Cadenas de user agent

That SEO Agent realiza dos tipos de peticiones a URLs externas, cada una con su propio user agent.

Qué verifica el crawler

Al ejecutar crawl_site, ThatSEOAgentBot hace un rastreo BFS que empieza desde la homepage. Por cada página que visita, recopila:

• 01Código de estado HTTP y cadena de redirecciones
• 02Título de página y meta description (para detectar duplicados en todo el sitio)
• 03URL canónica y directiva noindex
• 04Encabezados H1
• 05Conteo de palabras (sin marcado HTML)
• 06Todos los enlaces internos (para descubrir las siguientes páginas en la cola)
• 07Profundidad BFS (número de clics desde la homepage)

Comportamiento del rastreo

Cómo permitir ThatSEOAgentBot

Si tu servidor o firewall bloquea user agents desconocidos, agrega una excepción para las dos cadenas. Aquí van algunos ejemplos.

# One token covers both the crawler and the page-audit fetcher
User-agent: ThatSEOAgentBot
Allow: /

# Firewall Rule: Skip for ThatSEOAgentBot
# Field: http.user_agent
# Operator: contains
# Value: ThatSEOAgentBot
# Action: Skip

# One rule is enough — both variants carry the same token

# Inside your server block
if ($http_user_agent ~* "ThatSEOAgentBot") {
    # Remove any rate-limit or block rules
    set $skip_limit 1;
}

# In .htaccess or VirtualHost
<If "%{HTTP_USER_AGENT} =~ /ThatSEOAgentBot/">
    # Exempt from mod_evasive or rate limits
</If>

Cómo bloquear ThatSEOAgentBot

Si no quieres que That SEO Agent toque tu sitio, agrega una regla Disallow en robots.txt. Una sola regla cubre todo: el crawler y el fetcher de auditorías usan el mismo token, y ambos consultan el archivo antes de pedir nada.

User-agent: ThatSEOAgentBot
Disallow: /

Cómo verificar el user agent

Las peticiones legítimas de That SEO Agent siempre coinciden exactamente con una de las dos cadenas de user agent listadas arriba. Si alguna petición dice ser ThatSEOAgentBot con una cadena diferente, no viene de este servicio.

• —Las peticiones del crawler incluyen el header Accept: text/html, application/xhtml+xml
• —Las peticiones de auditoría de página usan GET o HEAD
• —Todas las peticiones se originan en la infraestructura serverless de Vercel, sin una IP fija

Preguntas o reportes de abuso

Si crees que That SEO Agent está haciendo peticiones que no corresponden a lo descrito aquí, escríbenos a support@thatseoagent.com.