Qué es crawl budget
El crawl budget, o presupuesto de rastreo, es la cantidad de URLs que Googlebot puede y quiere rastrear dentro de un sitio durante un periodo de tiempo. No es una cifra fija visible en una etiqueta HTML, sino una combinación de dos ideas: la capacidad de rastreo que soporta el servidor y la demanda de rastreo que Google percibe para esas URLs.
En una frase: el crawl budget es el equilibrio entre lo que Google puede rastrear sin sobrecargar tu servidor y lo que considera suficientemente importante, actualizado o útil como para volver a rastrear.
Cuándo importa realmente el crawl budget
En muchas webs pequeñas, el crawl budget no suele ser el primer problema. Si una web tiene pocas decenas o cientos de URLs limpias, enlazadas, rápidas y con sitemap correcto, Google normalmente puede rastrearla sin grandes complicaciones. El problema aparece cuando el sitio genera muchas más URLs de las que realmente debería rastrear.
Webs grandes
Ecommerce, marketplaces, medios, portales inmobiliarios, directorios, comparadores o webs con miles de fichas y filtros.
Contenido muy dinámico
Sitios donde precios, stock, noticias, disponibilidad, listados o contenidos cambian con mucha frecuencia.
Muchas URLs inútiles
Parámetros, filtros, ordenaciones, búsquedas internas, duplicados, paginaciones infinitas o URLs que no deberían competir.
Qué factores influyen en el crawl budget
El presupuesto de rastreo depende principalmente de la capacidad técnica del sitio y de la demanda que Google percibe. En la práctica, lo que más puedes controlar es tu inventario de URLs: qué URLs existen, cuáles enlazas, cuáles incluyes en sitemap, cuáles bloqueas y cuáles devuelven errores o duplicados.
| Factor | Qué significa | Cómo afecta | Qué revisar |
|---|---|---|---|
| Capacidad de rastreo | Cuánto puede rastrear Google sin sobrecargar el servidor. | Si la web responde lenta, con errores 5xx o señales de limitación, Google puede reducir el ritmo. | TTFB, respuesta del servidor, 5xx, 429, caídas, CDN y hosting. |
| Demanda de rastreo | Cuánto interés tiene Google en rastrear o volver a rastrear URLs. | Las URLs populares, relevantes, actualizadas o importantes suelen recibir más atención. | Calidad, frescura, enlaces internos, tráfico, sitemaps y señales de cambio. |
| Inventario de URLs | Conjunto de URLs conocidas por Google en tu dominio. | Si hay miles de variantes inútiles, Googlebot puede gastar tiempo en páginas sin valor. | Parámetros, filtros, duplicados, indexables, canonical y robots.txt. |
| Arquitectura interna | Forma en que enlazas secciones, categorías y páginas profundas. | Una mala estructura puede hacer que páginas importantes parezcan secundarias. | Menús, breadcrumbs, enlazado contextual, profundidad de clics y huérfanas. |
| Estado HTTP | Respuesta técnica que devuelve cada URL. | Redirecciones largas, soft 404, errores y bloqueos mal usados consumen recursos. | 200, 301, 302, 404, 410, 5xx, 304 y cadenas de redirección. |
Cómo diagnosticar problemas de crawl budget
El diagnóstico no empieza preguntando “¿tengo poco crawl budget?”, sino identificando si Google está desperdiciando rastreo en URLs que no aportan nada o si las URLs importantes tardan demasiado en descubrirse, rastrearse o actualizarse.
Revisa el informe de estadísticas de rastreo
En Search Console, el informe de estadísticas de rastreo permite ver solicitudes totales, tamaño descargado, tiempo medio de respuesta, estado del host, códigos de respuesta, tipo de archivo, finalidad del rastreo y tipo de Googlebot.
Compara Search Console con logs del servidor
Los logs muestran qué URLs solicita realmente Googlebot, con qué frecuencia, qué código reciben y si el rastreo se concentra en páginas importantes o en rutas sin valor.
Analiza indexación y descubrimiento
Revisa patrones en URLs “Descubierta: actualmente sin indexar”, “Rastreada: actualmente sin indexar”, excluidas por canonical, soft 404 o bloqueadas por robots.txt.
Audita el inventario completo de URLs
Cruza URLs del sitemap, rastreo propio, logs, Search Console, Analytics y base de datos. El objetivo es detectar URLs vivas que no deberían existir, enlazarse o indexarse.
Separa problema de rastreo y problema de calidad
A veces Google no rastrea más porque el sitio ya está técnicamente saturado; otras veces rastrea poco porque no percibe suficiente valor en muchas URLs. La solución cambia según la causa.
Qué desperdicia crawl budget
El desperdicio de crawl budget ocurre cuando Google dedica recursos a URLs que no ayudan a descubrir contenido relevante, actualizado o indexable. En proyectos grandes, pequeños problemas técnicos pueden multiplicarse por miles de combinaciones.
| Problema | Ejemplo | Riesgo SEO | Solución habitual |
|---|---|---|---|
| Filtros indexables sin control | /zapatos?color=azul&talla=42&orden=precio | Miles de variantes con contenido casi idéntico. | Reglas de indexación, canonical, robots.txt o arquitectura de facetas. |
| Búsquedas internas rastreables | /buscar?q=oferta+barata | Generación infinita de páginas débiles o duplicadas. | Bloqueo por robots.txt y evitar enlazado rastreable innecesario. |
| Soft 404 | Página vacía que devuelve 200 OK. | Google sigue rastreando URLs que deberían retirarse. | Devolver 404 o 410 real cuando la página ya no existe. |
| Cadenas de redirección | A → B → C → D | Cada salto consume rastreo y ralentiza el descubrimiento. | Redirigir directamente a la URL final. |
| Sitemaps sucios | URLs no indexables, redirigidas, bloqueadas o canonicalizadas. | Señales contradictorias sobre qué debe rastrearse. | Sitemaps solo con URLs canónicas, indexables y relevantes. |
| Errores de servidor | 5xx, timeouts, respuestas lentas o limitación excesiva. | Google puede bajar la frecuencia de rastreo para no sobrecargar. | Mejorar hosting, caché, CDN, base de datos y estabilidad. |
Evaluador rápido de crawl budget
Esta herramienta no sustituye una auditoría de logs, pero ayuda a detectar si el crawl budget debería ser una prioridad SEO real o si conviene centrarse antes en contenidos, arquitectura o indexación básica.
Calculadora de prioridad técnica
Selecciona el tamaño del sitio, la frecuencia de cambio y el síntoma principal. El resultado te orientará sobre la prioridad del trabajo de rastreo.
En una web pequeña y estable, el crawl budget rara vez es el primer frente. Prioriza contenido útil, enlazado interno claro, sitemap limpio e indexación básica.
Cómo optimizar el crawl budget
La optimización debe hacerse con criterio. Bloquear URLs sin entender si Google necesita verlas puede generar problemas de indexación. La prioridad es decidir qué debe rastrearse, qué debe consolidarse, qué debe desaparecer y qué no debería existir como URL rastreable.
Limpia el sitemap XML
Incluye solo URLs canónicas, indexables, con respuesta 200, relevantes y actualizadas. Evita enviar URLs bloqueadas, redirigidas, con noindex o duplicadas.
Controla parámetros, filtros y ordenaciones
Define qué combinaciones de filtros merecen URL indexable y cuáles deben bloquearse, canonicalizarse o evitarse como enlaces rastreables.
Consolida duplicados
Usa canonical, redirecciones o reestructuración de contenidos para que varias URLs equivalentes no compitan ni consuman rastreo innecesario.
Retira correctamente URLs muertas
Si una URL ya no existe y no tiene sustituto útil, devuelve 404 o 410. Si tiene equivalente claro, redirige directamente a la URL final, sin cadenas.
Mejora rendimiento y estabilidad
Reduce tiempos de respuesta, evita errores 5xx, revisa CDN, caché, base de datos y recursos pesados. Un servidor sano facilita que Google rastree sin reducir ritmo.
Usa 304 cuando el contenido no cambia
Si Google solicita una URL que no ha cambiado, una respuesta 304 Not Modified puede ahorrar transferencia y ayudar a que el rastreo sea más eficiente.
Ejemplos de crawl budget por tipo de web
El problema cambia según el modelo de sitio. Una web corporativa no suele sufrir los mismos riesgos que un ecommerce con filtros, un medio con miles de artículos o un portal con listados que cambian cada hora.
| Tipo de web | Problema típico | Qué priorizar |
|---|---|---|
| Ecommerce | Facetas, filtros, ordenaciones, productos agotados y parámetros. | Arquitectura de categorías, reglas de filtros, sitemap limpio, canonical y stock. |
| Medio o blog grande | Artículos antiguos, etiquetas duplicadas, paginaciones y contenidos obsoletos. | Enlazado interno, actualización de contenidos, taxonomías limpias y control de archivo. |
| Portal inmobiliario | Listados caducados, búsquedas por zona, filtros combinables y páginas vacías. | Reglas para páginas sin resultados, 404/410, sitemaps dinámicos y prioridad por demanda. |
| Web multidioma | Versiones duplicadas, hreflang incorrecto y URLs no traducidas. | Canonical/hreflang correctos, sitemaps por idioma y enlazado entre equivalentes. |
| WordPress corporativo | Categorías, etiquetas, autores, adjuntos, parámetros y páginas pobres. | Reducir taxonomías innecesarias, controlar adjuntos, mejorar contenido y sitemap. |
Crawl budget vs indexación, sitemap, robots.txt y canonical
Uno de los errores más habituales es mezclar conceptos. El crawl budget pertenece a la fase de rastreo, pero se relaciona con indexación, sitemaps, robots.txt y canonical porque todos ayudan a orientar a Google sobre qué URLs importan.
| Concepto | Qué controla | Error habitual |
|---|---|---|
| Crawl budget | Cuánto y qué puede/quiera rastrear Google. | Pensar que afecta igual a webs pequeñas y grandes. |
| Indexación | Qué URLs acaban entrando en el índice. | Creer que una URL rastreada se indexará automáticamente. |
| Sitemap XML | Qué URLs recomiendas a Google descubrir o revisar. | Incluir URLs no indexables, bloqueadas o redirigidas. |
| Robots.txt | Qué rutas puede o no puede rastrear el bot. | Bloquear URLs que Google necesita rastrear para ver un noindex o recursos esenciales. |
| Canonical | Qué URL prefieres como versión principal entre duplicados. | Usarlo como solución universal para URLs que no deberían generarse. |
Checklist para revisar crawl budget
Antes de hacer cambios agresivos, conviene separar señales: qué rastrea Google, qué indexa, qué URLs considera canónicas, qué errores encuentra y qué partes del sitio generan más ruido.
URLs existentes
Rastrea la web, exporta sitemaps, revisa logs y detecta URLs huérfanas, duplicadas, parametrizadas o de baja calidad.
Indexabilidad real
Cruza código HTTP, canonical, robots.txt, meta robots, sitemap y enlaces internos para evitar contradicciones.
Servidor sano
Revisa tiempos de respuesta, picos de carga, errores 5xx, 429, disponibilidad de robots.txt y peso de recursos internos.
FAQ sobre crawl budget
No funciona como un factor de ranking directo tipo “más crawl budget = mejores posiciones”. Su impacto es indirecto: si Google no descubre, rastrea o actualiza bien las URLs importantes, esas páginas pueden tardar más en competir o reflejar cambios.
Normalmente no debería ser la prioridad. En una web pequeña suele ser más importante mejorar contenidos, enlazado interno, velocidad, sitemap, experiencia de usuario y calidad general de las páginas.
No. Un sitemap ayuda a descubrir y entender qué URLs quieres destacar, pero no obliga a Google a rastrearlas inmediatamente ni a indexarlas. Por eso conviene que el sitemap sea limpio y coherente.
Depende del objetivo. Para que Google vea un noindex, necesita rastrear la página. Si una ruta no debe rastrearse en absoluto, robots.txt puede ser más eficiente. Pero si la URL ya está indexada y quieres que salga del índice, bloquearla puede impedir que Google vea el noindex.
Puede estar relacionado, sobre todo en sitios grandes. Esa señal indica que Google conoce la URL, pero todavía no la ha rastreado o no la ha priorizado. Puede deberse a escala, baja demanda, mala arquitectura, duplicidad, baja calidad percibida o limitaciones de rastreo.
Search Console es el punto de partida, pero en proyectos grandes conviene añadir análisis de logs, crawler SEO, revisión de sitemaps, auditoría de indexación y control de rendimiento del servidor.
Fuentes y criterio utilizado
Esta guía se ha planteado como una definición práctica para profesionales de SEO, marketing y desarrollo web. El enfoque prioriza documentación oficial de Google sobre rastreo, Search Console, errores de crawling, sitemaps, robots.txt, códigos HTTP y eficiencia de carga.
¿Tu web tiene problemas de rastreo, indexación o URLs duplicadas?
Una auditoría técnica puede detectar qué está rastreando Google, qué URLs está ignorando, dónde se pierde presupuesto de rastreo y qué cambios tendrían más impacto en visibilidad orgánica.
