Para poder garantizar que Google es consciente de todo el contenido que queremos posicionar los SEOs usamos distintas herramientas y técnicas que parten de entender cómo trabajar el propio Googlebot (el robot que Google usa para rastrear) e imitarlo.
Así, los SEOs utilizamos herramientas llamadas crawlers o rastreadores para simular el comportamiento de estos bots de los motores de búsqueda. Estos crawlers funcionan de forma muy parecida a como lo hace Google cuando encuentra contenido en Internet. Los crawlers nos permiten analizar nuestro sitio web desde la perspectiva de un bot, identificando problemas de rastreo, indexación y enlazado interno. Al utilizar estas herramientas, podemos fundamentar nuestras decisiones en datos concretos y mejorar la visibilidad de nuestro sitio en los resultados de búsqueda.
Algunos de los crawlers más famosos serían Screaming Frog (la más usada con diferencia), Site Bulb, OnCrawl o Botify. Algunas agencias incluso (entre las que IKAUE se incluye), con el tiempo hemos desarrollado nuestros propios crawlers que nos permiten trabajar de forma aún más avanzada.
Un crawler va a poderte rastrear todas las URLs que necesitas de tu site y darte sus titles, h1, códigos de respuesta, porcentaje de similaridad o enlaces salientes y entrantes. Aprender a entender los datos que estos crawlers te dan y a elaborar estrategias con ellos es una parte esencial del SEO Técnico.
En este post vamos a hablarte de uno de estos datos que puedes extraer de los crawlers: El Crawl Depth, Depth o Profundidad de Rastreo (dependiendo de la herramienta puede tener un nombre u otro). Este dato, en un principio un simple indicador de cómo se ha rastreado tu site, en la práctica se ha convertido en uno de los imprescindibles de nuestro día a día SEO.
Qué es el Crawl Depth o profundidad de rastreo
Cómo funciona exactamente este dato
El Crawl Depth, o profundidad de rastreo, es un indicador que clasifica cada URL de un sitio web según el número de pasos que un crawler debe dar para encontrar ese contenido. Para entender esto, primero debemos saber cómo funcionan los crawlers.
Imagina que un crawler es como un explorador que comienza su viaje en la home de tu sitio web. Desde allí, sigue todos los enlaces que encuentra en esa página, añadiéndolos a una lista de URLs por rastrear. Cada vez que el crawler sigue un enlace y visita una nueva página, repite el proceso: analiza el contenido y recoge todos los enlaces para continuar su camino.
Este proceso se estructura en niveles de profundidad:
- Crawl Depth 0: La página inicial del rastreo (normalmente la home).
- Crawl Depth 1: Páginas enlazadas directamente desde la home.
- Crawl Depth 2: Páginas enlazadas desde las de Crawl Depth 1.
- Y así sucesivamente.
Es como si midieras cuántos clics mínimos necesitas hacer desde la página inicial para llegar a una URL específica. Por eso hablamos de «profundidad»; cuanto más alto es el Crawl Depth, más «profundo» está el contenido en la estructura del sitio.
Por ejemplo, si un usuario entra en la home y necesita hacer tres clics para llegar a una página específica, esa página tendría un Crawl Depth de 3.
Por qué nos interesa tanto
Los motores de búsqueda tienen un tiempo y recursos limitados para rastrear tu sitio web, conocido como crawl budget. Las páginas que están a mayor profundidad (mayor crawl depth) tienden ser rastreadas con menos frecuencia o incluso no ser rastreadas en absoluto.
Por desgracia, si las páginas más importantes de tu sitio tienen un Crawl Depth elevado, podrías estar poniendo en riesgo su indedxación (y por lo tanto su posicionamiento). Un Crawl Depth más bajo implica una mayor probabilidad de que los bots encuentren y rastreen tus páginas con regularidad y uno muy alto es muy probable que pase desapercibido por los robots de los buscadores.
Además, desde la perspectiva del usuario, una estructura de sitio donde el contenido relevante está a pocos clics mejora la experiencia de navegación y puede aumentar la tasa de conversión.
Cómo lo usan los SEOs
Los profesionales del SEO utilizamos el Crawl Depth como un indicador de la probabilidad de que los rastreadores de Google no lleguen a encontrar un contenido. Las URLs con crawl depths bajos no tendrán problemas, y a medida que este aumenta se entiende que las URLs cada vez están más en riesgo de ser excluidas. Así pues, hay 3 actividades típicas que en SEO comienzan observando el crawl depth:
- Detectar URLs en riesgo de exclusión del rastreo: Identificamos páginas que están demasiado profundas y que los bots podrían no alcanzar debido a las limitaciones del crawl budget.
- Optimizar el enlazado interno: Ajustamos los enlaces internos para reducir la profundidad de las páginas importantes, asegurando que estén más accesibles tanto para los bots como para los usuarios.
- Mejorar la arquitectura del sitio: Reestructuramos la navegación y jerarquía del sitio para que los contenidos clave estén más accesibles y sean más fáciles de encontrar.
En definitiva: Es recomendable que las páginas más relevantes estén a pocos clics de la home para maximizar su visibilidad en los motores de búsqueda y mejorar la experiencia del usuario.
Esto es lo que hace tan valioso a este indicador: Es un simple número que permite acciones muy profundas sobre la web. Pero sería un gran error tener tan solo el cuenta el Crawl Depth para trabajar el SEO:
Cuidado: Qué problemas puede tener usar el Crawl Depth como único indicador de probabilidad de rastreo
A pesar de su utilidad, el Crawl Depth tiene algunas limitaciones y desafíos que debemos acotar para interpretarlo correctamente.
Google no solo entra a las webs a través de su homepage
Ten en cuenta que los crawlers que usamos suelen iniciar el rastreo desde la home, pero Google puede entrar a tu sitio desde cualquier enlace externo. Esto significa que páginas que parecen estar muy profundas cuando las rastreamos desde la home podrían estar fácilmente accesibles para Google si reciben enlaces entrantes desde otros sitios web.
Por ejemplo, imagina que has publicado un artículo en tu blog que ha sido enlazado desde otros sitios web de autoridad. Aunque en tu estructura interna ese artículo esté a un Crawl Depth de 5, Google podría acceder directamente a él a través de esos enlaces externos, sin necesidad de pasar por las páginas intermedias.
Es un error común confiar únicamente en el Crawl Depth calculado desde la home sin considerar estos puntos de entrada alternativos. Esto puede llevar a malinterpretar la accesibilidad real de tus páginas para los motores de búsqueda.
El Reasonable Surfer: no solo importa el número de saltos
Google utiliza un modelo llamado Reasonable Surfer que asigna diferentes pesos a los enlaces en una página según la probabilidad de que un usuario real haga clic en ellos. Esto significa que no todos los enlaces son iguales:
- Enlaces en el contenido principal: Tienen mayor peso porque es más probable que un usuario interactúe con ellos. Por ejemplo, enlaces dentro de un artículo o producto.
- Enlaces en el footer o sidebar: Pueden tener menos peso ya que suelen ser enlaces secundarios o de navegación general.
- Enlaces ocultos o poco visibles: Si un enlace está en una parte de la página que no es fácilmente accesible para el usuario, su peso será menor.
Por lo tanto, aunque una página esté a pocos clics de la home, si los enlaces que llevan a ella no son prominentes o están en secciones menos relevantes de la página, podría no ser rastreada con la misma frecuencia. Esto en un análisis de Crawl Depth no se tiene en cuenta, ya que tan solo importa el número de saltos/clics que tiene que dar la araña.
La velocidad, experiencia y calidad de la página afectan el rastreo
La velocidad de carga, la experiencia de usuario y la calidad del contenido son factores que influyen en cómo Google rastrea e indexa las páginas. Si una página tiene un rendimiento pobre o una experiencia negativa para el usuario, es posible que los bots la rastreen con menos frecuencia o profundidad.
Por ejemplo:
- Páginas lentas: Si una página tarda mucho en cargar, los bots pueden dedicar menos tiempo a rastrear sus enlaces internos.
- Contenido duplicado o de baja calidad: Páginas con contenido duplicado o que no aportan valor pueden ser rastreadas con menos frecuencia.
- Errores técnicos: Problemas como enlaces rotos o errores 404 pueden interrumpir el proceso de rastreo.
Cuidado con cometer el error de pensar que solo el número de enlaces influye en la rastreabilidad de las URLs efectivo; la calidad de las páginas también juega un papel crucial. Y esto, por supuesto, tampoco lo tiene en cuenta el Crawl Depth.
Cómo analizamos este dato en IKAUE
En IKAUE, utilizamos el Crawl Depth como una herramienta fundamental en nuestras auditorías SEO. Te explicamos detalladamente nuestro enfoque y cómo puedes aplicarlo a tu sitio web.
Primeras impresiones: ¿Hasta qué Crawl Depth llegamos y dónde están la mayor parte de las URLs?
Lo primero que hacemos es realizar un rastreo completo del sitio para obtener una visión general de su estructura. Observamos:
- La profundidad máxima del sitio: Si el Crawl Depth llega a niveles muy altos (por encima de 15 o 20), es una señal de que hay problemas evidentes en el enlazado interno. Por ejemplo, hemos encontrado sitios donde el Crawl Depth llegaba hasta más de 500, lo cual es excesivo y sugiere una estructura descontrolada.
- La profundidad máxima a la que se alcanza la mayor parte del negocio: ¿En que punto quedan la mayor parte de las URLs importantes? O si eso no lo tienes controlado. ¿En qué punto alcanzamos el 80% de las URLs? ¿Se mantiene la mayor parte del site un crawl depth óptimo?
No existe una medida cerrada y estandarizada de cual es el crawl depth «bueno» u óptimo de un site. Eso depende más de su autoridad, enlaces, velocidad de carga. Mientras que hay sitios que a partir de un crawl depths de 3 o 4 empiezan a tener problemas de indexación, otros con una estructura con enlaces más controrlados pueden indexar muy bien crawl depths de 7, 8 o 9 (aunque no es lo normal que en cifras tan altas no haya problemas).
- La distribución de las URLs: Analizamos en qué niveles se concentra la mayor cantidad de páginas del site. Si la mayoría de las URLs importantes están en niveles profundos, es un indicativo de que necesitan estar más accesibles. Por ejemplo, si los productos clave de un e-commerce están en un Crawl Depth de 5 o más, es necesario revisar la estructura para potenciar los más relevantes.
Este análisis inicial nos da una idea del estado del sitio y nos permite identificar áreas que requieren atención inmediata.
Cómo se analiza la curva de Crawl Depth
Un ejercicio típico parte de representar gráficamente el número de URLs por nivel de Crawl Depth en un diagrama de barras. Esto nos mostrará una curva que por lo general empezará por la URL de crawl depth 0, tendrá su punto más alto en alguno de estos niveles de crawl depth y luego bajará para ocuparse de terminar con las URLs peor enlazadas.
En la imágen de ejemplo puede verse como en este site curva empieza a coger un volumen interesante a partir del nivel 3 de crawl depth, en el nivel 6 es donde alcanza su mayor distribución para luego caer para ir terminando el rastreo, para el cual llega a pasar del nivel 20 de crawl depth para algunas URLs.
El punto donde se inicia la captación de volumen y el punto máximo de la curva ya son 2 indicadores que nos ayudan a entender el enlazado del site:
- El inicio de la curva debería ser siempre el nivel 0. Cuando este se ve retrasado es señal de una estructura poco ambiciosa en número de links o de que los links se repiten demasiado entre las páginas (y por eso no aportan nuevos a medida que saltamos niveles). Suele darse en webs con menús poco dinámicos, que les cuesta especializarse y ofrecer links solo hacia temas relacionados con la página que se está visualizando.
- El punto máximo nos indica la dificultad para indexar el core del negocio. En el ejemplo vemos un punto máximo de 6 niveles de profundidad. Junto con que la curva empieza tarde, denota que la estructura de enlazado es susceptible a muchas mejoras.
Otro tipo de análisis que podemos hacer es por la forma de la curva. Este nos dará una idea de cómo se ha formateado el enlazado del site:
- Curva pronunciada al inicio: Indica que el sitio tiene una buena estructura y que las páginas están distribuidas eficientemente. La mayoría de las páginas importantes están en los primeros niveles.
- Cola extendida: Si la curva de bajada se extiende hacia niveles más profundos, significa que hay muchas páginas a las que los bots tardan más en llegar. Esto puede deberse a una mala organización del contenido o a enlaces internos insuficientes. Suele darse por culpa de no haber terminado de atar muchas urls en la estructura: Paginaciones interminables, sistemas de taxonomías descontrolados, artículos múy antiguos, foros, y demás estructuras ineficientes.
- Escalera ascendente: Cuando nuestra curva es casi una escalera perfecta ascendente, donde cada nivel tiene cada vez un volúmen mayor de URLs (y además es exponencial), esto suele ser señal de un enlazado muy bien trabajado que se ha ocupado de que en pocos niveles todo sea accesible y nada quede como cola de la curva con niveles altos de crawl depth. Eso no significa que no se pueda optimizar que URLs están en un nivel u otro, pero si significa que el trabajo de acercar contenido al buscador ya se ha hecho y no se ha hecho mal.
- Escalera descendente, o curva saturada al principio: Cuando casi todas las páginas están en niveles muy bajos de forma artificial, seguramente sea porque un SEO ha optimizado el enlazado, pero suele indicar también que hay un exceso de enlaces internos, lo que también puede ser problemático. Demasiados enlaces en una sola página pueden diluir la importancia de cada uno y confundir a los bots. Nuestra experiencia es que Google en los niveles bajos de crawl depth incluso, suele tener problemas con más de 200 enlaces por página y no suele llevar bienn la indexación de páginas con menos autoridad de más de 100 enlaces.
Analizando el número de URLs descubiertas por nivel
Calculamos la tasa de descubrimiento de nuevas URLs en cada nivel. Esto se hace dividiendo el número de URLs en un nivel por el número de URLs en el nivel anterior:
Por ejemplo:
- En el nivel 1, tenemos 100 URLs.
- En el nivel 2, encontramos 1,000 URLs.
Esto significa que cada página de nivel 1 enlaza, en promedio, a 10 nuevas páginas. Si este número es demasiado alto, especialmente en niveles profundos, puede sobrecargar a los bots y afectar negativamente el rastreo.
Es recomendable mantener un número razonable de enlaces por página para facilitar el trabajo de los bots y mejorar la experiencia del usuario. En IKAUE, solemos aconsejar no exceder los 100 enlaces por página, aunque esto puede variar según el tipo de sitio y su tamaño.
Cruzando con tipologías de páginas para entender la presencia de cada sección para Google
Segmentamos las URLs según su tipo (productos, categorías, artículos de blog, páginas informativas, etc.) y analizamos cómo están distribuidas en los distintos niveles de Crawl Depth. Esto nos permite:
- Identificar secciones subrepresentadas: Si ciertas áreas importantes del sitio están demasiado profundas. Por ejemplo, si el blog corporativo está en un Crawl Depth alto, los artículos pueden no ser rastreados e indexados eficientemente.
- Detectar problemas específicos: Como taxonomías mal estructuradas o paginaciones infinitas que generan niveles de profundidad innecesarios.
Con esta información, podemos tomar decisiones informadas sobre dónde enfocar nuestros esfuerzos de optimización.
Análisis del Crawl Budget: Cruzando con datos de las señales de indexación para focalizarnos en lo que más daño nos hace
Esto puede hacerse cruzando Crawl Depth con Códigos de respuesta del servidor (200, 301, 404, etc.) o creando clusters de indexación que nos digan del crawl budget que perdemos por ofrecerle URLs no indexables a Google, cual es el que nos está haciendo más daño.
En esta imagen por ejemplo, podemos ver como a pesar de que hablamos de un site con problemas de enlazado, en realidad el aprovechamiento que se hace de los primeros niveles de rastreo es muy correcto (casi todo es verde: indexable o azul: redirected) En el nivel 4 está el nivel máximo de URLs pero son casi todas malas: canonicals, contenido con bajas probabiliades de indexarse etc. A partir de ahí si que vemos URLs indexables que habria que enlazar mejor (Nivel 5 o +) pero que la cola de rastreo que tanto nos preocupaba porque llegaba hasta el nivel 19 en realidad se ve formada por URLs no indexables y por lo tanto no nos debería preocupar.
Con esta explicación (un poco densa, si, pero espero que entendible), se puede apreciar lo potente que que puede ser realizar este tipo de análisis.
Cruzando con datos de la indexación real para focalizarnos en lo que más daño nos hace
Combinamos el Crawl Depth con datos de indexación realde herramientas como Google Search Console para identificar:
- Páginas con alto Crawl Depth que no están siendo indexadas: Esto puede indicar que los bots no están llegando a esas páginas debido a su profundidad.
- Páginas con errores de rastreo o problemas de cobertura: Al cruzar los datos, podemos ver si hay correlación entre el Crawl Depth y los errores reportados.
Por ejemplo, en uno de nuestros proyectos, detectamos que una sección entera de productos nuevos no estaba siendo indexada. Al analizar el Crawl Depth, vimos que estas páginas estaban en un nivel de profundidad de 8 o más. Al optimizar el enlazado interno y acercarlas a la home, mejoramos su indexación y visibilidad.
Otros cruces de datos que pueden ser interesantes
Además del Crawl Depth y los datos de indexación, incorporamos otras fuentes de información:
- Logs del servidor: Analizamos cómo los bots interactúan realmente con el sitio, identificando patrones de comportamiento y áreas que no están siendo rastreadas.
- Datos de rendimiento: Como velocidad de carga y Core Web Vitals, para entender cómo afectan al rastreo e indexación.
- Tipología de contenidos: Para adaptar estrategias según el tipo de página y su relevancia para el negocio.
Al cruzar todos estos datos, obtenemos una visión holística del sitio que nos permite identificar problemas y oportunidades de mejora de manera más precisa.
Creando un cluster sobre el Crawl Depth, para verlo de forma cómoda
Finalmente, si agrupamos las URLs en categorías basadas en su Crawl Depth creando grupos claros de rangos de crawl depth (de 0 a 3, de 4 a 7, etc.) podemos simplificar aún más nuestros análisis. Un ejemplo de estos grupos podría ser este (aunque no lo tomes al pie de la letra ya que ya anunciabamos antes que lo que para un negocio puede ser un crawl depth malo no tiene porque serlo para otro).
- URLs Priorizadas: Crawl depth de 0 a 3. Aqui deberíamos encontrar solo páginas críticas para el negocio que deben estar a poca profundidad. Por ejemplo, páginas de productos más vendidos o landing pages de campañas.
- Intermedias: Crawl Depth de 4 a 6. Páginas importantes que pueden estar en niveles medios, como categorías secundarias o artículos de blog relevantes y productos con objetivos de ventas.
- Despriorizadas: Crawl Depth de 7 a 9. Páginas menos relevantes que pueden permitirse estar más profundas, como páginas de términos y condiciones o contenido antiguo. Asumimos que no todas se indexarán.
- Ocultas: Crawl depth 10 o +. Páginas que podrían eliminarse o requieren revisión, como contenido duplicado, páginas con errores o que no aportan valor. En realidad sería mejor no tenerlas, pero si tienen que estar que estén lejos.
Este clúster nos permite enfocar nuestros esfuerzos donde más se necesitan y planificar estrategias de optimización efectivas. Básicamente lo que haríamos sería detectar págians que no están en el cluster que se les ha definido y cambiariamos su enlazado para que si lo estuviesen.
Estrategias a partir del Crawl Depth
Entender el Crawl Depth nos proporciona una base sólida para desarrollar estrategias de enlazado interno y mejorar la arquitectura del sitio. A continuación, te explicamos en detalle algunas de las acciones que llevamos a cabo en IKAUE.
Optimización del enlazado interno
Revisamos y ajustamos los enlaces para reducir la profundidad de las páginas importantes:
- Enlaces contextuales: Añadimos enlaces relevantes dentro del contenido que conecten páginas relacionadas. Por ejemplo, en un artículo de blog sobre SEO, enlazamos a servicios relacionados que ofrecemos.
- Menús y navegación: Aseguramos que las páginas clave estén incluidas en los menús principales o secundarios, facilitando el acceso desde cualquier parte del sitio. Además velamos porque estos menús sean dinámicos y aporten más links a medida que profundizan en cada sección.
- Migas de pan (breadcrumbs): Implementamos breadcrumbs para mejorar la navegación y proporcionar enlaces adicionales a niveles superiores. Esto no suele impactar en crawl depth cuando la estructura está bien hecha, pero si lo hará cuando tenga carencias.
Reestructuración de categorías y taxonomías
Simplificamos la estructura para que sea más lógica y accesible:
- Reducción de niveles innecesarios: Eliminamos categorías o subcategorías que no aportan valor y solo añaden profundidad.
- Agrupación inteligente de contenido: Organizamos el contenido en categorías más amplias pero relevantes, evitando la dispersión.
Por ejemplo, si en un blog tienes categorías muy específicas con pocos artículos, es recomendable fusionarlas en categorías más generales para reducir la profundidad.
Control de paginaciones infinitas, sistemas de tags y otras estructuras caóticas
Las paginaciones infinitas y los sistemas de etiquetas mal gestionados pueden generar niveles de profundidad innecesarios y contenido duplicado.
- Limitación de paginaciones: Configuramos un número razonable de páginas en las paginaciones y jugamos con su correcta indexación. Si te interesa este tema tenemos un post donde trabajamos en detalle todas las paginaciones: Cómo gestionar las paginaciones de tu negocio.
- Gestión de etiquetas: Revisamos y limitamos el uso de etiquetas (tags) para evitar que se creen páginas vacías o con poco contenido.
- Detección y gestión de Estrucutras caóticas: Esto suele darse por errores de programación o por no haber pensado en sistemas de URLs que duplican y generan páginas thin content. Gracias al Crawl Depths detectaremos muy fácilmente estas situaciones y podremos corregirlas.
Mejora de la experiencia y calidad de las páginas
Como mencionamos antes, la calidad de las páginas afecta al rastreo. Por ello:
- Optimización de la velocidad de carga: Mejoramos tiempos de carga mediante la compresión de imágenes, uso de caché y optimización del código.
- Contenido de calidad: Revisamos que cada página aporte valor y tenga contenido único y relevante.
- Solución de errores técnicos: Arreglamos enlaces rotos, redirecciones incorrectas y otros problemas que puedan afectar al rastreo.
Es importante entender que estas estrategias deben adaptarse a las necesidades específicas de cada sitio y alinearse con los objetivos generales del negocio. No se trata solo de reducir el Crawl Depth, sino de mejorar la experiencia del usuario y la eficiencia del rastreo.
BONUS: ¿y si mejoramos la calidad del Crawl Depth?
¿Cómo?: Empezando los rastreos desde varias URLS a la vez
Para acercarnos aún más a la realidad de cómo Google rastrea nuestro sitio, podemos mejorar nuestro análisis de Crawl Depth iniciando el rastreo desde múltiples puntos de entrada, no solo desde la homepage del site.
Esto implica que el crawler comenzará a rastrear desde todas las URLs que reciben enlaces externos significativos, simulando así el comportamiento real de Googlebot, que puede entrar por todos ellos en cualquier momento.
Saber desde dónde debo rastrear: desde donde se reciben bastantes enlaces
Crearemos una lista de URLs que reciben al menos 2 o 3 enlaces externos. O que los que reciben no tienen una antigüedad de más de 4 años. Para ello necesitamos identificar las páginas que reciben enlaces externos significativos.
Para ello podremos utilizar:
- Google Search Console: En la sección de Enlaces, encontramos las páginas más enlazadas externamente. Por ejemplo, podemos ver que nuestra página de «Servicios SEO» tiene muchos enlaces entrantes.
GSC es la fuente de la verdad. Muchas veces con solo acudir a este listado será suficiente. Copias las URLs que más enlaces reciben y ya tienes tu lista. Lo que si que es cierto que faltarán.
- Ahrefs: Proporciona un análisis detallado de los backlinks y muestra las páginas con más autoridad. Igual que antes, lo que haríamos en Ahregs es extraer qué páginas tienen más dominios de referencia y enlaces entrantes.
Ahrefs es a día de hoy la fuente de datos de enlaces que más datos va a darte. Normalmente es la que más enlaces detecta y la que más los actualiza por lo que es una buena fuente para hacer este ejercicio. Sin embargo deberás estar suscrito a la herramienta (pagar la cuota) para poder usarla.
- DataForSEO: Es una opción más técnica pero ofrece datos exhaustivos sobre enlaces entrantes. DataForSEO dispone de menos enlaces que Ahrefs pero ofrece un modelo de trabajo basado en peticiones (pagas por lo que consultas). Y aunque cuando trabajas con backlinks el coste minimo en un mes será de 100$, puede ser una alternativa muy interesante para quienes no disponen de ahrefs pero no se contentan con GSC.
Estas herramientas nos permiten generar una lista de URLs que actúan como puntos de entrada para los bots y que deben ser consideradas al iniciar el rastreo.
Incorporar a tu rastreo las URLs
Una vez identificadas estas URLs, debemos incorporarlas al rastreo. Aquí te explicamos cómo hacerlo:
1. Usando Screaming Frog
En Screaming Frog, podemos realizar un rastreo en modo lista, importando las URLs identificadas. Sin embargo, debemos asegurarnos de que el crawler continúe más allá de estas URLs iniciales.
Pasos a seguir:
- Abre Screaming Frog y selecciona Modo Lista.
- Importa la lista de URLs desde un archivo CSV o TXT.
- Ve a Configuración > Spider y asegúrate de que la opción Respect Crawl Depth Limit está desactivada o ajustada según tus necesidades.
- Inicia el rastreo.
De esta manera, Screaming Frog comenzará el rastreo desde múltiples puntos y seguirá los enlaces internos, permitiéndote obtener un Crawl Depth más realista.
2. Si tu crawler no permite esta opción
Si tu herramienta no permite iniciar el rastreo desde múltiples URLs, puedes utilizar una solución alternativa:
- Crear una página HTML que contenga todos los enlaces a las URLs identificadas. Puedes crearla manualmente o incluso utilizar ChatGPT para generar el código.
- Sube esta página a tu dominio en una URL que no esté enlazada desde ningún otro lugar, por ejemplo, tusitio.com/puntos-de-entrada.html.
- Inicia el rastreo desde esta página.
Ejemplo de código HTML:
<!DOCTYPE html>
<html lang="es">
<head>
<meta charset="UTF-8">
<title>Puntos de Entrada</title>
</head>
<body>
<a href="https://tu-sitio.com/pagina1">Página 1</a><br>
<a href="https://tu-sitio.com/pagina2">Página 2</a><br>
<a href="https://tu-sitio.com/pagina3">Página 3</a><br>
<!-- Añade todas las URLs relevantes -->
</body>
</html>
Al iniciar el rastreo desde esta página, las URLs enlazadas serán consideradas como Crawl Depth 1, y podrás obtener un análisis más preciso que refleje mejor cómo los bots acceden a tu sitio.
3. En IKAUE: uso de un crawler propio
En IKAUE, contamos con un crawler propio programado por nuestro equipo. Esta herramienta nos permite:
- Iniciar el rastreo desde múltiples URLs simultáneamente, sin limitaciones.
- Personalizar las reglas de rastreo: Podemos definir cómo se comporta el crawler en diferentes situaciones, como seguir o no ciertos tipos de enlaces.
- Adaptar el rastreo a las necesidades específicas de cada proyecto: Esto es especialmente útil en sitios grandes o con estructuras complejas.
Gracias a esta herramienta, podemos obtener datos más precisos y adaptados a lo que buscamos.
Beneficios de este enfoque
Al mejorar el valor del Crawl Depth iniciando el rastreo desde múltiples puntos vas a poder terminar de profundizar tus análisis. La nueva versión de tu rastreo detectará antes las URLs por las que realmente entra Google. Eso te dará una visión mucho más cercana a los problemas que realmente tiene Google:
- Obtenemos datos más realistas: Reflejamos mejor cómo Googlebot interactúa con nuestro sitio, teniendo en cuenta todos los puntos de entrada.
- Identificamos problemas ocultos: Detectamos páginas que podrían estar teniendo problemas de indexación o que están demasiado profundas incluso desde otros puntos de entrada. Además descartamos aquellas que creíamos que eran problemáticas pero en realidad se indexaban bien gracias a estos enlaces externos.
- Mejoramos la precisión en la toma de decisiones: Al tener una imagen más completa, podemos priorizar acciones basadas en datos más confiables. Esto significa más seguridad. Cuando veas que el Crawl Depth es algo, sabrás, ahora si, sin dudas, que esa URL no puede indexarse bien nunca.
Es recomendable aplicar este método especialmente cuando ya estamos trabajando en profundidad con temas de crawl budget y necesitamos un análisis más detallado.
Cuando hagas esto toda tu perspectiva de análisis cambiará:
- Tu crawl depth máximo y punto en el que se indexa todo el negocio serán más cercanos.
- Tu curva se acercará mucho más hacia los niveles bajos, lo que singifnca que el análisis de curvas será un poco distinto.
- Los cruces con datos serán igual de interesantes y más valisosos aún que antes.
- Dispondrás de la posibildaid de observar las diferencias entre el crawl desde la home vs desde páginas con enlaces significativos. Eso te dejará claro porque a pesar de los problemas de tu estructura de enlaces, hay cosas que indexan bien.
Conclusión
Con todo esto podemos afirmar que el Crawl Depth es un indicador muy valioso que puede agilizar la toma de decisiones en una estrategia SEO, especialmente en una auditoría. Sin embargo, para sacarle el máximo provecho, debemos:
- Entender sus limitaciones: Saber que no refleja completamente cómo Google rastrea nuestro sitio y que factores como el Reasonable Surfer y la calidad de la página también influyen.
- Cruzarlo con otras métricas: Combinar el Crawl Depth con datos de indexación, rendimiento y tipología de páginas nos permite identificar y priorizar problemas de manera más efectiva.
- Mejorar el análisis: Iniciando el rastreo desde múltiples puntos de entrada, obtenemos una visión más precisa y realista de la estructura y accesibilidad de nuestro sitio.
En definitiva, al comprender y aplicar correctamente el análisis del Crawl Depth, podemos:
- Optimizar nuestra estrategia de enlazado interno, mejorando la distribución de enlaces y reduciendo la profundidad de las páginas clave.
- Mejorar la rastreabilidad y la indexación de nuestras páginas, aumentando la visibilidad en los motores de búsqueda.
- Potenciar significativamente el rendimiento SEO de nuestro sitio web, lo que se traduce en más tráfico orgánico y oportunidades de negocio.
Recuerda que es recomendable que adaptes estas prácticas a las necesidades específicas de tu proyecto y que siempre tengas en cuenta que la calidad y experiencia del usuario son factores clave en cualquier estrategia SEO exitosa.
En IKAUE, creemos firmemente que entender y aprovechar herramientas como los Crawlers y en su uso la lectura del Crawl Depth es fundamental para llevar tu estrategia SEO al siguiente nivel. Si tienes dudas o necesitas ayuda para optimizar tu sitio, no dudes en contactarnos. ¡Estamos aquí para ayudarte a crecer!