La indexación de páginas es uno de los pilares fundamentales en cualquier estrategia de SEO. Sin indexación, no hay posicionamiento, y sin posicionamiento, no hay sesiones ni conversiones. Este principio básico, aunque a menudo pasado por alto, es crucial para cualquier profesional del SEO. Es fundamental entender que una página solo es útil si está indexada por Google, ya que esto es lo que permitirá que aparezca en los resultados de búsqueda.
Una página indexada es aquella que Google no solo ha rastreado, sino que también ha considerado válida y la ha asociado con palabras clave específicas.
Es decir, el motor de búsqueda ha decidido que dicha página merece aparecer en sus resultados cuando los usuarios realizan búsquedas relacionadas. Por lo tanto, sin este paso, toda la optimización y generación de contenido se queda en un esfuerzo estéril. Controlar qué páginas están indexadas es, por tanto, la base de cualquier análisis serio de SEO técnico.
Paso 1: Hay que entender la diferencia entre rastreo e indexación
Uno de los conceptos más importantes en SEO técnico es la distinción entre el rastreo y la indexación. Es un error común asumir que si Google ha rastreado una URL, esta será automáticamente indexada. Sin embargo, la realidad es más compleja: Google puede decidir no indexar una URL por diversas razones, incluso si la rastrea constantemente.
- Baja calidad del contenido
- Poca autoridad
- Problemas de duplicidad
- Mala experiencia en la página
- Poca credibilidad del site, autor o contenido
- Pocas visitas de Googlebot
- Etc.
Además, el hecho de que una URL haya sido indexada en algún momento no garantiza que continúe siéndolo en el futuro.
Debemos entender también que, en ciertos casos, Google puede indexar una URL sin haberla rastreado nunca. Esto puede suceder, por ejemplo, cuando una URL está bloqueada por un archivo robots.txt que le prohíbe visitarla. Aun así, si Google encuentra enlaces hacia esa URL, podría optar por indexarla sin realizar un rastreo. En definitiva, hay que diferenciar, como mínimo conceptualmente el rastreo de la indexación.
El desafío de analizar la indexación de páginas
A pesar de la importancia de la indexación, analizar este aspecto es uno de los mayores retos en SEO técnico. Google ofrece datos valiosos en Google Search Console (GSC) y otras herramientas, pero estos no siempre son suficientes para obtener una visión clara de la indexación. En GSC, podemos ver métricas como impresiones, clics y rastreo, pero el dato exacto sobre si una URL está indexada o no es difícil de obtener para todas ellas.
Qué nos dan Google o nuestras herramientas SEO para analizar la indexación
En el proceso de analizar la indexación de URLs, es común recurrir a diversas herramientas SEO, cada una ofreciendo datos que pueden parecer útiles, pero que al final no proporcionan una visión completa o precisa de la situación. A continuación, se describen algunas de las fuentes más comunes para obtener datos de indexación y por qué pueden resultar insuficientes en muchos escenarios:
- Informe de páginas en Google Search Console (GSC):
GSC es la herramienta de referencia para obtener datos de rendimiento en Google, incluyendo impresiones, clics y métricas de rastreo. Dentro de esta suite, GSC ofrece un informe de cobertura del índice de Google al que llama «Páginas». El informe muestra páginas válidas y excluidas con todo detalle y sin duda es la fuente más fiable por la que podemos obtar para conocer la indexación de nuestros sites.
¿El problema?, el informe no permite una verificación detallada de la indexación URL por URL de manera simple. En ese informe, los datos se presentan de manera acumulada por cada estado de las URLs. Cuando intentamos bajar al detalle tan solo se nos dan por lo general 500 o máximo 1000 URLs de ejemplo y nunca más. Esto dificulta enormemente identificar problemas específicos de indexación o realizar cualquier análisis con clusters o tipologías de URLs y contenidos.Aunque existen soluciones parciales a este problema, como la subida de Sitemaps troceados, que harán que podamos filtrar por sus URLs para profundizar algo en los problemas, la realidad es que este informe no es el más cómodo ni el más versátil para analizar nada.
- Logs del servidor y GSC Crawl Stats:
Los registros de logs y las estadísticas de rastreo (también dentro de GSC) proporcionan información sobre las páginas que Google ha rastreado. Si bien en «Crawl Stats» de GSC seguimos quedándonos cortos de análisis, la realidad es que con un trabajo detallado de los logs de acceso del servidor se puede llegar al nivel de detalle que tu desees. Sí, definitivamente los logs nos dejan analizar sin problemas el rastreo de Google. No obstante, es importante recordar (otra vez más) que rastreo no es sinónimo de indexación. Google puede rastrear una página sin necesariamente incluirla en su índice. Por lo tanto, confiar solo en estos datos puede llevar a conclusiones erróneas sobre la indexación real de tu negocio. No, no nos sirve como herramienta de control de la indexación.