La indexación de un sitio web es un proceso en el que Google rastrea y registra tu sitio web en su base de datos. Esta tarea ha sido optimizada por Google hasta el punto que los nuevos sitios consiguen estar en pocas horas indexado.

Si alguna vez, has creado un blog nuevo y has utilizado el comando site: para ver si estaba indexado, habrás notado que por lo general Google ya lo tiene.

Salvo de si hay algunas razones por las que Google no quiere indexar tu sitio, la tarea de indexación, no debe ser una cuestión en el que se debe esperar demasiado como sucedía años antes. 

Cuando hablamos de indexación de un sitio web, hablamos entonces de que esté bien indexado, ya que el robot de rastreo de Google puede encontrar muchos elementos a indexar que a ti no te conviene.

Aquí es donde entra a tallar algunos aspectos que vamos a precisar en este post y que conviene tomarlo en cuenta si deseas tu sitio bien indexado por Google

Robot .TXT

El archivo robots.txt es un archivo de texto simple que le da al robot de Google instrucciones específicas sobre cómo el sitio web debe ser rastreado. Por ejemplo, la exclusión de ciertos directorios. Estos son a menudo áreas de datos sensibles, tales como cuentas de acceso y los clientes, que no deben ser indexados.

Al crear el archivo robots.txt, es importante asegurarse de que el robot tiene acceso a todos los recursos necesarios para visualizar correctamente su sitio web. Por ejemplo, se debe evitar el bloqueo de archivos CSS o JavaScript en el archivo robots.txt.

Si desea excluir un directorio específico del rastreo, utilice el siguiente código en el archivo robots.txt:

User-agent: *
Disallow: / directorio / *

La estrella es un marcador de posición (llamada comodín) y representa el resto del contenido asociado a este directorio.

Después de crear el archivo robots.txt, es necesario guardarlo en el directorio raíz del sitio web:

www.mywebsite.com/robots.txt

Google Search Console

Para comprobar que todo esté funcionando correctamente, Google ha proporcionado el Google Search Console que era antes llamada Webmaster Tools aunque en esencia sólo el nombre ha cambiado, mientras que las funciones continúan siendo las mismas que es la de hacer un seguimiento a nivel estrictamente técnico del sitio web con datos de su rendimiento y de su indexación.

El SiteMsp o mapa del sitio

Además robots.txt, hay otro archivo que desempeña un papel clave para la indexación de un sitio web: el mapa del sitio XML . Este es un archivo legible por máquina, una lista de todas las URL de su sitio web. Estos datos estructurados se crean en forma de texto y guardar en formato XML. Este archivo también le permite señalar otros datos además de las direcciones URL.

Después de haber creado el archivo XML, agregarlo a la consola de Google Search para informar a Google las direcciones URL existentes. Sin embargo, el mapa del sitio XML sólo recomienda las direcciones URL a Google y no le da al robot cualquier instrucción como en el archivo robots.txt. Google, por lo tanto, va a ignorar el contenido del archivo cuando la indexación de un sitio web.