La cueva

Por / Martes, 24 febrero 2015 / Publicado en Marketing

Después de crear un sitio web, queremos que los buscadores lo muestren cuando el usuario haga una búsqueda relacionada ¿verdad? Para ello, los crawlers indexan nuestro sitio en sus librerías.

¿Qué es indexar?

Bueno, lo primero que tenemos que entender es la estructura de nuestro sitio como un árbol dónde cada rama es una página diferente con su propia URL.
Las arañas de los buscadores recorren toda esta estructura para conocer todas las URLs que componen la web y las van guardando para después poder mostrarlas en las páginas de resultados. La araña se introduce en la cueva y recorre y reconoce nuestro sitio.

Para guiar a las arañas por nuestra cueva, creamos dos archivos que subimos a la carpeta raíz de nuestra web: robots.txt y sitemap.xml. A través de ellos, conversamos con la araña para decirle qué queremos que indexe y cómo queremos que lo haga. Con robots.txt le podemos indicar si tenemos carpetas o páginas que no queremos que tenga en sus librerías con la orden “disallow”.

 
robots-boe

robots.txt de http://boe.es/

 

Y con sitemap.xml le pasamos la estructura (el árbol) de nuestro sitio, donde además le podemos indicar con qué frecuencia queremos que entre en la cueva e incluso establecer una prioridad entre las páginas.

 
dexconectamadrid-grupoidimad

sitemap.xml de http://dexconectamadrid.es/

 
Screaming-Frog-Logo

Una de mis herramientas preferidas para conocer la estructura de un sitio web es Screaming Frog SEO que asemeja el comportamiento de las arañas de los buscadores y nos ayuda a entender cómo ven estos nuestro sitio. Con esta herramienta podemos ver toda la organización de cualquier sitio, incluidas meta etiquetas, titles, etc… y podemos analizar a la competencia… pero eso es otro tema que ya trataremos… (:

 
 
 

Héctor

Dpto. Ingeniería y SEO Junior en Grupo Idimad

SUBIR