Sitemaps, robots y METAs

El buscador de Google sin duda es el más usado. Según dicen, 2 de cada 3 búsquedas se hacen a través de él y muchos otros buscadores utilizan sus motores. De alli que tratar que Google note nuestra existencia es una de las preocupaciones de cualquier sitio y, en mayor o menor medida, es lógico que nos ocupemos del tema.

Las herramientas de Google para Desarrolladores (Google Webmaster Tools) son un paso casi obligado en la vida de un blog sobre todo ahora que Blogger las ha integrado.

Pará qué sirven o cómo las usamos es más difícil de contestar pero, lo elemental es agregar un sitemap de nuestro sitio para mejorar la indexación; es decir, para que nuestras entradas aparezcan en los buscadores (más información).

Google nos explica que un sitemap es un archivo en formato XML que les proporciona información sobre un sitio web y lo que contiene es, básicamente, una lista de las páginas de ese sitio. Esa lista cubre las posible omisiones o errores de los robots que, de todas maneras, rastrean la web en búsqueda de contenido. Su utilidad aumenta si el sitio es dinámico, es decir, si cambia con cierta regularidad (un blog, por ejemplo) o si es nuevo y no tiene muchos enlaces externos.

Eventualmente, esos sitemaps también agregan otro tipo de información: la frecuencia con la que se modifican las páginas; las fechas de esas modificaciones; la importancia relativa de las páginas dentro del sitio; etc.

Hay que tener claro que, la existencia o no de esos sitemaps no garantiza nada, sólo son un complemento (más información).

Un sitemap estándar funcionará en la mayoría de los sitios aunque hay ciertas variantes que pueden incluirse y que son específicas de cada buscador.

Este es un contenido típico:

<url>
  <loc>http://misitio.com/</loc>
  <lastmod>2008-09-02T03:00:13+00:00</lastmod>
  <changefreq>daily</changefreq>
  <priority>1.0</priority>
</url>
<url>
  <loc>http://misitio.com/carpeta/unaentrada..html/</loc>
  <lastmod>2008-08-26T05:56:47+00:00</lastmod>
  <changefreq>monthly</changefreq>
  <priority>0.7</priority>
</url>

En resumen, un sitemap es un archivo XML que se genera con alguna aplicación y que luego, podemos editar pero, en el caso especial de Blogger esto no es así ya que, simplemente, no nos lo permite y debemos utilizar feeds para crear algo similar.

Del mismo modo, hay otro archivo de texto llamado robots.txt que también (si nos dejaran) podríamos utilizar.

Ese archivo es el que nos permitiría controlar la forma en que los rastreadores (crawlers) como los Googlebots de Google deben interpretar nuestro sitio aunque, en realidad, su contenido sólo son "sugerencias" y esos rastreadores pueden aceptarlas o no. Por ejemplo, podría impedirse el accesos a algunos de ellos (los que "roban" contenido), limitar la frecuencia de rastreo, eliminar páginas o contenido irrelevante o duplicado, etc.

Cuando un crawler visita una página, lo primero que busca en el servidor es el archivo robots.txt y si lo encuentra, lo analiza para ver si le está permitido acceder al contenido y, dentro de ciertos límite, sigue las directivas establecidas en él (más información).

Como ya sabemos, los blogs de Blogger no tienen acceso a ese archivo, es el servicio quien lo crea y lo maneja a su antojo. En el menú Herramientas de Google Webmaster Tools nos vamos a encontrar con la posibilidad de analizarlo o verlo con la opción Análisis de robots.txt:

URL de robots.txt http://vagabundia.blogspot.com/robots.txt
Descargado por última vez Hace 47 minutos
Estado 200 (Correcta)

El texto de ese archivo dirá esto:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Noindex: /feedReaderJson

Sitemap: http://nombre.blogspot.com/feeds/posts/default?orderby=updated

Todos los robots.txt de Blogger dirán exactamente lo mismo.

User-agent es el nombre del rastreador al que se le dan instrucciones:

• Mediapartners-Google es el que se encarga de los anuncios de Google Adsense
• Googlebot-Image es el que indexa las imágenes de Google
• Slurp es el de Yahoo
• Googlebot el de Google
• msnbot el de MSN

Disallow se usa para indicar las rutas prohibidas, aquellas que no queremos que se indexen.

Disallow: # sin valor, indica que no hay restricciones
Disallow: /search # impide la indexacion de las paginas que son resultados de búsquedas internas

Podría haber otras y, por ejemplo, usar un asterisco para especificar a todos los robots:

User-Agent: *
Disallow: / # impide la indexacion de todas las paginas
Disallow: /contacto.html # no indexar esa página
Disallow: /privado/ # no indexar el contenido de ese directorio
Disallow: /*.css$ # impide la indexacion de los archivos con extensión CSS

Cuando vamos a la parte de Diagnóstico, nos muestra errores. Algunos son culpa nuestra (Errores de HTTP) y son el resultado de enlaces equivocados. Esos deberíamos tratar de corregirlos; lo mismo ocurre con los listados como No se ha encontrado.

Otros tipo de error que nos muestra es el que suele causar dudas: URL restringidas por robots.txt y allí veremos, por ejemplo:

http://misitio.blogspot.com/feedReaderJson
http://misitio.blogspot.com/search/label/

Esos, no son errores sino que es lo que dice nuestro archivo robots.txt, las páginas de búsqueda no serán indexadas, están bloqueadas y eso, no es malo sino bueno.

Noindex: /feedReaderJson es una nueva restricción que se ha agregado recientemente y que impide que los enlaces generados via los scripts de Json sean indexados (más información).

Las Herramientas para Webmasters también permiten generar un archivo robots.txt, verificarlo, probarlo, etc pero, de nada nos servirá en Blogger ya que no tenemos ninguna posibilidad de alojarlo.

Ahora bien, si no podemos crear ese archivo pero queremos personalizar algunas instrucciones, podemos utilizar las etiquetas META para comunicarnos con esos robots.

<META name="robots" content="INDEX,FOLLOW" />
indica que se indexe la página y todos sus enlaces (es el valor por defecto)

<META name="robots" content="INDEX,NOFOLLOW" />
indica que se indexe la página pero no los enlaces

<META name="robots" content="NOINDEX,FOLLOW" />
indica que NO se indexe la página pero si los enlaces

<META name="robots" content="NOINDEX,NOFOLLOW" />
indica que no se indexe la página ni sus enlaces