POSICIONAMIENTO WEB: EL ARCHIVO ROBOTS.txt
El pasado día 9 de Julio, se presentó otro número más del boletín electrónico de diseño grafico y web por parte de Método profesional. PAra ese boletín desarrollamos desde flashmanía un artículo relacionado con el posicionamiento web en buscadores. ¿ Como configurar el archivo robots txt ?
si quereis ampliar informacion y ver otros artículos del boletín electrónico del grupo empresarial Método Profesional, podeis verlo aquí:
http://www.metodoprofesional.es/boletin/7/
podeis encontrar el artículo desarrollado en el siguiente link:
Desde flashmanía deseamos que os sea de gran ayuda.
=========
Debeido a que dicho blog cerró he decidido publicar el contenido aquí mismo de nuevo.
En esta publicación veremos paso a paso, qué es el archivo robots.txt, para qué sirve, y como configurarlo para mejorar el posicionamiento natural en buscadores. Os dejamos un recurso en descarga directa, para optimizar vuestro tiempo con este recurso y no perder tiempo en elaborarlo.
A) ¿QUÉ ES UN ARCHIVO robots.txt?
El archivo robots.txt, no es más que una guía, un sendero con el que le damos ordenes a los spiders/arañas de los principales buscadores, indicándoles, qué queremos que hagan.
Estas arañas, al llegar a nuestro sitio lo primero que hacen es ver si existe este simple archivo de texto plano, y si es así, seguir las directivas de rastreamiento de nuestro website, que le indiquemos. En simples palabras, decirle qué tiene y que no tiene que indexar.
B) ¿PARA QUÉ SIRVE UN ARCHIVO robots.txt?
Con un archivo robots.txt, lo que hacemos no es más que optimizar, frente a los principales buscadores y de manera directa, qué contenidos nos interesan o no indexar. Imaginemos la siguiente situación, supongamos que tenemos una página web personal, donde tenemos publicado nuestro currículum vitae, y realmente no nos interesa publicar esto de manera abierta en internet.
Lo que hacemos mediante el robots.txt, es decirle que no lea, que no indexe, la ruta donde se encuentra nuestro currículum, de esta manera sólo estará accesible para aquellas personas a las que les facilitemos la url, de dicho documento.
El archivo en sí no se modifica, el .pdf, .doc, no se modifica en ningún momento, digamos que robots.txt, solo afecta a la manera en la que indexamos nuestro website en internet.
C) ¿CÓMO SE CREA UN ARCHIVO robots.txt?
Para comenzar a elaborar, nuestro archivo robots.txt, lo único que tenemos que disponer es de un editor de texto plano, crearemos un documento nuevo en blanco y lo guardaremos con el nombre “robots.txt” (sin comillas y sin mayúsculas), el siguiente paso es plasmar las directivas de indexación.
Los comandos de configuración son los siguientes:
Nunca puede haber, contradicciones, con estos comandos. Debido a que Allow: y Disallow:, podrían entrar en contradicciones, la gran mayoría de los especialistas en seo, hacen que se decanten por los comandos y parámetros de Disallow:
Os pondremos algunos ejemplos para que lo veáis más claro:
NINGÚN BUSCADOR RASTREARÁ NUESTRO WEBSITE
User-agent: *
Disallow: /
NO RASTREAR UN DIRECTORIO (en este caso un foro)
User-agent: *
Disallow: /foro/
TODOS LOS BUSCADORES PUEDEN RASTREAR TODO
User-agent: *
Disallow:
>> esta opción podría hacerse, también, introduciendo el archivo robots.txt, en blanco completamente.
EXCLUIR UN ROBOT EN PARTICULAR
User-agent: BadBot
Disallow: /
PERMITIR SOLO A UN BUSCADOR (en este caso google)
User-agent: Google
Disallow:
User-agent: *
Disallow: /
BLOQUEAR ARCHIVOS DE UN TIPO ( por ejemplo todo los archivos jpg, de nuestro website )
User-agent: Googlebot
Disallow: /*.jpg$
BLOQUEAR UNA IMAGEN EN CONCRETO
User-agent: Googlebot-Image
Disallow: /imagenes/perros.jpg
D) HAY ALGUNA MANERA DE SABER… ¿CUÁNTOS BUSCADORES EXISTEN Y COMO DAR DIRECTIVAS A CADA UNO DE ELLOS?
Efectivamente esto es una de las cosas más importantes a tener en cuenta, saber cuántos buscadores existen en la actualidad, y elaborar directivas para cada uno de ellos( o para todos en concreto).
De manera informativa podréis consultar un listado de buscadores y arañas a las que seducir, aquí (link hacia http://www.robotstxt.org/db.html)
E) ¿DÓNDE TENEMOS QUE COLORAR NUESTRO ARCHIVO robots.txt?
La ubicación exacta, de estos archivos txt, será en la raíz de nuestro sitio web. Ponerla en un directorio, no nos servirá de nada. Tenemos que tener en cuenta, además que tendremos que realizar uno para el servidor normal (http://) y otro para el servidor seguro (https://).
F) ¿SE PUEDEN FACILITAR MÁS DATOS A UN ARCHIVO TXT?
Efectivamente se está extendiendo entre la comunidad seo, indicar además dentro del archivo robots.txt, la ruta de nuestro sitemap, en formato xml. La facilitaríamos al final y de la siguiente manera.
Sitemap: http://tusitioweb.com/sitemap.xml
G) RECURSOS
Como recursos os dejamos un archivo robots.txt para permitir un acceso total, que os puede ser muy fácil de implementar. Así podréis analizar la estructura del documento.
Recurso web Ofrecido por Juan Garcia Delicado
www.flashmania.es sugerencias en: hola@cashuba.com
Dejar una contestacion