Curso de SEO http://bit.ly/cursoseoyt

El Robots.txt es un archivo sencillo en estructura, pero con una implicancia en SEO alta. Se trata de un archivo en texto plano con el cual nosotros podemos avisarle a los diferentes 'bots' si son o no bienvenidos dentro de nuestro sitio. Por lo general todas las páginas web tienen un robots.txt, saber si este archivo está es muy sencillo: Debemos ir a la raíz del dominio y escribir /robots.txt
Ejemplo: jorgejaramillo.com/robots.txt

¿Cómo crear un robots.txt?
Debemos crear un archivo en texto plano, e un editor de notas como por ejemplo 'notepad++' o 'sublime text', también podemos ir a buscar en Google algún generador de Robotst.txt. Existen miles de herramientas en las cuales sólo debemos llenar algunos pasos y ya.

Este archivo es opcional, pero es necesario para no bloquear o para bloquear un 'bot' (Robot) particular por ejemoplo.

Recomendaciones:
Asesorarse bien siempre antes de subir su archivo Robots.txt en la raíz
02:09 Agregar la URL de los diferentes sitemaps de forma absoluta, como aparece en el ejemplo
No se le puede cambiar el nombre a este archivo

Herramientas para generar Robots.txt
http://tools.seobook.com/robots-txt/generator/
http://tools.seochat.com/tools/online-robots-txt-generator/

Documentarse
http://www.robotstxt.org/

Preguntas frecuentes:
¿Para qué bloquear un robots.txt?
Cada vez que entra un 'bot' a nuestro sitio, es como un visitante. Algunas visitas no son convenientes, sobretodo si manejamos temas de pauta... Pueden haber bots que hacen que la pauta se imprima, pero esta, nunca llegó a un usuario real.

Tengo Wordpress ¿Cómo creo mi robots?
Por lo general en CMS como Wordpress, por ejemplo, traen por defecto estos archivos.

¿Más dudas? En twitter @JorgeJaramillo

Mis redes sociales:
https://twitter.com/jorgejaramillo
https://plus.google.com/+JorgeJaramilloGomez
https://www.instagram.com/jorgejaramillog/
http://www.slideshare.net/jorgejaramillo