Herramienta comprobación de robots.txt

Antes que nada, quería darte una referencia a la información que hemos publicado en DesarrolloWeb.com sobre el archivo robots.txt. Después contestar tu pregunta, que es sencilla. No se si conoces las herramientas para websmasters de google: https://www.google.com/webmasters/tools/ Entre esas herramientas hay una que te interesará, que sirve para comprobar la validez de nuestro robots.txt. Permite por ejemplo escribir URLs distintas y procesarlas con el robots.txt para saber si estrían permitidas por este o bloqueadas. Es un poco laborioso, porque tendrías que ir página a página o URL a URL en la que tienes dudas, revisando si está o no bloqueada por el robots.txt, pero por lo menos te da una buena información.