Создание и поддержка корректных файлов robots.txt порой задача не из легких. Особенно вопрос поддержки становится важным, когда нужно найти директивы в большом файле robots.txt, которые блокируют отдельный URL-адрес. Чтобы упростить эту задачу, ребята из Google Webmaster Tools представили обновленный инструмент тестирования robots.txt. Его можно найти в разделе «Сканирование».