Инструменты для веб-мастеров от Гугл (Google Webmaster Central) анонсировали инструмент для создания файла robots.txt.
Теперь запрещать и разрешать индексация элементов сайта просто. И главное, что Гугл проследит за тем, чтобы не было ошибок.