Иногда нужно, чтобы поисковая машина не индексировала некоторые страницы сайта. Это можно сделать с помощью файла robots.txt, который должен находиться в корневом каталоге вашего сервера.