Jill Whalen рассказывает о том, что на очередной конференции SEMNE (Search Engine Marketing New England), Dan Crow, (director of crawl systems at Google) докладывал о новых возможностях кроулеров Google.

Вначале Дэн рассказывал о том как индексируются сайты и о работах усовершенствования стандарта robots.txt (команд) в перспективе…