http://news2.ru/ Вы сами выбираете самые интересные и актуальные темы. Самые лучшие попадают на главную страницу. 10 ru http://news2.ru/image/logo2x.png http://news2.ru/ https://www.news2.ru/story/57863/
Какие выводы мы можем сделать исходя из этих данных? Главный вывод я думаю состоит в том, что Robots Exclusion Protocol намного более сложный чем кажется. На месте паука для того, чтобы правильно распарсить множество совершенно разных и сумасшедших robots.txt по всему Интернету, вам нужно написать исключительно гибкий парсер (следуя Robustness Principle), в большинстве случаев игнорировать тип содержания (content-type), уметь распознавать множество кодировок (и в большинстве случаев просто игнорировать возвращаемую сервером кодировку), распознавать HTML и другие виды контента в файлах robots.txt и потенциально поддерживать множество расширений к принятому стандарту.

А что насчет высказанного выше утверждения, что пауки должны спрашивать разрешения на индексацию у вебмастера? Недавний проигранный иск правительства Бельгии против Google еще раз подтвердил верность позиции поисковых систем:

"Из-за огромного размера Интернета для поисковой системы невозможно персонально спросить каждого вебмастера можно загрузить ту или иную страницу или нельзя. Если бы такое разрешение было обязательным, то Интернет бы развалился." - Andrew McLaughlin, глава отдела Google по конфиденциальности.

Если бы это произошло, то почти четверть доменов стали бы "черными ящиками" для поисковых систем. Тогда эти сайты просто не существовали бы для большинства пользователей. Такой результат не устроил бы никого - ни вебмастеров, ни поисковые системы.
(http://www.egorych.com/in...)]]> стартапы и сервисы Sun, 23 Sep 2007 18:27:30 +0400 egorych 57863 https://www.news2.ru/story/57859/ (http://board.blogforum.ru...)]]> стартапы и сервисы Sun, 23 Sep 2007 17:19:06 +0400 kibersaid 57859 https://www.news2.ru/story/57847/ atoolo работает на рекламной основе и для пользователя бесплатен
(http://ru.atoolo.com)]]> стартапы и сервисы Sun, 23 Sep 2007 13:48:51 +0400 Dimonuch 57847 https://www.news2.ru/story/57843/
Запущен первый релиз программы; для тестирования нужны добровольцы. Присоединяйтесь!
(http://levati.kharkov.ua/...)]]> стартапы и сервисы Sun, 23 Sep 2007 13:20:01 +0400 levati 57843 https://www.news2.ru/story/57820/ (http://www.rossiya-airlin...)]]> стартапы и сервисы Sun, 23 Sep 2007 00:15:55 +0400 MaulNet 57820 https://www.news2.ru/story/57747/ (http://webplanet.ru/knowh...)]]> стартапы и сервисы Sat, 22 Sep 2007 03:28:06 +0400 MaulNet 57747 https://www.news2.ru/story/57745/ (http://www.habrahabr.ru/b...)]]> стартапы и сервисы Sat, 22 Sep 2007 02:59:07 +0400 MaulNet 57745 https://www.news2.ru/story/57710/ (http://trender.ru/archive...)]]> стартапы и сервисы Fri, 21 Sep 2007 21:15:52 +0400 zaha 57710 https://www.news2.ru/story/57702/ Зарегистрировавшись у нас, вы можете больше не тратить время на поиск копирайтера, просмотр энного количества комментариев неизвестных Вам исполнителей и изучение их портфолио. Мы продумали все до мелочей...
(http://internet.ru/news/2...)]]> стартапы и сервисы Fri, 21 Sep 2007 19:59:00 +0400 mihas 57702 https://www.news2.ru/story/57697/ (http://telnews.ru/event/1...)]]> стартапы и сервисы Fri, 21 Sep 2007 19:00:47 +0400 zaha 57697 https://www.news2.ru/story/57676/ (http://rublicon.ru/articl...)]]> стартапы и сервисы Fri, 21 Sep 2007 17:19:21 +0400 zaha 57676 https://www.news2.ru/story/57651/ (http://www.izcity.com/dat...)]]> стартапы и сервисы Fri, 21 Sep 2007 16:02:56 +0400 izone 57651 https://www.news2.ru/story/57636/ (http://maulnet.ru/archive...)]]> стартапы и сервисы Fri, 21 Sep 2007 15:06:43 +0400 mihas 57636 https://www.news2.ru/story/57618/ На офблоге компании Bookcare появился пост о том, что первая партия в 100 штук обложек готова. И в самое ближайшее время поступит в продажу.

(http://free-m.blogspot.co...)]]> стартапы и сервисы Fri, 21 Sep 2007 14:18:37 +0400 eretik 57618 https://www.news2.ru/story/57610/ (http://internet.cnews.ru/...)]]> стартапы и сервисы Fri, 21 Sep 2007 13:29:12 +0400 Koreps 57610 https://www.news2.ru/story/57607/ (http://internetno.net/200...)]]> стартапы и сервисы Fri, 21 Sep 2007 13:21:31 +0400 Koreps 57607 https://www.news2.ru/story/57584/ (http://internet.ru/news/2...)]]> стартапы и сервисы Fri, 21 Sep 2007 11:31:27 +0400 opticus 57584 https://www.news2.ru/story/57572/ здесь.

Любой из вас может мне возразить: а как же быть с конкурентами? Потребитель ведь стремится купить все услуги в одном месте, и тот, кто предоставит ему такую возможность, однозначно выиграет. Вы правы, но кто мешает вам быть для клиента той точкой, через которую можно купить любые ИТ-услуги? Одно дело выполнять "все виды работ", а другое - знать, как помочь клиенту решить любую его проблему. Заводите партнеров. Чем больше - тем лучше. Передавайте непрофильные заказы партнерам. Дружите с людьми, помогайте им зарабатывать деньги, и они не останутся в долгу. Однако, подбирая партнеров, помните, что они также должны специализироваться на чем-то одном. Дружба с широкопрофильными компаниями всегда выходит боком, т.к. они все делают одинаково посредственно, а отвечать за их работу перед клиентом - вам.
(http://it4business.ru/art...)]]> стартапы и сервисы Fri, 21 Sep 2007 11:02:14 +0400 Case 57572 https://www.news2.ru/story/57568/ Соседи-Онлайн.Ру, открытая бета-версия. Цель проекта - дать пользователям возможность узнать, что происходит в их районе, какие полезные места и интересные люди находятся рядом. Помочь найти друзей, единомышленников и предоставить возможность обмениваться мнениями о значимых местах в своем районе и его окрестностях.

Важная особенность нового сервиса - карта, на которой отображаются интересные места, предстоящие события и люди. На карте вы легко можете отобразить, например, всех любителей катания на роликах в вашем районе. В других разделах карты можно видеть места прохождения предстоящих событий, информацию о которых можно прочитать тут же. И конечно же на карте обозначены те места, которые пользователи проекта посчитали интересными, к ним все посетители ресурса могут добавить свои отзывы.

Сайт Соседей - это виртуальный образ города, который формируют сами пользователи так, как они его видят. Для удобства вся информация на сайте структурируется по районам. Ежедневно здесь публикуются сотни новостей и анонсов предстоящих событий, множество обзоров интересных и полезных мест - магазинов, аптек, детских садов, парков, кинотеатров и других социально значимых объектов. Все это делается усилиями команды Соседей и множества пользователей. Зарегистрировавшись, вы сможете добавлять новые объекты на сайт, редактировать существующие и высказывать свое мнение в виде отзывов к объектам, а также комментариев на своем районном форуме. Чтобы предотвратить хаос, сайт имеет несколько степеней защиты от спама, в том числе постоянное модерирование и возможность пожаловаться на плохой контент. Предусмотрена возможность голосовать за хорошие отзывы, тем самым улучшая их позицию и повышая статус авторов этих отзывов.

В ближайших планах развития ресурса - подключение Подмосковья и крупных городов России, а также наращивание социальной и информационной составляющих.

Контакты: Илья Винокуров
Медиа-директор "Соседи-Онлайн.Ру"
(495) 728-85-97
press@sosedi-online.ru
стартапы и сервисы Fri, 21 Sep 2007 10:57:21 +0400 sosedi 57568 https://www.news2.ru/story/57511/ (http://vkontakte.ru/blog....)]]> стартапы и сервисы Thu, 20 Sep 2007 22:39:45 +0400 Piccard 57511 https://www.news2.ru/story/57505/ (http://www.habrahabr.ru/b...)]]> стартапы и сервисы Thu, 20 Sep 2007 20:50:11 +0400 MaulNet 57505 https://www.news2.ru/story/57501/ В сервисе также присутствует возможность размещения Вашего материала на различные социальные сервисы (Facebook, del.icio.us и Digg).

Похоже, Google всерьез взялся за создание социальных закладок.
(http://mashable.com/2007/...)]]> стартапы и сервисы Thu, 20 Sep 2007 19:40:47 +0400 Rebuyer 57501 https://www.news2.ru/story/57459/
сlickMap покажет кликабельность элементов и частей страницы, что поможет более эффективно размещать контент и рекламу, оптимизировать использование площади страниц. сlickMap это незаменимый инструмент при работе над юзабилити сайта.
(http://www.stat24.ru/ru/s...)]]> стартапы и сервисы Thu, 20 Sep 2007 16:11:49 +0400 Rebuyer 57459 https://www.news2.ru/story/57456/ (http://telnews.ru/event/1...)]]> стартапы и сервисы Thu, 20 Sep 2007 15:32:14 +0400 zaha 57456 https://www.news2.ru/story/57453/ (http://abava.blogspot.com...)]]> стартапы и сервисы Thu, 20 Sep 2007 15:27:03 +0400 abava 57453 https://www.news2.ru/story/57417/ (http://internetno.net/200...)]]> стартапы и сервисы Thu, 20 Sep 2007 12:35:46 +0400 opticus 57417 https://www.news2.ru/story/57374/ (http://www.gazeta.ru/news...)]]> стартапы и сервисы Thu, 20 Sep 2007 09:12:29 +0400 creativka 57374 https://www.news2.ru/story/57340/
Толчком к написанию этого поста мне послужила одна статейка о раскрутке форума. Там автор пишет, что не нужно регистрировать несколько фантомов и создавать видимость дискуссии, так-как стиль написания сообщения у одного и того же человека якобы очень легко выкупается. Но я так не считаю и это мы подробнее обсудим ниже.

Итак, метод фантомов

Под методом фантомов подразумевается (спасибо за определение Демиургу) создание одним человеком нескольких аккаунтов с целью продвижения, поддержания и оживления форума.
(http://alienshooter.blogs...)]]> стартапы и сервисы Wed, 19 Sep 2007 23:51:11 +0400 alienshooter 57340 https://www.news2.ru/story/57311/ (http://lasto.com/blog/pos...)]]> стартапы и сервисы Wed, 19 Sep 2007 19:39:41 +0400 Molfly 57311 https://www.news2.ru/story/57310/
Powerset Labs был представлен в рамках мероприятия TechCrunch40, организованного известным блогером и редактором TechCrunch Майклом Аррингтоном (Michael Arrington) совместно с основателем поискового стартапа Mahalo.com Джейсоном Калаканисом (Jason Calacanis). Портал призван объединить тысячи пользователей, которые помогут довести до ума движок Powerset.

За время своего существования Powerset зарекомендовал себя как амбициозный проект. Руководитель компании Барни Пелл не раз критиковал Google за непонимание естественного языка запросов, за что стартап и получил ярлык "убийца Google".
(http://www.seonews.ru/new...)]]> стартапы и сервисы Wed, 19 Sep 2007 19:38:11 +0400 MaulNet 57310