Собственно, для одного исследования нужен инструмент для анализа сайтов.
Конкретно, интересует схема: выбрать все сайты, в тайтлах у которых есть определенные ключевые слова (слова я могу задать) и затем сгруппировать их по количеству страниц, по самым повторяемым словам и т.д.
Есть ли что-то подобное готовое?

Сейчас мало сайтов которые не блокируют за такие попытки.

Жень, ну пусть блокируют, мне в принципе узнать надо

Мне вот интересно как можно заблокировать чтение заголовка? Это такие секретные сайты, которые свои заголовки прячут, а при попытке их прочитать блокируют к себе доступ?.
ИМХО - Маня опять в своем стиле.

(3) А вдруг за выходные теперь так стало? о_О

Смотря что он хочет прочитать.
Если у сайта будет 100 000 страниц, то прочитать его будет нереально;

Сейчас практически у всех сайтов есть такая фишка как блокировка по хитам.
Типа если кто то пытается сделать больше 50 хитов за одну минуту - блокировка.

(0) Выловить из тэга title содержимое известного сайта - не вопрос.
Вопрос всех вопросов - "выбрать все сайты". Вот просто интересно где можно заполучить список вот этого "все сайты"?
Наклонить сделать такую выборку какую-либо поисковую машину типа яндекса или гугля?
Так поисковые машины сначала индексируют по keywords и только потом по title.
ИМХО - самый надежный способ - хакнуть базу гуголя ))).

(5) Это на сео не влияет?

(3) а как ты думал - что тебе просто так дадут доступ прочитать весь сайт?)
Почти каждая контора (если речь идет о каком то сайте торговой фирмы) заботится о том чтобы сайт не могли парсить конкуренты и прочие. за исключением поисковых ботов.

(5) А зачем сайт читать 50 раз / мин. Типа за один раз с title не совладаешь?

ТС строит убивцу Гуголя?

(10) ТС строит мугль. Это типа Гугля, только наш, отечественный.

(10) не, просто надо обзор рынка составить на большом объеме, а перебирать поссылочно лень

типа вот этого, что ли http://netpeak.ru/software/netpeak-spider/?source=netpeak.ua

У меня было вагон и маленькая тележка клиентов, которые хотели чтоб в 1С ним с любых сайтов можно было заливать товары, цены - все что угодно.

Увы но тут только губозакаточную машинку можно предложить.

(14) Маня, ну не об этом же, что везде свою машинку суёшь

(14) точнее у них $ только на машинку хватало
а ведь можно было их всех собрать и на общак наваять подобную систему ))
особенно если эти клиенты пересекаются одни хотят данные с других которые хотят с 1-х ))

(12) Это?
http://www.yandex.ru/search/?text=парсинг%20сайтов%20бесплатно&lr=213