XAP – некоторые советы вебмастеру.

Не буду писать обширные обзоры функционала системы или сравнительную характеристику с тем же Sape – на эту тему написано множество статей, форумных обсуждений etc..
Скажу сразу – сравнивать две несравнимые вещи может либо идеалист либо идиот

Личный опыт:
Используем XAP
1) для заработка на страницах 4 и более уровней вложенности
2) для продвижения низкочастотных запросов в большом количестве.

Важно:
В отличии от Sape система XAP не использует паука для индексации страниц с кодом. Вместо этого она терпеливо ждет, пока странички с кодом будут открыты (соответственно, идет обращение к серверу tnx, и страница попадает в очередь на индексацию).

Проблема – пусть у вас есть портал с 400000 страницами и средней посещаемостью 1000-2000 человек в сутки. Из моего опыта через месяц в индексе Xap окажется от силы 10-40k страниц (т.е. не более 10%)
Причина – многие страницы настолько запрятаны, что пользователь или поисковый робот просто не добирается до них за приемлемое время.
Решение – нужно как-то открыть все страницы сайта. Для этого можно использовать карту сайта, простой список всех урлов или просмотр страниц, проиндексированных Яндексом

А теперь бонус для читателей блога – выкладываю в открытый доступ нашу разработку для ускорения индексации сайтов системой XAP.
Программа загружает все страницы по выбранному способу:
– проиндексированные Яндексом страницы
– текстовый список урлов
– карта сайта

Загруженные страницы удаляются сразу (даже не хранятся в памяти).
Программа не накручивает счетчики (сделанные на JS).

Выкладываю первую версию «as is», все замечания и пожелания – в блоге.
Индексатор XAP