Ускорение Индексации Google — В Индекс за 30 Секунд!

Не так давно в своём блоге я уже писал о способе стимуляции Google к быстрой индексации свежих записей и новых материалов с использованием одного из web-сервисов пингования поисковых систем. С тех пор мною было проведено несколько экспериментов, которые дали свои плоды — теперь новые материалы на 3DG.Me попадают в индекс Google менее чем за минуту!

Итак, как же добиться этого великолепия? На самом деле, всё довольно-таки просто — Google предоставил в наши руки все необходимые инструменты, которыми нужно лишь правильно воспользоваться. Как вы уже, возможно, догадались, ключевое слово  — правильно.

Пингование и Feedburner — Друг или Враг?

Дело в том, что в начале существования блога 3DG.Me я, как и многие другие web-мастера, перечитал кучу материалов с рекомендациями по ведению и оптимизации сайта, в числе которых была и такая: перенаправить RSS-поток сайта на сервис Feedburner. Казалось бы — всё логично: сервис известный, очень популярный и во многом удобный. Тем не менее, как выяснилось, именно перенаправление RSS-потока сайта на Feedburner может стать причиной того, что способ быстрой индексации сайта с пингованием поисковиков либо не будет работать вовсе, либо будет работать с ограниченной эффективностью.

Итак, что же происходит, если RSS сайта перенаправлен на FB? Для начала на всякий случай напомню, что такое перенаправление RSS на Feedburner — если по простому, то это 307 редирект ( Moved Temporarly ) с RSS-канала вашего сайта на соответствующий канал на сайте FB, который "собирает" RSS с вашего сайта и отображает на своём ( например, http://3dg.me/ru/rss.xml до недавнего времени перенаправлялся на http://feeds.feedburner.com/3dgme_rus ). Таким образом, всякий желающий подписаться на ваш канал будет получат информацию с сайта Feedburner, а не напрямую с вашего. Это даёт некоторые преимущества ( например, учитывается количество подписчиков ), но...

Как всегда, есть свои "но". Вы пишете новый пост в своём блоге, публикуете его и спешите отправить "пинг" поисковым системам, чтобы сообщить им, что ваш блог обновился и в нём есть новый контент. CMS Wordpress, например, имеет дополнение, которое автоматически пингует популярные сервисы сразу после публикации нового материала. Большинство сервисов, принимающих пинги ( и Google в том числе ), требует отправку адреса главной страницы сайта и RSS-канала, в котором транслируется публикуемый материал. Вы заполняете необходимые поля, указывая адрес RSS-потока со своего сайта, и отправляете форму ( или же пинг отправляется автоматически каким-нибудь модулем или скриптом ).

Что происходит далее? А далее бот Google заходит на ваш сайт и проверяет указанный RSS-поток. И получает 307 редирект, который указывает на другой домен ( Feedburner ). Хорошо, если по указанному адресу Feedburner уже содержит новый материал, однако его обновление не всегда происходит так быстро, и может получиться, что ваш сайт уже имеет новый контент, но RSS-поток на Feedburner его ещё не отражает — весьма вероятно, что бот Google не обнаружит там нового контента и уйдёт не солоно хлебавши.

Я могу ошибаться, так как доступа к логам web-сервера Feedburner по понятным причинам у меня нет, но я уверен, что причиной непопадания в индекс новых постов являлось именно перенаправление на Feedburner. После того, как оно было убрано, пинги начали работать на все сто и все материалы влетали в индекс и кеш Google меньше чем за минуту. Вероятно, в качестве альтернативы можно иметь отдельный RSS-поток для роботов, который не будет перенаправляться на Feedburner, и обычные потоки для людей — с перенаправлением на него.

Ускорение Индексации Google Кошерным Пингованием

Итак, что же нужно сделать для того, чтобы ускорить индексацию и попасть в индекс Google за 30 секунд? Для этого необходимо сделать следующее:

1. Убедиться, что ваш RSS-поток не имеет никаких перенаправлений.
2. Воспользоваться одним из сервисов пингования или программой Pingexpert.

В данный момент я пользуюсь сервисом Googleping.com. Pingexpert — альтернатива для тех, кто хочет иметь десктопное приложение для пингования ( т.е. это программа, которая исполняется на вашем компьютере ). Скачать Pingexpert можно здесь. Приниципиальной разницы между ними нет, оба способа одинаково хороши.

В завершение добавлю, что описанный выше способ работает для моего сайта, но по каким-либо причинам может не сработать для вашего. Подозреваю, что для того, чтобы Google индексировал новые материалы без задержки, необходим некий минимальный уровень "траста", т.е. доверия к сайту со стороны поисковой системы. Вполне вероятно, что для совсем новых сайтов способ ускорения индексации "пингованием" не сработает, однако попытаться стоит.