Seo

Как победить скреперы контента жирными пингами

Когда вы публикуете статью в своем блоге, RSS-канал обновляется, и все, кто подписался на этот канал, сразу узнают, что в вашем блоге есть что-то новое, что стоит проверить.
Большинство подписчиков на ленту вашего блога будут людьми, искренне заинтересованными в чтении ваших статей, но некоторые боты также могут следить за вашим фидом, и их единственное намерение — удалить веб-контент и повторно опубликовать его на своем собственном веб-сайте.
Эти боты для очистки контента иногда могут сбивать с толку поисковые системы. Вы пишете историю на своем веб-сайте, и из-за этих ботов дюжине сайтов удается скопировать эту историю слово за словом, часто в течение нескольких секунд после того, как вы нажмете кнопку публикации. Вы можете добавить ссылки в ленту, чтобы сказать, что вы являетесь первоначальным автором, но парсеры могут легко удалить их с помощью простого preg_replace. Что дальше?
Инженер Google Мэтт Каттс во время своего выступления на PubCon 2011 предложил владельцам веб-сайтов настроить толстые пинги, что по сути означает, что вы сообщаете Google о новом содержании, как только вы публикуете его в Интернете. А поскольку это жирный пинг, вы просто не информируете Google, а отправляете им все содержание своего сообщения в блоге.

Как настроить Fat Ping?

Если ваш блог размещен на Blogger или WordPress.com, вам не нужно ничего делать, поскольку для них уже включен Pubsubhubbub. То есть, когда вы публикуете сообщение в блоге, он мгновенно пингует Google, и это сильный сигнал о том, что вы являетесь первоначальным автором.
Пользователи WordPress.org могут установить этот плагин, чтобы в режиме реального времени сообщить Google, что ваш блог обновлен. Однако, если вы используете подключаемый модуль кеширования, убедитесь, что вы отключили кеширование каналов, иначе центр Google не увидит обновленное содержание вашего канала.

Жировые запросы с фидами FeedBurner

Если вы распространяете каналы через FeedBurner, вы можете перейти на feedburner.com и активировать службу PingShot на вкладке «Публикация». Таким образом, когда FeedBurner обнаруживает любое новое сообщение в вашем необработанном RSS-фиде, он отправляет эхо-запрос в центр Google с содержанием этого сообщения.
Тем не менее, полагаться на FeedBurner вместе с Fat Pings может быть не самой лучшей идеей. Это связано с тем, что FeedBurner может занять удобное время для опроса ваших RSS-каналов на предмет нового контента, а бот-скребок имеет возможность повторно опубликовать ваш контент в течение этого периода.
Это очень похоже на участие в гонке, где ваши соперники — скреперы. Google стоит на финише, и вам нужно очень быстро бежать, чтобы доказать, что вы являетесь создателем оригинального контента.