Индексация сайта. Как приручить Яндекс и Google?

06.04.2018

2 960

9

Автор: Jack * Апрель 06, 2018

Встречаем супер четкий кейса по молниеносной индексации ваших сайтов. Ведь одной из распространенных проблем вебмастеров является индексация их статей. Количество сайтов с каждым днем становится все больше и больше и поисковые роботы просто не справляются с таким объемом работы. И если индексация сайта в Google проходит за 1-1,5 недели, то в Яндекс это процесс может растянуться на пол месяца, а то и вовсе не пройти.

Я решил поднять этот старый мануал повыше, и немного обновить. Кстати не просто так. Последнее время я тут перемудрил и блок потерял позиции, а некоторые статьи и вовсе вылетели из индекса, причем найти причину мне так и не удалось!!! Так что буду разбираться, а заодно воспользуюсь этим старым мануалом, меня он выручал не один раз.

Всю теорию касаемо индексации я вынес в отдельную статью, по совету одного из читателей — ознакомится можно вот тут.

В данном кейсе я хочу поэкспериментировать с индексацией своих новых статей, с возвратом старых, не думал что это будет актуально для меня. Целью кейса будет загнать статьи в индекс поисковых систем как можно быстрее. Но прежде чем мы перейдем непосредственно к кейсу, давайте познаем немного теории.

Как следить за индексированием сайта?

Для того чтобы отслеживать процесс индексации, вам необходимо добавить ваш сайт в панель вебмастера Google и панель вебмастера Яндекс

Данный инструмент крайне полезен для вебмастера, в нем вы узнаете всю нужную информацию о взаимоотношениях вашего сайта с поисковой системой.

Например в панели вебмастера Яндекс можно узнать:

ваш текущий ТИЦ
количество загруженных роботом страниц
количество страниц которое попало в поиск
возможные проблемы сайта и рекомендации по их устранению
наложенные на ваш сайт санкции (например АГС)
статистику поисковых запросов
внешние и внутренние ссылки и т.д.

Панель вебмастера Google по сути аналогична, также имеет огромное количество собственных показателей и настроек.

Кейс по ускорению индексации сайта

Теоретическая часть подошла к концу, теперь плавно переходим к практике. Если вы не стали читать теорию выше, я все же настоятельно рекомендую вам это сделать, возможно вы откроете для себя что то новое и важное!

Так как я решил немного модифицировать данный кейс, то буду вставлять вот такие новые вставки:

А начну я с того, что проверю масштаб трагедии. Для этого, я забегу немного вперед и воспользуюсь картой своего сайта, которую импортирую в хороший сервис topvisor.ru после чего проверю индексацию. Те страницы, которые по каким то причинам вылетели у меня с поиска, я добавлю на переобход в панели вэбмастера Яндекс, также добавлю заного карту, проверю робот, его также на переобход

Цель кейса: Достичь максимальной скорости индексации сайта в поисковых системах Google и Яндекс.

Испытывать данный кейс я буду на своем(другом) еще совершенно зеленом блоге. На момент написания данного кейса, мой блог еще не разу не был проиндексирован. И сегодня второй день как я открыл свой новый блог для индексирования поисковым системам

Потрачено денег на данный кейс: 47 рублей

Итак, поехали. Моему блогу пошел второй день, на данный момент добавлено всего две статьи, не считая текста на главной странице.

Добавление блога в панели вебмастера Google и Яндекс

Первым делом, как только структура блога определена, шаблон настроен, имеется рабочая навигация по сайту, а также парочка статей, я открываю, до этого закрытый от поисковых роботов блог.

Сразу после этого моя задача добавить его в панели вебмастера Google и Яндекс, делается это элементарно, проходим по ссылкам ниже, нажимаем на кнопку добавить, вводим адрес нашего сайта, и проходим проверку прав.

Панель вебмастера Google

Панель вебмастера Яндекс

Использую инструмент «Посмотреть как GoogleBot»

После добавление в панель вебмастера я использую специальный инструмент «Посмотреть как GoogleBot». В нем я по очереди подкидываю ссылки на каждую из своих 2х статей, нажимаю на кнопку сканировать

Затем в ручном режиме отправляю страницы на индексацию, для этого нажимаем на кнопку «Добавить в индекс»

И завершающий момент

Готово. Url отправлен для индексирования. Также проделываем с оставшимися страницами.

Инструмент «Переобход страниц» в панели вебмастера Яндекс

Данный инструмент нужен в первую очередь, когда вы обновляете уже проиндексированную статью. Достаточно просто запихнуть её в инструмент «переобхода страниц» и нажать на кнопку «отправить». Лемит в сутки — 10 страниц. Я думаю не будет лишним запихнуть туда и новую, еще не проиндексированную статью

«Add URL» поисковых систем Google и Яндекс

Это довольно древний способ ускорить индексацию страниц, просто воспользоваться специальными формами для отправки своих ссылок на индексацию в поисковики.

Например в Google это выглядит вот так:

 

«Add URL»  Google

«Add URL»  Яндекс

Карта сайта HTML. Хабовая страница

Я просто обязан сделать html версию полной карты сайта, причем располагаться она должна в один клик от главной страницы и называться sitemap.html — это традиция и без неё никак.

Для движка WordPress я решил использовать специальный плагин для автоматической генерации красивой html карты. На сегодняшний день актуальная версия данного плагина — v. 3.17

Dagon Design Sitemap Generator

Сразу скажу что в поиске по плагинам его почему-то нет! Так что идем на официальный сайт плагина и скачиваем последнюю версию

Затем идем в панель управления wordpress — Плагины — Добавить новый — Загрузить и выбираем наш, только что скаченный архив, нажимаем кнопку «установить», после чего активируем плагин.

Теперь можно переходить к настройке плагина, для этого заходим в панели управления wordpress — Настройки — DDSitemapGen

Выбираем Language russian, жмем внизу кнопку Update, затем клавишу F5. Отлично, мы имеем русифицированный плагин

Настраиваем плагин по своим предпочтениям, например я делаю следующим образом:

Количество единиц контента на странице: оставляю 50, можно даже меньше поставить, тут имеется ввиду количество ссылок на одной странице, если их количество больше, то активируется постраничная навигация на карте.

Все остальные настройки я так же оставляю по умолчанию, единственное что я включаю «Показывать количество комментариев рядом с публикацией», «Показывать даты создания публикаций», меняю формат даты на d.m.Y

Далее включаю «Прятать публикации с датой в будущем», «Метод навигации Карты Сайта» выбираю второй вариант, показывать навигацию на странице только внизу и сохраняю настройки.

Пол дела сделано, теперь под эту карту нужно создать специальную страничку. Для этого, все в той же панели wordpress идем в пункт Страницы — Добавить новую. Задаем название и ссылку страницы, переходим в редактор кода и вставляем туда следующий код:

Нажимаем опубликовать. И теперь нам нужно добавить эту страницу в главное меню нашего сайта. Для этого заходим Внешний вид — Меню

В целом карта сайта готова, правда мне не совсем нравится как она выглядит, поэтому я решил внести еще несколько правок, включить в настройках плагина «Показывать только публикации»

А также имел наглости немного покопаться в коде самого плагина, для этого переходим в Плагины — Редактор — выбираем наш плагин и идем в файл sitemap-generator/lang/Russian.php

Изначально код выглядел так:

Я решил убрать ссылку на автора (плагин написан), а также не красивые надписи «Категория» и «Публикации», получилось следующее:

Для того чтобы до конца убрать ссылку на автора, нужно отредактировать еще один файл плагина sitemap-generator/sitemap-generator.php

В данном файле нужно найти и удалить следующую строчку:

Вот теперь я полностью доволен своим результатом, вы можете и сами заценить мою карту сайта — ссылка откроется в новой вкладке, так что смело переходим

Карта сайта в формате sitemap.xml

Думаете это все!? Отмучились 🙂 Да не тут то было, еще нам нужно создать специальную карту сайта в формате XML

Для этих целей я тоже буду использовать специальный плагин Google XML Sitemaps

Здесь правда с установкой плагина дела обстоят проще

Это кстати считается один из лучших плагинов для WordPress по созданию XML карты сайта. Для чего вообще нужен этот формат карты? Все дело в том, что именно этот формат понимают поисковые системы, после генерации sitemap.xml мы загрузим её в панели вебмастера Google и Яндекс.

Для чего тогда нужна была карта sitemap.html? Тоже для поисковых систем, но немного в другом применении, об этом я расскажу ниже, терпения друзья. Ну а также нельзя не упомянуть, что подобная карта удобна для пользователей сайта, но это уже второстепенный момент.

Сразу после установки Google XML Sitemaps, не спешим его активировать, а копируем в корень нашего сайта два пустых текстовых файла. Первый нам нужно переименовать в sitemap.xml, а второй в sitemap.xml.gz

Расширение txt мы затираем, полностью сменяя файл на другой формат

Далее нам нужно изменить атрибуты этих файлов на 777

Вот теперь смело активируем плагин и идем в настройки — XML Sitemap

Теперь в самом верху можно увидеть ссылку на уже готовый сгенерированный файл карты, а также чуть ниже есть рекомендация для подключения панели вебмастера Google

Добавляем XML карту сайта в Google и Яндекс

Итак, XML карта сайта у нас готова. Самое время её подгрузить в панели вебмастера, для этого идем для начала в вебмастер Google

Жмем отправить. Предварительно можно нажать на тест, но после этого придется опять добавлять ссылку и нажать отправить. Данная карта должна появится в таблице ниже на этой же страничке

Теперь переходим к панели вебмастера Яндекс

Также в вебмастер Яндекс есть специальный инструмент для проверки карт, называется Валидатор XML-фидов и находится на вкладке Инструменты.

Составляем правильный robots.txt для wordpress

Файл robots.txt это свод законов для поисковых систем, в котором задается какие файлы и директории нужно индексировать, а какие нет. Это довольно важный момент и не стоит им пренебрегать. Очень важно скрыть от индексирования программную часть движка, админку и прочие рабочие моменты, индексироваться должен только контент(статьи, картинки и загружаемые файлы)

В отличие от Google, Яндекс строго соблюдает все правила файла robots.txt Этот гад запросто может сожрать в индекс всю вашу админку, совершенно ненужные для индексирования страницы, ссылки и все это дело выводить в поиске 🙂

Файл robots.txt должен находится в корне вашего сайта, а в самом файле нужно вставить следующее содержимое:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Обратите внимание, что в последних трех строчках нужно вставить домен вашего сайта!

После добавления в корень сайта файла robots.txt его нужно проверить в панели вебмастера

Аналогичным образом проверяем на ошибки в панели вебмастера Google, причем если у меня на сайте проблем с данным файлом не возникло, это не говорит о том, что на вашем сайте пройдет все также гладко! Если у вас не настроен ЧПУ (человеко понятный урл), то данный robots.txt не подайдет

Настраиваем ЧПУ и транслитерацию названий

Не вздумайте это делать уже на рабочем сайте с трафиком, при смене ссылок все странички вылетят с поиска

Данный пункт также влияет на массу вещей от поведенческого фактора, до скорости индексации. Как все же лучше настроить ЧПУ? Я делаю так:

Панель WordPress — Настройки — Постоянные ссылки

Формат: /%category%/%postname%.html

Далее переходим в Плагины — Добавить новый, ищем и устанавливаем плагин rus to lat advanced, не забываем активировать. Далее плагин работает в атоматическом режиме, без каких либо дополнительных настроек.

Суть данного плагина заключается в транслитерации названий файлов, постоянных ссылок, заголовков и т.д. Грубо говоря он переводит ваши постоянные ссылки на транслит. Кстати дружит с украинскими и казахстанскими буквами.

Ускорить индексацию в Яндекс при помощи POST-запросов

Раньше для этого дела можно было использовать специальный плагин Пингер, для всех популярных CMS, но теперь это уже в прошлом, так что если у вас все еще установлен данный плагин, можете его снести, толку от не больше нет, так как Яндекс переходит на SaaS-технологию

Службы слежения за обновлениями

В WordPress есть возможность указать сервисы обновления. Работает это следующим образом, после того как вы опубликовали новый пост на блоге, wordpress оповещает специальные службы слежения за обновлениями

Панель управления WordPress — Настройка — Написание

По умолчанию там находится всего один сервис, я же вам предлагаю вставить туда немного больше, список ниже:

http://1470.net/api/ping
http://api.feedster.com/ping
http://api.feedster.com/ping.php
http://api.moreover.com/ping
http://api.my.yahoo.com/RPC2
http://bblog.com/ping.php
http://bitacoras.net/ping
http://blog.goo.ne.jp/XMLRPC
http://blogbot.dk/io/xml-rpc.php
http://blogdb.jp/xmlrpc
http://blogmatcher.com/u.php
http://blogsearch.google.com/ping/RPC2
http://bulkfeeds.net/rpc
http://coreblog.org/ping/
http://effbot.org/rpc/ping.cgi
http://godesigngroup.com/blog/feed/
http://mod-pubsub.org/kn_apps/blogchatt
http://ping.amagle.com/
http://ping.bitacoras.com
http://ping.blo.gs/
http://ping.blogg.de
http://ping.bloggers.jp/rpc/
http://ping.blogmura.jp/rpc/
http://ping.blogs.yandex.ru/RPC2
http://ping.cocolog-nifty.com/xmlrpc
http://ping.exblog.jp/xmlrpc
http://ping.fakapster.com/rpc
http://ping.feedburner.com
http://ping.myblog.jp
http://ping.rootblog.com/rpc.php
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://ping.weblogs.se/
http://pinger.blogflux.com/rpc
http://pingoat.com/goat/RPC2
http://pingqueue.com/rpc
http://rcs.datashed.net/RPC2/
http://rpc.blogbuzzmachine.com/RPC2
http://rpc.blogrolling.com/pinger/
http://rpc.britblog.com
http://rpc.icerocket.com:10080/
http://rpc.newsgator.com/
http://rpc.pingomatic.com/
http://rpc.tailrank.com/feedburner/RPC2
http://rpc.technorati.com/rpc/ping
http://rpc.weblogs.com/RPC2
http://rpc.wpkeys.com
http://services.newsgator.com/ngws/xmlrpcping.aspx
http://signup.alerts.msn.com/alerts-PREP/submitPingExtended.doz
http://thingamablog.sourceforge.net/ping.php
http://topicexchange.com/RPC2
http://trackback.bakeinu.jp/bakeping.php
http://www.a2b.cc/setloc/bp.a2b
http://www.bitacoles.net/ping.php
http://www.blogdigger.com/RPC2
http://www.blogoole.com/ping/
http://www.blogoon.net/ping/
http://www.blogpeople.net/servlet/weblogUpdates
http://www.blogroots.com/tb_populi.blog?id=1
http://www.blogsdominicanos.com/ping/
http://www.blogshares.com/rpc.php
http://www.blogsnow.com/ping
http://www.blogstreet.com/xrbin/xmlrpc.cgi
http://www.catapings.com/ping.php
http://www.feedsky.com/api/RPC2
http://www.focuslook.com/ping.php?url=http://www.yourblog.com
http://www.godesigngroup.com
http://www.holycowdude.com/rpc/ping
http://www.imblogs.net/ping
http://www.lasermemory.com/lsrpc/
http://www.mod-pubsub.org/kn_apps/blogchatter/ping.php
http://www.newsisfree.com/RPCCloud
http://www.newsisfree.com/xmlrpctest.php
http://www.popdex.com/addsite.php
http://www.snipsnap.org/RPC2
http://www.wasalive.com/ping/
http://www.weblogues.com/RPC/
http://www.xianguo.com/xmlrpc/ping.
http://xmlrpc.blogg.de
http://xping.pubsub.com/ping/
https://phobos.apple.com/WebObjects/MZFinance.woa/wa/pingPodcast

Вывод последних записей блога

Вставьте на главную, а еще лучше и на другие страницы вывод последних записей блога, данный виджет есть по умолчанию в wordpress. Ставить лучше всего в сайдбар блога. Это повысит приоритет для новых, еще не проиндексированных страниц блога, т.к. чем больше на них идет внутренних ссылок тем лучше!

Сделать это можно в панели wordpress — Внешний вид — Виджеты

В последней на сегодня версии wordpress данный виджет называется «Свежие записи».

Репост во все социальные сети

Это безусловно важный момент и для его реализации вам понадобится вставить на ваш блог кнопочки популярных социальных сетей, это можно сделать как в ручную, добавляя код виджета от каждой социальной сети в отдельности, так и с помощью сервисов, которых тьма (например Pluso один из популярных), также можно воспользоваться готовыми решениями в виде плагинов.

На данный момент решил убрать эти кнопки, не вижу в них смысла, люди очень плохо нажимают на них! Зато поставил себе плагин Социальный замок, с его помощью можно намного эффективнее влиять на соц. сети

Я буду использовать уже давно знакомый мне плагин социальных кнопочек UpToLike, по мимо гибких настроек, мобильной адаптации, у данного плагина имеется классная статистика:

Кнопочки очень классно выглядят на мобильных устройствах, они адаптированы и прижаты к нижней части браузера:

Также плагин имеет целую кучу настроек, начиная от выбора социальных сетей, подключения всплывающих окон для подписки на группы и заканчивая различными визуальными эффектами пр наведении.

Так что мой выбор UpToLike — ставится элементарно, через меню Плагины — Добавить новый — ищем UpToLike

Единственный пожалуй момент который я еще не испробовал, это насколько корректно отображаются счетчик репостов, раньше с этим была проблема, надеюсь что сейчас это пофиксили. Так или иначе будем тестировать!

Помните, что каждый репост это дополнительный плюс в карму индексации! Поэтому тут есть смысл применять различные хитрости, например просить друзей нажимать на эти кнопки, самому нажимать на них (ну этот вариант прям обязателен), также можно использовать различные биржи, где люди будут нажимать за денежное вознаграждение — об этом чуть ниже! Также можно использовать дополнительное оформление блока кнопок, побуждающие сделать действие — нажать на кнопочку! Еще отличный вариант, это использование социальных замков! Но об этом я напишу отдельный пост! Уже очень скоро!

Покупка репостов на бирже

Ну что, наш кейс по индексации начинает набирать платные обороты 🙂 Встречаем, биржа QComment.

Переходим в режим заказчик — Создать проект

У данной биржи много различных функций, но сегодня буду покупать репосты к одной из своих статей! Ради эксперимента.

Да, можно легко получить кучу бесплатных репостов в других местах, стоит только поискать, но я уже это проходил — то что бесплатно это все с мусорных, грязных аккаунтов и принесет вашему блогу только зло! Не хотите тратить деньги на качественные биржи, лучше тогда вообще не занимайтесь накрутками. Вы сделаете только хуже, в лучшем случае потратите время.

Основные настройки проекта:

Итак стоимость одного репоста 2,2 рубля. Ну допустим я куплю 20 репостов, для этого мне понадобится 44 рубля. Ну пусть по 2 репоста в час, чтобы не привлекать лишнее внимание к молодому блогу. И обязательно ограничу авторов по IP

Настройки ограничений проекта

Далее не плохо бы настроить требования к аккаунтам, для начала разрешить только нужные мне, возраст от 16 лет, от 50 друзей.

Думаю с настройками мы закончили, можно создавать проект! Заходим в Финансы и пополняем на нужную нам сумму. Пополнение через Яндекс Деньги происходит за считанные секунды.

Возвращаемся в Мои проекты, нажимаем красивую, зеленую кнопочку Оплатить. Далее вводим нужно количество репостов и жмем купить.

Проект оплачен на сумму 46.2 RUB

Сразу же после оплаты проект становится активным, и теперь остается только ждать… Я же на этом обязан приостановить данный кейс, так как пишу уже более 9,5 часов без остановки и пора ложится спать! А завтра мы обязательно продолжим, эксперимент по ускорению индексации блога.

Twitter как инструмент ускорения индексации

Раз уже первый способ с репостами в социальные сети у нас не прокатил, предлагаю пойти другим путем! Я думаю тут все дело в качестве аккаунтов и здесь нужно лично их отобрать!

Идем на биржу Prospero

Для работы с данной биржей нам понадобится зарегистрироваться, подтвердить по почте свой аккаунт и пополнить счет, скажем на 30 рублей

После чего создаем рекламную компанию по заданию

Далее заполняем все нужные нам поля, откидывая не качественные твиттер аккаунты

Теперь можно сходить покурить. Мне нужно большое количество заявок, что бы было из чего выбрать

Буквально через 10 минут появились первый десяток заявок. Все заявки перебирал я в ручную, просматривая аккаунты. На что следует обратить внимание:

Количество подписок и подписчиков
Количество лайков и репостов, на сколько часто они бывают
Частоту публикаций, хотя бы один пост в 2-3 дня
Редкие рекламные посты
Ответы другим пользователям (важный параметр)

Ну и в целом, нужно понимать насколько живой аккаунт. Из всех предложенных заявок, я нашел лишь один более менее нормальный, возможна цена в 5 рублей довольно низка! Остальные аккаунты я выбирал из того что было.

Давайте подведем итог кейса:

Прошло уже почти 12 часов, пока что результата от всех операций не видно! Сайт по прежнему не проиндексирован, в связи с чем предлагаю продолжить наш кейс

2 день кейса. После прогона по твитерам весь мой блог целиком попал в поиск Google

При этом в панели вебмастера Google нет информации о том что страницы загружены и проиндексированы, только то, что бот заходил на сайт, но при этом все страницы уже попали в поиск! Возможно информация в панели появляется с задержкой.

А вот что касаемо Яндекса, к сожалению страниц пока в поиске нет, но зато ботом были загружены все страницы блога

3 день кейса. Блог в поиске Google и страницы уже загружены в Яндексом(но еще не попали в поиск)

7 день кейса.  Все странички попали в поиск Яндекса

11 день кейса. Яндекс начал дико индексировать блог, бот заходит буквально каждые два дня

Согласитесь, не плохо получилось! Теперь важно задать определенный темп по обновлению блога, например 2-3 статьи в неделю и придерживаться этому темпу! Тут безусловно важен режим и мы приручим поисковых ботов.

P.S.- Если у вас есть свои наработки, прошу поделится со мной в комментариях! Мне было бы очень интересно попробовать еще другие методы ускорения индексации, уже на каком нибудь другом сайте.

Огромное спасибо тем, кто осилил дочитать этот кейс до конца, да кстати если такие есть, обязательно напишите мне в комментариях!

Категории
Метки