Индексация сайта. Как приручить Яндекс и Google?

Очень годный кейс по молниеносной индексации ваших сайтов. Это мои личные наработки, мой личный опыт, где-то чужие рабочие советы. Всё это я скомпоновал и подготовил для вас в виде рабочего кейса. Между прочим, я сам лично постоянно возвращаюсь к нему. Для меня это как личная шпаргалка, каждый раз когда я запускаю новый сайт. Ежегодно я стараюсь обновлять данный пост.

Скорость индексации сайта является одной из главных проблем вебмастеров. Количество сайтов с каждым днем становится все больше и больше и поисковые роботы просто не справляются с таким объемом работы. И если индексация сайта в Google проходит за 1-1,5 недели, то в Яндекс это процесс может растянуться на пол месяца, а то и вовсе не пройти.

Что такое индексация?

Индексация — это процесс поглощения сайта поисковыми системами. Обязательно ознакомтесь с этим процессом в моей теоретической статье.

Цель данного кейса.

Достичь максимальной скорости индексации сайта в поисковых системах Google и Яндекс. Ведь чем быстрее наш сайт проиндексируют поисковые системы, особенно такие гиганты как Google и Яндекс, тем быстрее на сайт пойдет трафик с этих систем.

Трафик с поисковых систем всегда был и будет является главным трафиком.

Испытывать данный кейс я буду на своем(другом) еще совершенно зеленом блоге. На момент написания данного кейса, мой блог еще не разу не был проиндексирован. И сегодня второй день как я открыл свой новый блог для индексирования поисковым системам. Блог сделан специально для этого кейса.

Всего потрачено денег на данный кейс: 47 рублей.

Как следить за индексированием сайта?

Для чистоты нашего эксперимента, нам нужно отслеживать процесс индексации. И для этого нам необходимо добавить наш сайт в панель вебмастера поисковых систем. Мы с вами будем работать с двумя поисковыми системами — это Google и соответственно Яндекс.

Теоретическая часть подошла к концу и теперь плавно переходим к практике. Если вы не стали читать теорию выше, я все же настоятельно рекомендую вам это сделать, возможно вы откроете для себя что то новое и важное!

Моему новому блогу пошел второй день, на данный момент добавлено всего две статьи. Я не считаю того текста, что уже есть на главной странице.

Первое что нам нужно сделать, это правильно настроить панель вебмастера Google и Яндекс. Весь материал я перенес в отдельный пост и подробнее можно ознакомится в нем: вебмастере Google и Яндекс читаем.

Карта сайта HTML. Хабовая страница

Я просто обязан сделать html версию полной карты сайта, причем располагаться она должна в один клик от главной страницы и называться sitemap.html — это традиция и без неё никак.

Для движка WordPress я решил использовать специальный плагин для автоматической генерации красивой html карты. На сегодняшний день актуальная версия данного плагина — v. 3.17 Dagon Design Sitemap Generator

Сразу скажу что в поиске по плагинам его почему-то нет! Так что идем на официальный сайт плагина и скачиваем последнюю версию

В панеле управления wordpress — Плагины — Добавить новый — Загрузить и выбираем наш, только что скаченный архив, нажимаем кнопку «установить» и активируем плагин.

Как настроить плагин Dagon Design Sitemap Generator?

Для настройки плагина заходим в панели управления wordpress — Настройки — DDSitemapGen

Выбираем Language russian, жмем внизу кнопку Update, затем клавишу F5. Отлично, мы имеем русифицированный плагин

Настраиваем плагин по своим предпочтениям, например я делаю следующим образом:

Количество единиц контента на странице: оставляю 50, можно даже меньше поставить, тут имеется ввиду количество ссылок на одной странице, если их количество больше, то активируется постраничная навигация на карте.

Все остальные настройки я так же оставляю по умолчанию, единственное что я включаю «Показывать количество комментариев рядом с публикацией», «Показывать даты создания публикаций», меняю формат даты на d.m.Y

Далее включаю «Прятать публикации с датой в будущем», «Метод навигации Карты Сайта» выбираю второй вариант, показывать навигацию на странице только внизу и сохраняю настройки.

Пол дела сделано, теперь под эту карту нужно создать специальную страничку. Идем в панель wordpress, далее пункт Страницы — Добавить новую. Задаем название и ссылку страницы, переходим в редактор кода и вставляем туда следующий код:

Нажимаем опубликовать. И теперь нам нужно добавить эту страницу в главное меню нашего сайта.

Внешний вид — Меню

В целом карта сайта готова, правда мне не совсем нравится как она выглядит, поэтому я решил внести еще несколько правок, включить в настройках плагина «Показывать только публикации»

А также имел наглости немного покопаться в коде самого плагина, для этого переходим в Плагины — Редактор — выбираем наш плагин и идем в файл sitemap-generator/lang/Russian.php

Изначально код выглядел так:

Я решил убрать ссылку на автора (плагин написан), а также не красивые надписи «Категория» и «Публикации», получилось следующее:

Для того чтобы до конца убрать ссылку на автора, нужно отредактировать еще один файл плагина sitemap-generator/sitemap-generator.php

В данном файле нужно найти и удалить следующую строчку:

Вот теперь я полностью доволен своим результатом, вы можете и сами заценить мою карту сайта — ссылка откроется в новой вкладке, так что смело переходим

Карта сайта в формате sitemap.xml

Думаете это все!? Отмучились ? Да не тут то было, еще нам нужно создать специальную карту сайта в формате XML

Для этих целей я тоже буду использовать специальный плагин Google XML Sitemaps

Здесь правда с установкой плагина дела обстоят проще

Это кстати считается один из лучших плагинов для WordPress по созданию XML карты сайта. Для чего вообще нужен этот формат карты? Все дело в том, что именно этот формат понимают поисковые системы, после генерации sitemap.xml мы загрузим её в панели вебмастера Google и Яндекс.

Для чего тогда нужна была карта sitemap.html? Тоже для поисковых систем, но немного в другом применении, об этом я расскажу ниже, терпения друзья. Ну а также нельзя не упомянуть, что подобная карта удобна для пользователей сайта, но это уже второстепенный момент.

Сразу после установки Google XML Sitemaps, не спешим его активировать, а копируем в корень нашего сайта два пустых текстовых файла. Первый нам нужно переименовать в sitemap.xml, а второй в sitemap.xml.gz

Расширение txt мы затираем, полностью сменяя файл на другой формат

Далее нам нужно изменить атрибуты этих файлов на 777

Вот теперь смело активируем плагин и идем в настройки — XML Sitemap

Теперь в самом верху можно увидеть ссылку на уже готовый сгенерированный файл карты, а также чуть ниже есть рекомендация для подключения панели вебмастера Google

Добавляем XML карту сайта в Google и Яндекс

Итак, XML карта сайта у нас готова. Самое время её подгрузить в панели вебмастера, для этого идем для начала в вебмастер Google

Жмем отправить. Предварительно можно нажать на тест, но после этого придется опять добавлять ссылку и нажать отправить. Данная карта должна появится в таблице ниже на этой же страничке

Теперь переходим к панели вебмастера Яндекс

Также в вебмастер Яндекс есть специальный инструмент для проверки карт, называется Валидатор XML-фидов и находится на вкладке Инструменты.

Составляем правильный robots.txt для wordpress

Файл robots.txt это свод законов для поисковых систем, в котором задается какие файлы и директории нужно индексировать, а какие нет. Это довольно важный момент и не стоит им пренебрегать. Очень важно скрыть от индексирования программную часть движка, админку и прочие рабочие моменты, индексироваться должен только контент(статьи, картинки и загружаемые файлы)

В отличие от Google, Яндекс строго соблюдает все правила файла robots.txt Этот гад запросто может сожрать в индекс всю вашу админку, совершенно ненужные для индексирования страницы, ссылки и все это дело выводить в поиске ?

Файл robots.txt должен находится в корне вашего сайта, а в самом файле нужно вставить следующее содержимое:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Обратите внимание, что в последних трех строчках нужно вставить домен вашего сайта!

После добавления в корень сайта файла robots.txt его нужно проверить в панели вебмастера

Аналогичным образом проверяем на ошибки в панели вебмастера Google, причем если у меня на сайте проблем с данным файлом не возникло, это не говорит о том, что на вашем сайте пройдет все также гладко! Если у вас не настроен ЧПУ (человеко понятный урл), то данный robots.txt не подойдет

Настраиваем ЧПУ и транслитерацию названий

Не вздумайте это делать уже на рабочем сайте с трафиком, при смене ссылок все странички вылетят с поиска

Данный пункт также влияет на массу вещей от поведенческого фактора, до скорости индексации. Как все же лучше настроить ЧПУ? Я делаю так:

Панель WordPress — Настройки — Постоянные ссылки

Формат: /%category%/%postname%.html

Далее переходим в Плагины — Добавить новый, ищем и устанавливаем плагин rus to lat advanced, не забываем активировать. Далее плагин работает в автоматическом режиме, без каких либо дополнительных настроек.

Суть данного плагина заключается в транслитерации названий файлов, постоянных ссылок, заголовков и т.д. Грубо говоря он переводит ваши постоянные ссылки на транслит. Кстати дружит с украинскими и казахстанскими буквами.

Ускорить индексацию в Яндекс при помощи POST-запросов

Раньше для этого дела можно было использовать специальный плагин Пингер, для всех популярных CMS, но теперь это уже в прошлом, так что если у вас все еще установлен данный плагин, можете его снести, толку от не больше нет, так как Яндекс переходит на SaaS-технологию

Службы слежения за обновлениями

В WordPress есть возможность указать сервисы обновления. Работает это следующим образом, после того как вы опубликовали новый пост на блоге, wordpress оповещает специальные службы слежения за обновлениями

Панель управления WordPress — Настройка — Написание

По умолчанию там находится всего один сервис, я же вам предлагаю вставить туда немного больше, список ниже:

http://1470.net/api/ping
http://api.feedster.com/ping
http://api.feedster.com/ping.php
http://api.moreover.com/ping
http://api.my.yahoo.com/RPC2
http://bblog.com/ping.php
http://bitacoras.net/ping
http://blog.goo.ne.jp/XMLRPC
http://blogbot.dk/io/xml-rpc.php
http://blogdb.jp/xmlrpc
http://blogmatcher.com/u.php
http://blogsearch.google.com/ping/RPC2
http://bulkfeeds.net/rpc
http://coreblog.org/ping/
http://effbot.org/rpc/ping.cgi
http://godesigngroup.com/blog/feed/
http://mod-pubsub.org/kn_apps/blogchatt
http://ping.amagle.com/
http://ping.bitacoras.com
http://ping.blo.gs/
http://ping.blogg.de
http://ping.bloggers.jp/rpc/
http://ping.blogmura.jp/rpc/
http://ping.blogs.yandex.ru/RPC2
http://ping.cocolog-nifty.com/xmlrpc
http://ping.exblog.jp/xmlrpc
http://ping.fakapster.com/rpc
http://ping.feedburner.com
http://ping.myblog.jp
http://ping.rootblog.com/rpc.php
http://ping.syndic8.com/xmlrpc.php
http://ping.weblogalot.com/rpc.php
http://ping.weblogs.se/
http://pinger.blogflux.com/rpc
http://pingoat.com/goat/RPC2
http://pingqueue.com/rpc
http://rcs.datashed.net/RPC2/
http://rpc.blogbuzzmachine.com/RPC2
http://rpc.blogrolling.com/pinger/
http://rpc.britblog.com
http://rpc.icerocket.com:10080/
http://rpc.newsgator.com/
http://rpc.pingomatic.com/
http://rpc.tailrank.com/feedburner/RPC2
http://rpc.technorati.com/rpc/ping
http://rpc.weblogs.com/RPC2
http://rpc.wpkeys.com
http://services.newsgator.com/ngws/xmlrpcping.aspx
http://signup.alerts.msn.com/alerts-PREP/submitPingExtended.doz
http://thingamablog.sourceforge.net/ping.php
http://topicexchange.com/RPC2
http://trackback.bakeinu.jp/bakeping.php
http://www.a2b.cc/setloc/bp.a2b
http://www.bitacoles.net/ping.php
http://www.blogdigger.com/RPC2
http://www.blogoole.com/ping/
http://www.blogoon.net/ping/
http://www.blogpeople.net/servlet/weblogUpdates
http://www.blogroots.com/tb_populi.blog?id=1
http://www.blogsdominicanos.com/ping/
http://www.blogshares.com/rpc.php
http://www.blogsnow.com/ping
http://www.blogstreet.com/xrbin/xmlrpc.cgi
http://www.catapings.com/ping.php
http://www.feedsky.com/api/RPC2
http://www.focuslook.com/ping.php?url=http://www.yourblog.com
http://www.godesigngroup.com
http://www.holycowdude.com/rpc/ping
http://www.imblogs.net/ping
http://www.lasermemory.com/lsrpc/
http://www.mod-pubsub.org/kn_apps/blogchatter/ping.php
http://www.newsisfree.com/RPCCloud
http://www.newsisfree.com/xmlrpctest.php
http://www.popdex.com/addsite.php
http://www.snipsnap.org/RPC2
http://www.wasalive.com/ping/
http://www.weblogues.com/RPC/
http://www.xianguo.com/xmlrpc/ping.
http://xmlrpc.blogg.de
http://xping.pubsub.com/ping/
https://phobos.apple.com/WebObjects/MZFinance.woa/wa/pingPodcast

Вывод последних записей блога

Вставьте на главную, а еще лучше и на другие страницы вывод последних записей блога, данный виджет есть по умолчанию в wordpress. Ставить лучше всего в сайдбар блога. Это повысит приоритет для новых, еще не проиндексированных страниц блога, т.к. чем больше на них идет внутренних ссылок тем лучше!

Сделать это можно в панели wordpress — Внешний вид — Виджеты

В последней на сегодня версии wordpress данный виджет называется «Свежие записи».

Репост во все социальные сети

Это безусловно важный момент и для его реализации вам понадобится вставить на ваш блог кнопочки популярных социальных сетей, это можно сделать как в ручную, добавляя код виджета от каждой социальной сети в отдельности, так и с помощью сервисов, которых тьма (например Pluso один из популярных), также можно воспользоваться готовыми решениями в виде плагинов.

На данный момент решил убрать эти кнопки, не вижу в них смысла, люди очень плохо нажимают на них! Зато поставил себе плагин Социальный замок, с его помощью можно намного эффективнее влиять на соц. сети

Я буду использовать уже давно знакомый мне плагин социальных кнопочек UpToLike, по мимо гибких настроек, мобильной адаптации, у данного плагина имеется классная статистика:

Кнопочки очень классно выглядят на мобильных устройствах, они адаптированы и прижаты к нижней части браузера:

Также плагин имеет целую кучу настроек, начиная от выбора социальных сетей, подключения всплывающих окон для подписки на группы и заканчивая различными визуальными эффектами пр наведении.

Так что мой выбор UpToLike — ставится элементарно, через меню Плагины — Добавить новый — ищем UpToLike

Единственный пожалуй момент который я еще не испробовал, это насколько корректно отображаются счетчик репостов, раньше с этим была проблема, надеюсь что сейчас это пофиксили. Так или иначе будем тестировать!

Помните, что каждый репост это дополнительный плюс в карму индексации! Поэтому тут есть смысл применять различные хитрости, например просить друзей нажимать на эти кнопки, самому нажимать на них (ну этот вариант прям обязателен), также можно использовать различные биржи, где люди будут нажимать за денежное вознаграждение — об этом чуть ниже! Также можно использовать дополнительное оформление блока кнопок, побуждающие сделать действие — нажать на кнопочку! Еще отличный вариант, это использование социальных замков! Но об этом я напишу отдельный пост! Уже очень скоро!

Покупка репостов на бирже

Наш кейс по индексации начинает набирать платные обороты ? Встречаем, биржа QComment. Это важный момент и не так уж дорого, не проходите мимо, по факту копейки.

Переходим в режим заказчик — Создать проект

У данной биржи много различных функций, но сегодня буду покупать репосты к одной из своих статей! Ради эксперимента.

Да, можно легко получить кучу бесплатных репостов в других местах, стоит только поискать, но я уже это проходил — то что бесплатно это все с мусорных, грязных аккаунтов и принесет вашему блогу только зло! Не хотите тратить деньги на качественные биржи, лучше тогда вообще не занимайтесь накрутками. Вы сделаете только хуже, в лучшем случае потратите время.

Основные настройки проекта:

Итак стоимость одного репоста 2,2 рубля. Ну допустим я куплю 20 репостов, для этого мне понадобится 44 рубля. Ну пусть по 2 репоста в час, чтобы не привлекать лишнее внимание к молодому блогу. И обязательно ограничу авторов по IP

Настройки ограничений проекта:

Далее не плохо бы настроить требования к аккаунтам, для начала разрешить только нужные мне, возраст от 16 лет, от 50 друзей.

Думаю с настройками мы закончили, можно создавать проект! Заходим в Финансы и пополняем на нужную нам сумму. Пополнение через Яндекс Деньги происходит за считанные секунды.

Возвращаемся в Мои проекты, нажимаем красивую, зеленую кнопочку Оплатить. Далее вводим нужно количество репостов и жмем купить.

Проект оплачен на сумму 46.2 рубля

Сразу же после оплаты проект становится активным, и теперь остается только ждать… Я же на этом обязан приостановить данный кейс, так как пишу уже более 9,5 часов без остановки и пора ложится спать! А завтра мы обязательно продолжим, эксперимент по ускорению индексации блога.

Twitter как инструмент ускорения индексации

Раз уже первый способ с репостами в социальные сети у нас не прокатил, предлагаю пойти другим путем! Я думаю тут все дело в качестве аккаунтов и здесь нужно лично их отобрать!

Идем на биржу Prospero

Для работы с данной биржей нам понадобится зарегистрироваться, подтвердить по почте свой аккаунт и пополнить счет, скажем на 30 рублей

После чего создаем рекламную компанию по заданию

Далее заполняем все нужные нам поля, откидывая не качественные твиттер аккаунты

Теперь можно сходить покурить. Мне нужно большое количество заявок, что бы было из чего выбрать

Буквально через 10 минут появились первый десяток заявок. Все заявки перебирал я в ручную, просматривая аккаунты. На что следует обратить внимание:

  • Количество подписок и подписчиков
  • Количество лайков и репостов, на сколько часто они бывают
  • Частоту публикаций, хотя бы один пост в 2-3 дня
  • Редкие рекламные посты
  • Ответы другим пользователям (важный параметр)

Ну и в целом, нужно понимать насколько живой аккаунт. Из всех предложенных заявок, я нашел лишь один более менее нормальный, возможна цена в 5 рублей довольно низка! Остальные аккаунты я выбирал из того что было.

Давайте подведем итог кейса

Прошло уже почти 12 часов, пока что результата от всех операций не видно! Сайт по прежнему не проиндексирован

2 день кейса. После прогона по твитерам весь мой блог целиком попал в поиск Google

При этом в панели вебмастера Google нет информации о том что страницы загружены и проиндексированы, только то, что бот заходил на сайт, но при этом все страницы уже попали в поиск! Возможно информация в панели появляется с задержкой.

А вот что касаемо Яндекса, к сожалению страниц пока в поиске нет, но зато ботом были загружены все страницы блога

3 день кейса. Индексация сайта ботами Google прошла успешна. Блог уже попал в поиск. А вот Яндекс только загрузил страницы (в поиске их еще нет)

7 день кейса.  Все странички попали в поиск Яндекса

11 день кейса. Яндекс начал резво индексировать блог, бот заходит буквально каждые два дня

Согласитесь, не плохо получилось! Теперь важно задать определенный темп по обновлению блога, например 2-3 статьи в неделю и придерживаться этому темпу! Тут безусловно важен режим и мы приручим поисковых ботов. С частотой постов можно увеличить и частоту захода поисковых ботов.

P.S.- Если у вас есть свои наработки, прошу поделится со мной в комментариях! Мне было бы очень интересно попробовать еще другие методы ускорения индексации, уже на каком нибудь другом сайте.

Огромное спасибо тем, кто осилил дочитать этот кейс до конца, да кстати если такие есть, обязательно напишите мне в комментариях!


Каналы и чаты в Telegram

Дневник Джека если вы любите криптовалюты, то этот Telegram канал для вас. Только дельные советы, когда купить, что купить, какие монеты лучше, всё это и не только на моем телеграм канале. А самое главное как всегда бесплатно

Чат Криптовалюта все любители криптовалют добро пожаловать!

Канал HYIP PW специально для админов HYIP-проектов, да и не только... я там публикую все свои секреты :)

Чат HYIP если вам знакомы такие вещи как H-Script, GoldCoders, HSbuilder ждём вас в нашем чате HYIP админов.


Рубрики Кейсы Метки # # #

13 комментариев к “Индексация сайта. Как приручить Яндекс и Google?”

  1. Спасибо, очень полезно! Читается легко и просто 🙂 Я вот все пасусь, пасусь, но нужно уже давно свой блог начинать, этим и займусь 🙂

    Ответить
  2. Статья хороша, но верхнюю часть я бы удалил, если следовать канонам ПС заголовок должен отвечать на вопрос, а верхняя часть не раскрывает вопрос-это вода, сейчас не те времена, когда нужно писать большие статьи для того чтобы вбить как можно больше ключевиков. Если даже ответ на вопрос будет всего в нескольких предложениях, он может лучше ранжироваться чем тот в котором 10к знаков, самое главное ответить на вопрос пользователя, а то зачем нужна индексация и как она проходит нужно выносить в отдельную статью. Ведь тот кто хочет ее ускорить, знает это, если бы не знал, то врятли бы искал «как ускорить индексацию»

    Ответить
    • И вправду порадовал сервис, цены самые низкие из тех что знаю, и ссылки все зашли в индекс

      Ответить
  3. Сегодня немного пересобрал подачу текста! По сей день кейс работает отлично, пользуйтесь. Чуть позже в планах оптимизировать кейс более детально.

    Ответить

Оставьте комментарий