БЛОГ MILLION MILES
ноябрь, 2018

Сайт не индексируется: причины проблемы и способы ее решения

Индексация нового сайта, особенности использования файлов robots.txt и sitemap.xml
Проблемы с индексацией сайта условно можно разделить на две группы:
  • внешние – ресурс находится под фильтрами поисковых систем – устраняются долго и сложно
  • внутренние – проблемы с оптимизацией – вполне решаемы и будут рассмотрены ниже
1

Новый сайт

Когда в Интернете появляется новый сайт – поисковики ничего о нем знают, не знают о его появлении. Google заявляет, что для индексации ничего делать не нужно, но по факту это не так.
Попасть в результаты поиска Google просто. Не нужно ничего платить или даже отправлять нам информацию о сайте. Наша поисковая система полностью автоматизирована и использует так называемые поисковые роботы, которые постоянно сканируют Интернет и добавляют в индекс новые страницы. Именно так найдены почти все сайты, которые отображаются в результатах поиска.
Поисковой робот (краулер) может попасть на новосозданный ресурс, если:
  • на других сайтах размещены ссылки на него (проводя очередное сканирование уже имеющейся в индексе страницы, робот перейдет по ссылке, если она не закрыта от перехода атрибутом rel = "nofollow")
  • был осуществлен переход с сайта по ссылке на другой ресурс (заголовок http-запроса содержит url источника и сохраняется в журнале ссылок на сервере, который доступен краулеру)
  • сайт добавлен в веб-мастерские Google Search Consol, Яндекс.Вебмастер и отправлен файл Sitemap (об этом подробно ниже)

Последующая индексация каждой новой страницы занимает в среднем 1-2 недели. При условии, что на нее ссылаются уже проиндексированные страницы сайта либо она добавлена в sitemap.xml (поэтому удобно, когда файл Sitemap является автообновляемым).

Важный момент: ссылку на sitemap.xml стоит указать в robots.txt, тогда при каждом новом сканировании поисковой робот будет обращаться к актуальному файлу Sitemap.
Как добавить Sitemap в роботс? Наглядный пример.
Строку, указывающую на местоположение Sitemap, можно вставить в любом месте файла
2

Ошибки в файле robots.txt

Стандарт исключений для роботов (robots.txt) — файл ограничения доступа роботам к содержимому на http-сервере.
Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.
2.1
Для начала, нужно проверить, существует ли вообще robots.txt) Он должен располагаться в корневом каталоге сайта:

mysite.com/robots.txt
2.2
Далее необходимо убедиться, что сайт не закрыт от индексации. В этом случае директива Disallow в файле будет без параметров:

User-agent: *
Disallow:
2.3
В robots.txt следует закрыть доступ к системным файлам, результатам поиска, архивам и пр. – всему ненужному. В противном случае, поисковой бот может просто не дойти до страниц, которые должны быть проиндексированы.

Например, закрыт доступ к каталогу archive :

User-agent: *
Disallow: /archive/
С подробной информацией по синтаксису и правилам обработки директив роботом можно ознакомиться в Яндекс.Помощь. А в Яндекс.Вебмастер есть возможность проверить robots.txt на наличие ошибок.
Как проверить robots txt в Яндекс? Пример проверки в веб-мастерской.
Кроме того, можно выяснить, разрешены ли отдельные url
Аналогично проводится проверка в Google Search Console (старая версия).
Пример того, как проверить robots txt онлайн в Гугл веб мастер.
Подробно о том, как работать с инструментом проверки файла robots.txt, можно ознакомиться в Справке - Search Console
3

Отсутствует sitemap.xml

Sitemap – XML-файл с информацией для поисковых систем о страницах веб-сайта, которые подлежат индексации. Sitemap может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.
sitemap.xml – это своего рода карта для бота. Если этот файл отсутствует, его необходимо создать и добавить в веб-мастерские.
Вебмастер Гугл индексация сайта: отправка sitemap.

Вебмастер Яндекс, отправка sitemap. Как мера, если сайт плохо индексируется.
Как уже говорилось выше, хорошо, когда sitemap.xml является автообновляемым. Если Ваш сайт создан на базе конструкторов таких, к примеру, как WIX или Tilda, то карта сайта является динамической по умолчанию. Т.е., в нее автоматически заносятся все новые страницы.

Для Wordpress можно использовать возможности плагина All in One SEO Pack. В других случаях – сервис XML-Sitemaps.com. Он позволяет бесплатно в два клика создать карту сайта (до 500 страниц). Большее количество страниц и функция автообновления доступны в платном тарифе, стоимость – от $3,49 в месяц.
Проблемы индексация: онлайн генератор карты сайта.

Как сделать чтобы сайт индексировался? - Создать карту сайта он-лайн.

Также негативно повлиять на индексацию страниц сайта могут:
  • неоригинальный (рерайт) или редко обновляемый контент
  • низкая скорость ответа сервера
  • явные или неявные дубли страниц

Большинство ошибок можно выявить в панели веб-мастера. Там же содержится информация для их устранения, необходимо просто следовать подсказкам и рекомендациям Google и Яндекс.

_________________
10 ноября 2018

Продолжая использовать сайт millionmiles.ru, Вы даете согласие на обработку файлов cookie и пользовательских данных.
Понятно
Close
Made on
Tilda