Почему сайт не индексируется, или о чём нужно было позаботиться заранее | Блог сайтостроителя

Почему сайт не индексируется, или, о чём нужно было позаботиться заранее

Итак, Вы создали сайт, наполнили его уникальным контентом, после чего добавили этот сайт в самые популярные поисковые системы, такие как Яндекс и Google, но сайт почему-то плохо индексируется или не индексируется вообще. В данной статье я расскажу Вам об основных причинах плохой индексации сайта, а также дам несколько советов, которые могут ускорить процесс попадания страниц сайта в поисковые системы.

Прежде чем впадать в панику, давайте выясним, как долго может индексироваться сайт после добавления его в поисковых системах, и, когда нужно начинать нервничать.

В большинстве случаев сайт начинает индексироваться где-то через 2-4 недели. Бывает и быстрее (даже на следующий день!). Если же сайт не индексируется дольше чем месяц, то тут уже надо начинать предпринимать меры по устранению причин, которые препятствуют индексации сайта. Лучше, конечно, изначально позаботиться о том, чтобы данных препятствий не было…

Почему сайт не индексируется

Для начала, давайте рассмотрим основные причины, по которым индексация сайта может быть затруднена:

Неуникальный контент. Статьи на сайте должны быть уникальными, т.е. они не должны встречаться на других сайтах. Особенно поисковые системы не любят сайты с неуникальным контентом, которые торгуют ссылками. Такие сайты рано или поздно (а последнее время это очень часто происходит) попадают под фильтр ПС, из которого практически невозможно выбраться и страницы таких сайтов навсегда исчезают из поиска. Если же сайт имел неуникальный контент, но ссылки с него не продавались, то есть шанс, что сайт будет нормально индексироваться и ранжироваться, после того, как на Вашем сайте появятся уникальные статьи.

Переоптимизация, переспам. Не стоит злоупотреблять количеством ключевых фраз в статье, а также тегами <strong>, <em>, <i>, <b> и т.д. Всё должно смотреться естественно и непринуждённо.

Некачественный контент. Думаю, что не надо объяснять, что такое некачественный контент. Каждый из нас знает, какую он статью написал – для людей или для поисковых роботов…

Сайт является зеркалом другого сайта. Здесь имеется в виду ситуация, когда существует сайт с абсолютно уникальным контентом, но по смыслу и структуре он полностью или частично копирует другой сайт. Такие сайты также могут попасть под фильтр поисковых систем. По крайней мере, Яндекс такие сайты не очень любит и, если замечает, «склеивает» их с «главным зеркалом» всех сайтов.

Индексация сайта запрещена в файле robots.txt. Бывает так, что веб мастер случайно может запретить индексацию сайта в файле robots.txt. Так что в первую очередь проверяйте именно этот файл. Если Вы не знаете, что такое robots.txt, то в разделе «Использование robots.txt» от сервиса «Яндекс.Вебмастер», всё очень хорошо расписано.

Индексация сайта запрещена в мета тегах. Проверьте обязательно HTML-код страницы сайта. Если в коде присутствует код <meta name=»robots» content=»noindex,nofollow» />, то это означает, что поисковым роботам запрещено индексировать страницу, о чём говорит команда noindex, и переходить по ссылкам на странице (команда nofollow). Существует аналогичный мета тег <meta name=»robots» content=»none»/>. Данный мета тег также запрещает индексировать текст и переходить по ссылкам на странице.

Продажа ссылок с сайта. Яндекс не против того, чтобы владелец сайта немного (или много) подзаработал на продаже ссылок со своего сайта. Но, если Вы продаёте слишком много ссылок (а сколько, это «слишком много», известно только Яндексу), то это может повлечь за собой массовое выпадение страниц из индекса. Также Вы должны понимать, что если Вы хотите зарабатывать на сайте за счёт продажи ссылок, то этот сайт должен быть действительно полезным для пользователей Интернета (ну или хотя бы немного полезным), ну и, конечно же, сайт должен иметь уникальные статьи. На счёт Гугла такое сказать не могу. Вообще поисковая система Google старается индексировать всё что можно и что нельзя – этакий монстр индексирования (бывает, что Google индексирует даже те страницы, которые запрещены для индексации в файле robots.txt, если на них стоят ссылки), но не все страницы он хорошо ранжирует (учитывает). Также есть мнение, что вес страницы теряется, если на ней слишком много внешних ссылок – это ещё один повод для того чтобы НЕ превращать сайт в линк помойку.

Ссылочный взрыв. Если в один прекрасный день на неизвестный сайт начнут ссылаться сразу тысячи ресурсов, то это может повлечь за собой жёсткие санкции со стороны поисковых систем, как по отношению к сайту, на который ссылаются, так и к ссылающимся сайтам. В общем, пострадают все!

Хостинг блокирует роботов поисковых систем. К сожалению, бывает и такое. Так что, пользуйтесь услугами проверенных хостингов, которые имеют хорошую репутацию.

Домен, который Вы купили, был ранее забанен (заблокирован) поисковыми системами. Если есть возможность изучить историю покупаемого домена, то обязательно изучите её.

Сайт по ошибке попал под фильтр ПС. Такое бывает не так часто, но бывает (примерно в 1-2% случаев). Если Вы уверены, что Ваш сайт соответствует всем требованиям стандарта качества поисковых систем, то можно написать им письмо, и через некоторое время (возможно после долгой переписки) Ваш сайт проиндексируется.

Многие другие причины, которых так много, что в одну статью всё просто не поместится. Включайте логику, анализируйте сайт, и Вы сами сможете выявить причины, которые препятствуют индексации сайта в ПС.

Как ускорить индексацию сайта

Если Вы уверены, что Ваш сайт не нарушает правила игры (назовём это так), но он всё равно не индексируется довольно долгое время, то возможно поисковые роботы просто-напросто не могут найти Ваш сайт. Ну не могут они и всё тут! В этом случае Вам нужно помочь поисковой системе найти страницы Вашего сайта, о чём мы и поговорим далее.

Итак, как ускорить индексацию сайта в поисковых системах Яндекс и Гугл:

Шаг 1-й: Добавьте сайт в «Яндекс.Вебмастер» и «Центр веб-мастеров Google», если Вы ещё этого не сделали. Подчас этого достаточно, чтобы сайт нормально индексировался, но не всегда…

Шаг 2-й: Настройте правильно файл robots.txt. Закройте от индексации все страницы и папки, которые не нужно индексировать. Даже, если на некоторые файлы нет ссылок со страниц сайта, то поисковая система всё равно может их проиндексировать. Облегчите работу поисковым роботам и поисковые системы обязательно это оценят. Для каждого движка есть свои рекомендуемые настройки файла robots.txt, которые легко можно найти в Интернете. Но прежде чем использовать готовые решения, нужно чётко понимать, что Вы делаете, и, какие страницы закрываете от индексации, поэтому я настоятельно рекомендую Вам всё-таки изучить раздел «Использование robots.txt».

Шаг 3-й: Укажите в файле Sitemap все страницы, которые нужно проиндексировать. Многие web мастера пренебрегают этим файлом, считая его не столь значительным в процессе индексации сайта, а зря. Подчас именно файл Sitemap может поспособствовать тому, чтобы сайт проиндексировался. И в этом я совсем недавно убедился, когда мне дали в работу 3 сайта, у которых была одна общая проблема – в течение 6-ти месяцев у каждого сайта проиндексировалось всего лишь по 2-3 страницы в поисковой системе Гугл. Причём все эти сайты давно были добавлены в «Центр веб-мастеров Google» и «Яндекс.Вебмастер», а также на многие страницы с разных сайтов уже были проставлены ссылки. Как ни странно, данные сайты уже давно успешно индексировались в ПС Яндекс, но Гугл, по каким-то причинам обходил их стороной. Тогда я решил добавить файлы Sitemap на все сайты. И что Вы думаете – буквально через 2-3 недели все 3 сайта начали индексироваться в Гугле. Также я заметил, что если добавить сайт в панель вебмастера и там же указать путь к файлу Sitemap, то сайт нередко индексируется буквально за 1 день! Если Вы не знаете, что такое файл Sitemap, то Вы можете почитать о нём ЗДЕСЬ (Что такое файл Sitemap?). Практически у каждого движка есть свои плагины, которые генерируют файл Sitemap, но если у Вашего движка нет такой возможности, то Вы можете сгенерироваться файл Sitemap с помощью специального сервиса, такого как XML Sitemaps Generator. Просто введите адрес сайта и нажмите Start, после чего скачайте этот файл и загрузите его по ftp в коневую папку Вашего сайта. Затем укажите путь к файлу Sitemap в панели вебмастера.

Шаг 4-й: Создайте карту сайта. Карта сайта – это страница, на которой размещены все ссылки на страницы сайта. Карта сайта также помогает поисковым роботам быстрее проиндексировать сайт. Если Вам интересно, как выглядит карта сайта WebCaum.ru,  то Вы можете посмотреть её на данной странице.

Шаг 5-й (необязательно): Ускорить индексацию сайта внешними ссылками. Самый эффективный способ проиндексировать сайт с помощью внешних ссылок – это сделать так, чтобы на самые значимые страницы Вашего сайта ссылались различные (желательно тематические) блоги, поскольку именно они индексируются быстрее всего (если блог популярный и часто обновляемый, то он может индексироваться каждые 2 часа!). Получить вечные ссылки с блогов на сайт (достаточно по 2-3 ссылки на каждую страницу) Вы можете с помощью сервиса Blogun или любых других сервисов.

Что делать, если сайт всё равно не индексируется?

Если все эти советы не помогли, и Ваш сайт так и не проиндексировался спустя ещё один месяц, то тут остаётся только одно – написать работникам поисковых систем:

  • Написать Яндексу. Практика показывает, что в большинстве случаев отвечают следующее: «улучшайте качество своего сайта…». Но не стоит отчаиваться, если Вам дали шаблонный ответ – это означает, скорее всего, одно, что времени на рассмотрение сайта совсем не было. Если надо будет, вступите в долгую переписку с Яндексом и отстаивайте свои права. Дайте понять, что Вам не безразличен Ваш сайт. Если Вы абсолютно уверены в том, что Ваш сайт качественный, то рано или поздно с него снимут фильтр.
  • Написать Гуглу. Задать вопрос Гуглу можно на русском языке, но ответят Вам на английском и чаще всего стандартным ответом. 1-й ответ будет примерно таким: «Мы приняли Вашу заявку на пересмотр сайта… и т.д. и т.п.». 2-ой ответ, если с Вашим сайтом всё в порядке, будет примерно таким: «Мы рассмотрели Ваш сайт и не нашли присутствия спама. Ждите, когда сайт проиндексируется.»

Напоследок мне хотелось бы дать Вам последний совет. Не давайте адрес Вашего сайта на различных форумах, блогах и других ресурсах, и не говорите никому, что Ваш сайт ещё не проиндексировался. Нечестные люди могут этим воспользоваться, украв полностью контент с Вашего сайта. Также не стоит регистрировать непроиндексированный сайт в каталогах, т.к. владельцы каталогов могут проверить Ваш сайт на наличие страниц в поиске и также своровать страницы сайта.

Буду Вам признателен, если Вы поделитесь в комментариях, помогла ли Вам предоставленная информация ускорить индексацию сайта или нет.

Желаю Вам успешной индексации!

Ссылка на основную публикацию
Adblock
detector