Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.
Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.
В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.
Как проверить страницы на индексацию
Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал .
Ну или же можно просто вбить в Яндекс вот этот код:
Url:www..ru/about
Или для Google:
Info:https://сайт/about
Конечно, URL адрес сайт/about меняете на свой.
А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:
- Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
- Запускаем ее и переходим в Indexator:
- В левую часть программы загружаем список URL, который нужно проверить на индекс:
- В настройках при работе с Яндекс я поставил работу через Yandex XML. и с чем его едят я уже рассказывал:
- Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае “Индексированность”) и нажимаем на кнопку “Начать проверку”:
- И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
Что делать с непроиндексированными страницами?
Сервисы для ускорения индексации
Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru . Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).
Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.
Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом “Абсолют апдейт” (кликните на изображение, чтобы увеличить):
Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.
На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.
Ускорение индексации с помощью Твиттера или новостных сайтов
Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо “кушают”, если аккаунты более-менее адекватные.
Про это я уже писал относительно подробно в уроке “ “. Там помимо твиттера я разбирал еще другие способы быстрой индексации.
Переиндексация существующих страниц
Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в .
Работа с индексом с помощью программы Comparser
YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.
Если же нужно выяснить, какие страницы сайта еще не попали в индекс (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.
(13 )
Если вы хотите узнать, есть ли определенная страница в индексе поисковой системы и сколько в целом страниц вашего сайта участвуют в поиске, вам стоит узнать о четырех самых простых способах поверки индексации сайта, которыми пользуются все SEO-специалисты.
В процессе индексирования портала, поисковый бот сначала сканирует его, то есть, обходит для изучения контента, а затем добавляет информацию о веб-ресурсе в базу данных. Затем поисковая система формирует поиск по этим базам. Не путайте сканирование с индексацией – это разные вещи.
Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:
- Посмотреть карту сайта. Ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml . Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть.
- Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платная) иди Xenus Links Sleuth (бесплатная).
Способы проверки индексации сайта
Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.
1. Через панель вебмастера
Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.
Яндекс
- Авторизуйтесь в Яндекс.Вебмастер .
- Перейдите в меню «Индексирование сайта» .
- Под ним найдите строку «Страницы в поиске» .
Можно пойти и по другому пути:
- Выберите «Индексирование сайта» .
- Дальше перейдите в «История» .
- Затем кликните на вкладку «Страницы в поиске» .
И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.
- Зайдите в панель управления сервиса Google Webmaster Tools .
- Кликните на вкладку Search Console .
- Перейдите в «Индекс Google» .
- Нажмите на опцию «Статус индексирования» .
2. Через операторов поисковых систем
Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта»
.
Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции.
Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска»
и выберите период, к примеру, «За 24 часа»
.
3. Посредством плагинов и расширений
Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.
Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.
Самым популярным плагином, применяемым в этих целях, является RDS bar , который можно скачать в магазине приложений любого браузера.
Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц
На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.
Нельзя оставить без внимания и букмарклет «Проверка индексации» . Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.
4. С помощью специальных сервисов
Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.
Бесплатный сервис
https://serphunt.ru/indexing/ - есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.
Платный сервис
Из платных мне больше всего нравится Topvisor - стоимость 0.024р. за проверку одной страницы.
Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.
Заключение
Главная цель владельца любого веб-ресурса – добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.
Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого мы в этой статье и рассказали о четырех методах проверки индексации сайта.
Знайте, что, если страницы слишком резко начали вылетать из поиска – с вашим ресурсом что-то не так. Но зачастую проблема таится не в процессе индексации, а в самой оптимизации. Желаете быстро индексироваться и попадать в ТОП выдачу поисковых запросов? Предлагайте целевой аудитории контент, превосходящий конкурентов.
По большому счету, если Ваш ресурс хороший, качественно сделанный, то проблем с его индексированием быть не должно. Если сайт, пусть и не на 100%, но отвечает требованиям поисковиков — «для людей», то они с радостью будут заглядывать к Вам на огонек и индексировать все новое, что будет добавлено.
Но как бы там ни было, первым шагом в продвижении сайта является добавление его в индекс ПС. До тех пор, пока ресурс не проиндексируется, по большому счету и продвигать то нечего, ведь поисковики вообще о нем не будут знать. Поэтому, в этой статье я рассмотрю, что такое индексация сайта в Яндексе и как отправить ресурс на индексацию. А также расскажу о том, как проверить попал ли сайт или отдельная страница в индекс Yandex и, что делать для ускорения индексации Яндексом.
Индексирование сайта в Яндексе – это обход роботами поисковой системы yandex Вашего сайта, и внесения всех открытых страниц в базу. Паук русского поисковика добавляет в базу данные о сайте: его страницах, картинках, видео, документах, которые доступны для поиска. Также, поисковой бот занимается индексированием ссылок и других элементов, что не закрыты специальными тегами и файлами.
Основные способы индексации ресурса:
Принудительная - следует отправить сайт на индексацию в Яндекс через специальную форму.
Естественная - поисковому пауку удается самостоятельно найти Ваш сайт, переходя с внешних ресурсов, что ссылаются на вебсайт.
Время индексации сайта в Яндексе для всех разное и может колебаться от пары часов до нескольких недель.
Это зависит от множества факторов: какие значения стоят в Sitemap.xml, как часто наполняется ресурс, как часто упоминание о сайте появляется на других ресурсах. Процесс индексации цикличен, поэтому робот будет приходить к Вам через (практически) равные промежутки времени. А вот с какой периодичностью — зависит от упомянутых выше факторов и конкретного робота.
Паук может проиндексировать веб-сайт полностью (если он маленький) или отдельный раздел (это относиться к интернет-магазинам или СМИ). На часто обновляемых ресурсах, типа СМИ и информационных порталах живут, так называемые, быстро-роботы для быстрой индексации сайта в Яндексе.
Порой на проекте могу возникнуть технические неполадки (или проблемы с сервером), в таком случае yandex индексация сайта не состоится, из-за чего поисковая система может прибегнуть к следующему сценарию:
- сразу выкинуть непроиндексированные страницы с базы;
- провести переиндексацию ресурса через определенное время;
- поставить страницы, что не были проиндексированы, на исключение из базы, и если не обнаружит их при повторной индексации, то выбросит из индекса.
Как ускорить индексацию сайта в Яндексе
Как ускорить индексирование в Яндекс – частый вопрос на различных форумах вебмастеров. Фактически жизнь всего сайта зависит от индексации: позиции ресурса в ПС, количество клиентов с них, популярность проекта, прибыль, в конце концов.
Я подготовил 10 способов, которые, надеюсь, пригодятся Вам. Первые пять – это стандартные для постоянной индексации ресурса, а следующая пятерка поможет Вам ускорить индексацию сайта в Яндексе:
сервисы закладок;
RSS-лента – обеспечит трансляцию новых материалов с Вашего ресурса на почту подписчикам и в RSS-каталоги;
биржи ссылок – обеспечат стабильный прирост dofollow ссылок с качественных доноров, при правильном их отборе (как правильно отбирать );
– если вы еще не регистрировали сайт в каталогах, то советую сделать это. Многие говорят, что каталоги давно умерли или регистрация в них убьет сайт – это не правда. Точнее не полная правда, если регистрироваться во всех подряд каталогах, то действительно Ваш ресурс только пострадает от этого. Но при правильном отборе трастовых и хороших каталогов эффект будет несомненно.
Проверка индексации сайта в Яндексе
- Операторы site и url. Если Вы желаете проверить индексацию сайта в Яндексе, то можете воспользоваться стандартными операторами поисковой системы..biz. (Естественно, вместо моего домена свой)
- RDS bar. Считаю самым лучшим и быстрым способом проверки индексации страницы в Яндексе. Данный плагин можно установить на все популярные браузеры, сразу предоставит подробную информацию о количестве страниц сайта в индексе и о наличии конкретного материала в нем. С помощью этого расширения Вы не будете терять время на ручной ввод урлов в сервисах или поиске. В общем, рекомендую, RDS bar крайне удобен:
- Сервис Серпхант. Многофункциональный ресурс, с помощью которого можно проводить анализ сайта: оценки эффективности и мониторинга сайтов, анализ страниц конкурентов, проверка позиций и индексации сайта. Бесплатно проверить индексацию страниц можно по этой ссылке: https://serphunt.ru/indexing/ . Благодаря пакетной проверке (до 50 адресов) и высокой достоверности результатов, данный сервис входит в тройку лучших по моему мнению.
- Сервис XSEO. Набор инструментов для вебмастеров, в XSEO.in Вы можете посмотреть в Яндексе индексацию сайта. Также получить множество дополнительной полезной информации о своем ресурсе:
- Сервисы PR-CY и CY-PR. Еще пара сервисов, которые предоставят Вам информацию об общем количестве проиндексированных страниц:
- Сервис Sitereport. Отличный сервис, который укажет на все Ваши ошибки в работе над сайтом. Также имеет раздел «Индексация», где будет представлена информация для каждой страницы сайта с указанием проиндексирована она или нет в поисковых системах Yandex и Google. Поэтому, рекомендую использовать данный ресурс для обнаружения проблем на сайте и проверки массовой индексации Яндекса:
Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.
Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) - это потеря дохода.
Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.
Проблема при мониторинге индексации
Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:
- («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);
Возможности инструмента:
- одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
- возможность проверки сразу всех URL сайта по ;
- нет ограничения по количеству URL.
Особенности:
- работа «в облаке» - не нужно скачивать и устанавливать ПО или плагины;
- выгрузка отчетов в формате XLSX;
- уведомление на почту об окончании сбора данных;
- хранение отчетов неограниченное время на сервере PromoPult.
Наполняя свой сайт полезной информацией, я постоянно думал над тем, как мне сделать, чтобы была быстрая индексация сайта , особенно в Яндексе. И я эту проблему решил. Теперь мои новые страницы сайта индексируются Яндексом за 10 минут. И это не шутка, а чистая правда. И поэтому в данной статье я решил вам дать информацию к действию, которая помогла мне ускорить индексацию сайта .
На самом деле ничего сложного и сверх естественного я вам не расскажу, так как я сам этого не сильно люблю. Я стремлюсь к простоте и легкости, но в то же время стремлюсь подвести свои действия к логичному завершению и результату.
Да, возможно эти результаты не всегда были положительными, но они были, а значит, в дальнейшем я стану умней, и работа моя станет, более, качественней.
Вы спросите, что я такое несу?
Я рассказую вам это неспроста, так как за счет таких экспериментов я добился быстрой индексации сайта в Яндексе за 10 минут. Возможно, это кажется не реально, но это факт. Я толком не успеваю понажимать по своим кнопкам социальных сетей, как моя новая страница сайта уже проиндексирована Яндексом.
В Google к сожалению такого результата нет, как бы я не старался. И раньше, чем за 6 часов мои новые страницы сайта в Google не индексируются. Но буду продолжать штудировать и работать дальше над поисковой системой Google.
Но в данной статье я хочу рассказать именно о Яндексе, а именно как на моем сайте происходит за 10 минут.
Возможно, многие те способы, которые я сейчас дам для быстрой индексации сайта, очень хорошо знают (это больше относится к более опытным блоггерам и веб-мастерам), но новичкам эта информация будет как раз кстати.
Я сейчас вам по пунктам распишу все действия, которые я делал для ускорения индексации своего сайта и которые в моем случае отлично работают. И так начнем.
Как сделать быструю индексацию сайта в Яндексе.
1 . Первым делом после того как я публикую свою статью в интернет, я добавляю ее в веб-мастер Яндекса в раздел "Сообщить о новом сайте ". Это первое, что каждый должен сделать для ускорения индексации своей станицы сайта. Обязательно зарегистрируйтесь там и на каждую новую свою статью ставьте там ссылку. Конечно, это не дает 100% гарантии быстрой индексации сайта в Яндексе, но и лишним не будет напомнить Яндексу о новой статье на вашем сайте.
2 . На моем сайте в конце каждой статьи есть кнопки социальных сетей , которыми я пользуюсь. Но пользуюсь я не всеми социальными сетями, которые там есть, а лишь несколько из них. Я добавляю свою новую страницу в такие социальные сети как: Twitter, Facebook, Я.ру и Google Plus. Вот все основные социалки, которыми я пользуюсь. Но перед этим вы должны, соответственно, зарегистрироваться в данных социальных сетях. Больше сервисов я не использую, так как считаю, что этого достаточно. Если у вас есть свои аккаунты еще где-то, то лишним это не будет.
4 . Добавляю свою новую страницу сайта в программу Pingxpertfree, которая раскидывает мою ссылку по своей базе сайтов в интернет. Их еще называют rss ленты.
5 . Пишу постоянно новые и уникальные статьи для своего сайта. Причем пишу их с постоянной периодичностью 1 статья в 3-4 дня, но не реже чем 2 статьи в неделю. Соответственно робот Яндекса приходит на мой сайт в данный промежуток времени и ждет новые посты, а как только они появляются, то Яндекс их тут же заносит себе в базу и в следствии происходит быстрая индексация сайта в Яндексе.
Старайтесь придерживаться графика появления новой статьи на вашем сайте. Приучите поискового робота заходить на ваш сайт постоянно в день появления новой статьи на сайте. Этот пункт является одним из главных. Самое главное постоянно наполнять свой сайт свежей информацией, и робот будет постоянно посещать ваш сайт.
6 . Сделайте грамотную и правильную внутреннюю перелинковку сайта . Суть ее заключается в том, чтобы все ваши статьи были связаны между собой ссылками. Это нужно для того, чтобы поисковый робот не уходил с той страницы, на которую он пришел, а перешел далее по внутренним ссылкам. Это особенно хорошо для молодого сайта, который только появился в интернете.
7 . Старайтесь наращивать ссылочную массу вашего сайта. Причем нужно, чтобы ссылки шли не только на главную страницу, а на все страницы сайта. Так будет быстрей и качественней индексация вашего сайта в Яндексе. Но не нужно в самом начале создания сайта или блога пользоваться сервисами для прокачки ссылочной массы, особенно, в большом количестве измеряемые в тысячном эквиваленте. Вместо «прогона» лучше использовать сервис типа SeoPult , в котором ссылки закупаются естественным образом, постепенно, и отбираются только качественные доноры, отвечающие жестким требованиям.
8 . Нужно постоянно вести контроль за индексацией своих страниц в интернете, в частности таких поисковых систем Яндекс и Гугл. Контроль за индексацией важен тем, что чем быстрее ваша статья попадет в поисковую выдачу, тем быстрее вы получите свою выгоду, которую вы преследовали в своей статье. Так же быстрая индексация статьи нужна, чтобы мошенники не смогли украсть ваш контент и проиндексировать быстрее у себя на сайте или блоге. Иногда, ваши страницы, которые уже проиндексировались в поисковых ситемах, через некотое время могут вылететь из поиска - это может быть глюк поисковых систем и вскоре ваши статьи вернуться обратно в поисковую выдачу либо какие-то проблемы обнаружились с вашими страницами сайта или блога и тогда вам нужно будет искать причину(ы) почему это произошло (причин может быть множество).
Чтобы ускорить процесс контроля за индексацией ваших страниц, существует бесплатный сервис https://serphunt.ru/indexing , который позволит быстро и бесплатно проверить индексацию вашей новой или старой страницы в поисковых системах Яндекс и Гугл. Данный сервис позволяет одновременно проверить до 50-ти страниц сайта или блога. Вот как выглядит сам сайт:
Вот и все способы, которые я применяю для моих новых написанных статей, чтобы была быстрая индексация сайта в Яндексе за 10 минут.
Но 100% гарантии я вам не даю, что будет именно такой результат, который есть у меня так, как неизвестно, как это будет работать на вашем сайте. Индексация штука тонкая и она зависит от многих факторов, которые нужно искать и заставить работать на себя.
P.S. Не огорчайтесь, если Яндекс не хочет долго индексировать ваш сайт. Возможно, у него нет пока доверия к вашему сайту. Главное не останавливаться и постоянно писать новые статьи и возможно в дальнейшем вы уже будете учить всех, как получить быструю индексацию сайта в Яндексе. Яндекс - поисковая система с характером и ей нужно угадить.
