Меню

Ускоряем индексацию, настроив правильный ответ сервера

как ускорить индексацию сайта яндексои и гугломНаверное, каждый сталкивался с проблемой плохой индексации страниц Яндексом. Гугл-работяга довольно быстро добавляет новые статьи в индекс, а вот Яша не торопится. Наверное, только ленивый не писал основные советы как ускорить индексацию сайта Яндексом и Google:

  1. Пишите часто, регулярно обновляйте контент. Чем чаще поисковик станет получать сообщения о появлении новых URL, тем быстрее и охотнее будет заглядывать к вам.
  2. Добавляйте новые страницы в сервисы соцзакладок, жмите кнопочки соцсетей, активно анонсируйте.
  3. Комментируйте, получайте ссылки на новые страницы, покупайте линки с авторитетных сайтов (желательно "сквозняки", с главной).
  4. Про карту сайта вообще все знают, у кого ее нет?
  5. Ну и аддурилка. Кому-то помогает, мне нет.
  6. Добавление сайта в каталоги не всем по карману.

Вот работала почти месяц, ежедневно добавляя статьи и обнаружила, что Яндекс их не проиндексировал. А знаю один сайт, публикует пару статей за месяц, у него скорость обновления 5 страниц за сутки (у меня 0,18). Так что призадумаешься. Стала искать информацию в сети и оказалось, что проблема как всегда (для меня) таится в коде (вернее, его отсутствии).

Как ускорить индексацию советы Яндекса, Google

Скажите честно и откровенно, вы читали справку Яндекса? Вообще, заглядывали туда за полезной информацией? Оказывается, кроме воды там есть дельные советы, полезно все же слушать, что рекомендует сам поисковик. Итак, ближе к делу. Думаю, каждый видел в вебмастере ссылочку "как ускорить индексирование". Если не читали, загляните туда. Что увидим? Вот скрин: как ускорить индексацию сайта в Яндексе Кто-нибудь вообще обращал внимание на последний пункт? Я, честно говоря, нет. Оказывается, если отсутствует корректный ответ сервера на запрос If-Modified-Since, сайт все равно проиндексируется. Однако на каждый визит для отдельного сайта выделяется определенное число сканирований. Если мы их исчерпываем, новые страницы могут не проиндексироваться (до них могут просто не добраться!).

Кстати, Google также рекомендует настроить правильный ответ сервера на запрос о последнем обновлении. Об этом говорит справка Google следующее:

If-Modified-Since требования Google

Решений разные вебмастера предлагают массу. Однако везде есть свои загвоздки. Я выбрала вариант кода, корректно формирующего время изменения страницы, минуя кеширование. Прежде чем искать варианты кода, проверьте ответ сервера при помощи специального сервиса. Если увидите в ответе строку Last-Modified: значит у вас все работает корректно и ничего менять не надо. Но если указанного заголовка в списке нет, следует настроить свой сервер для ускорения индексации сайта Яндексом и Гуглом.

Оставить комментарий
  1. У меня вроде бы все статьи нормально "кушают" и Яша, и Гоша. После написания всегда добавляю в аддурилки.
    Перешла по предложенной Вами ссылке, что бы проверить ответ сервера и там ничего не понятно для меня.
    Строку Last-Modified не нашла. У меня проблемы?

    • Просто сервер не настроен, нужно добавить код, как я написала в статье. Нормально кушают — это как? Индексация сразу, в течении нескольких минут? Или нужно ждать следующего апа?

  2. Надежда. откуда такие познания в SEO?

    • Дмитрий, из глобальной сети Интернет.

  3. Сейчас я бы не стал покупать ссылки на свой сайт. Сейчас главное, это больше писать и анонсировать в соц.сетях. Молодому блогеру еще не где взять денег на покупку ссылок, а старому уже вроде де бы и не сильно нужны. Ссылочная масса, она вроде бы нужна, но например на блог своей жены я купил всего две ссылки, и это не помешало так же как и моему, на свой я купил больше, значительно больше, быть в одном ряду по индексации от Яндекса.

    • Вот и я об этом. Ссылки дорогое удовольствие, причем не гарантия быстрой индексации Яндексом. Поэтому стоит настроить правильный ответ сервера на запрос If-Modified-Since!

  4. Надежда Давыдова, "кушает" - это бывает несколько минут надо ждать, бывает на следующий день. Вот если бы с хорошей индексацией еще и позиции хорошие были...
    Что-то Яндекс в последние Апы меня кидает и вверх и вниз. Какой-то шторм у меня по выдаче. Соответственно посещаемость в несколько раз увеличивается или уменьшается. Не понимаю ничего, что с моим блогом..

    • Может это не с блогом а с выдачей? У меня тоже позиции скачут. Думаю что без ссылок мой блог слишком "легкий" вот и носит его как лодочку в шторм по волнам. Надо ссылки покупать. А лучше всего — с главных страниц или "сквозняки". Эх когда я на это решусь...

  5. У многих проблемы с быстрой индексацией страниц сайта Яндексом, на одном форуме даже было выдвинуто предположение, что Яша отменил быстроробота.
    Кстати, когда-то давно на одном самописном сайте, я тоже экспериментировал с Last-Modified и добивался неплохих результатов, но смысл моих манипуляций сводился к тому, чтобы отдавать приоритет индексации конкретным (продвигаемым) страницам.

  6. Что-то непонятное с комментариями, или WordPress глючил или моя почта попала в спам базу?

    • Я вообще отключила Акисмет чтобы комментарии в спам не попадали. А что было не так?

    • Ответить именно на ваш комментарий вижу возможности нет.
      Просто когда оставляешь комментарий WordPress обычно информирует что он на модерации, а тут полное ничего, вот это меня и насторожило!

    • Да, намудрила, когда боролась с дублями. Сейчас если изменю вложенность, в комментариях получится неразбериха. Многие отвечали на собственный комментарий. Что теперь делать? Оставила как есть. Не знаю, с чем связан описанный Вами глюк, обычно сообщает, что коммент на модерации.

  7. Нет, я тоже на этот пункт не обращала внимания. Оо
    Аддурилка, кстати, мне тоже не помогает, может потому что блог новый, не знаю. Обычно, почти всем, моментально помогает.)

  8. При ведении сайта столько нюансов. Я вроде бы все стараюсь применять, но по моему это все не особо помогает.

  9. Для меня работа с кодами, это мрак, боюсь что-то настроить неправильно. Но, Ваши рекомендации возьму на заметку.

  10. Да именно выдача меняется. От этого посещаемость две недели около 300 человек, а две недели чуть больше 100. Потом опять...
    Так длится несколько месяцев.
    Аж смешно за этим наблюдать уже становится.
    Ссылки как-то пока боюсь покупать. все трубят, что только СЕО двигает сайты.
    Надежда, а Вы где позиции проверяете? Не знаю чем точнее проверять. Каждый сервис по разному показывает.

    • Юлия, я сильно этим не заморачиваюсь. Проверяю сервисом xtool.ru он подгружает данные с Мегаиндекса. Но там данные не совсем точные, хотя общее представление все же дает. Направление движения, так сказать: растут позиции или падают.

  11. Добрый день Надежда! Не знаю почему, но на моем блоге почему то всегда не получается вставить код, выдает ошибку. Вот на новом сайте, я скоро его презентую, пока занимаюсь наполнением, все в порядке. Может ли зависеть от темы блога? Или может от чего еще зависит...

    • Екатерина, так сложно сказать, не видя, что не так. У меня тоже очень сложная тема, трудно поддающаяся редактированию. Но если правильно вставлять (в нужное место), никаких ошибок не возникает. Если Вы боитесь вставить приведенный в статье код, будьте спокойны: ошибок за собой он не повлечет, если вставите в хэдер в самом верху, над самой верхней строчкой.

  12. Мне бы как раз не помешала индексация моего молодого сайта

    • Тогда выполните эту простую работу. Глаза боятся, а руки делают.

  13. Не я как бы не боюсь вставлять коды, я всегда сначала делаю копию, если что не так, но почему то на одном блоге нормально получается, вставился ваш и первый код, с редиректом, и этот код. Но на другом ни как выдает ошибку HTTP 500

    • Екатерина, не знаю, как у Вас, у меня иногда бывают ошибки по невнимательности. Может, так совпало, что на втором блоге не получилось один раз и теперь Вы волнуетесь, снова ошибаетесь? Проверьте внимательно еще раз. Может, на втором блоге в хэдере уже были прописаны функции и Вы не туда вставили? Попробуйте просто поместить код в самый верх файла, над самой верхней строчкой. Должно работать!

  14. Яндекс очень стал медленным в плане индексации, но когда добавляешь новый URL в аддурилку, она минимум появляется в поиске после апдейта.

    Надежда, твой код я добавил, проверил свою статью сервисом, который указала в статье, но Last-Modified не появился. Наверное, данный код не у всех тем работает.

    • Попробуй обнулить кеш, Алексей! Должно работать, если правильно вставил.

  15. Стыд и позор мне! Совершенно запамятовал про этот заголовок. Ну что ж, теперь оторвусь на нем как следует!!!

    • Да, отрывайся, Андрей, главное это целиком и полностью легально, поощряется поисковиками, требует пять минут времени на настройку!

  16. Надо бы заняться ускорением индексации сайта, да все руки не доходят.

  17. Совсем не сильна в этой терминологии, всё кажется супер заумным: коды, кэши и прочее... Но поняла одно, если хочешь, чтоб твой ресурс бы таким, каким ты его хочешь видеть,чтоб всё работало, надо начинать всё делать с основ самому, и как Надежда, всё постигать своим умом. Так что остаётся покорно ждать своей очереди. У меня наоборот Гугл редкий гость, не более 15-20 % от всех запросов. Яндекс быстрее индексирует статьи.

  18. Надежда, поставила код как ты написала! Проверила в сервисе в последней строчке есть нужная фраза! Думаю все прошло успешно, спасибо за новую полезность!

    • Мария, очень рада, что все получилось. Пожалуйста!

  19. 404 проверял а вот про 304 как многие и не слышал. Сейчас сходил проверил оказывается всё работает.

    • Здорово, Олег, значит, Drupal как всегда имеет встроенные настройки?

  20. Ни моего комментария, ни твоего ответа не увидел, хотя оповещение на почту пришло. Может, это страница из кэша и нужно подождать, пока она заменится на новую.
    В Drupal из коробки есть механизм кэширования и ещё несколько доп модулей для тех кому мало, но вот чтобы специально настраивать такого не помню.

    • Олег, а если обновить страницу, все равно не видно комментариев? У тебя Хром?

  21. У меня огнелис. Сейчас с хрома зашол все коменты на месте.
    Быстрое гугление показало что last-modified хавают не только ПСы. Браузер получив ответ что страница не изменилась не грузит её с сервера а использует сохранённую копию. Получается что Firefox сохранил страницу и второй раз не стал качать с моим и твоим комментом а просто отдал мне то что у него было. С хрома я зашол первый раз и он показал актуальную версию.
    Получается если в коде из статьи комменты не учитываются как изменения страницы могут быть проблемы с общением.
    Это только моё мнение не специалиста после беглого изучения проблемы. Надо консультироваться с теми кто в теме.

    • Да, уже поняла, что у меня проблема. И получается, у тех, кто последовал моему совету, тоже... Уже пошла консультироваться на Маул, посмотрим, что скажут.

  22. Вообще впервые о таком (ответ сервера на запрос If-Modified-Sinc) слышу...Хотя проблемы с индексацией имеются и уже давно ищу ответы, но пока толком ничего не нашла, кроме советов писать статьи чаще... Надежда, а если я никаких кодов не вставляла, зашла по вашей ссылки на cy-pr.com и проверила свой блог, мне высветилось: Last-Modified: и дата, это значит, что у меня все настроено?

    • Да, Ольга, значит все настроено.

  23. Значит, этот путь для меня не подходит для ускорения индексации Яндексом...печалька...

    • Ольга, оказалось, что предложенный мною код задерживает кеширование, пришлось его удалить. Так что не огорчайтесь. Теперь думаю отредактировать статью или вовсе удалить? А ведь на других сайтах люди тоже наткнутся и наломают дров. Не знаю, как корректно все исправить.

  24. А я думала, что это у меня глюк с браузером. Куки чистила, а новые комменты все не появлялись.
    Спасибо, что предупредили. Я еще не добралась до установки. Хорошо, что не было времени.
    Вот еще статью про уменьшение показателя отказов изучаю. Хочу исправить по Вашему методу. Безопасно?

    • Да, там уже проверено, больше месяца. Все гуд!

  25. Спасибо за полезный совет, проверила, вроде бы все хорошо и с Яндексом, и с Гуглом!)

  26. Перешла по указанной ссылке на cy-pr, чтобы проверить ответ сервера, строки Last-Modified не увидела, буду разбираться и настраивать свой сервер. Спасибо

  27. Надежда, очень интересный материал! Я даже и не задумывался над такими запросами к серверу... Вообще, с одной стороны, в этом что-то есть. Но с другой, действительно при вставке кода кеш начинает себя странно всести. Даже на своём блоге, после моего-же комментария я сам его и не увидел, пока Ctrl+F5 не нажал...
    Кроме того, хотел последовать Вашему совету, но кода в статье так и не нашёл... Поискал по Сети и набрёл вот на этот ресурс... http://last-modified.com/ru/ Они не только проверяют, но и предлагают код для вставки... И самое интересное - Last-Modified - это только пол-дела. Должен быть ещё и ответ сервера 304 Not Modified...
    Я воспользовался их кодом, но всё равно добился только появления у себя Last-Modified. Вторая половина не получилась. Вот результат проверки моего блога:
    Сайт blog.ddw.kz отдал время последней модификации, но не отреагировал на If-Modified-Since. Проверил Ваш блог - оба параметра на месте...
    Вот-же незадача... Пока решил у себя код убрать - из-за кеша...
    Как думаете, действительно ли стоит заморачиваться на это дело?

    • Думаю, ничего страшного, если не получилось настроить оба параметра. Согласно справке Яндекса и Гугла, сайт все равно будет проиндексирован. Тогда нужно использовать прочие методы ускорения индексации. Аддурилка тоже помогает, пусть и не сразу, но все же индексация ускоряется.

  28. Спасибо, Надежда, за полезные рекомендации. Перешла по указанной ссылке на cy-pr, строчка Last-Modified имеется.

  29. Сколько полезных советов по индексации. Буду применять, а то не все страницы у меня в индексе...

Здесь вы можете оставить отзыв

* Текст комментария
* Обязательные для заполнения поля

Внимание: все отзывы проходят модерацию.