Меню

Как быстро удалить URL-адреса из дополнительного индекса Гугла

Как быстро очистить дополнительный индекс ГуглаВедя борьбу с дублями страниц, провела настоящую "чистку" блога. Настроила редиректы, прописала noindex для технических дублей своего сайта. Довольная своей работой, стала ждать, когда же наконец все дубли вылетят из индекса.

Однако, хоть их число заметно сократилось, значительная часть их так и осталась "болтаться". Время от времени проверяя дополнительный индекс Google, убедилась, что ждать придется очень долго, пока поисковик сам все это удалит. Конечно, в вебмастере есть инструмент "Удалить URL-адреса", однако при этом возникает проблема: как узнать эти самые урлы?

Как узнать URL-адреса дублей?

Если вбить комбинацию site:incomeeasily.ru (для каждого сайта конечно же свой домен), можно узнать количество страниц в индексе Гугла. Пройдя в конец списка и нажав "показать скрытые результаты", мы увидим, что же там в Supplemental results, или как уже многие говорят, в "соплях".

А у меня там болтались удаленные давно страницы, дубли комментариев к ним, даже страницы админки(!), файлы темы, копии мобильной версии сайта (кстати давно удаленные) и прочий мусор. Некоторые адреса я могла узнать, пройдя по ссылке и открыв сам сайт. Но большинство не открывалось благодаря настроенным редиректам.

Вот тут и возник вопрос: что же делать? Как всегда ответ пришел сам собой. "Метод научного тыка" — самый лучший метод для ленивых. Я себя отношу к числу лентяев. Болея последнюю неделю, не нашла в себе силы писать новые статьи, но вот поковыряться в этих каверзах почему-то захотелось. Стала отправлять запросы на удаление тех адресов, которые смогла определить.

Потом пришла идея посмотреть исходный код ссылки, которую дает поисковик. Если кто не знает, для этого достаточно клацнуть по ссылке правой кнопкой мыши и в выпавшем меню выбрать "просмотр кода элемента".

После чего увидим "развернутую картину", как переадресовывается ссылка из архива поисковика на нашу страницу. Но вот беда: как я не пыталась ее выделить, никак не получалось, а перепечатывать длиннющую ссылку — это очень долго. Промучившись с полчаса, все же "методом тыка" обнаружила: ссылка выделяется двойным щелчком левой кнопки. Элементарно! как удалить URL-адреса из дополнительного индекса Гугла

Как удалить URL-адреса

Теперь достаточно сделать запросы на удаление URL-адресов в вебмастере Гугла (Инструменты для веб-мастеров — Индекс Google — Удалить URL-адреса). Пару вечеров по полчаса "скопировал-вставил-подтвердил" — и никаких дублей в индексе Google больше не будет! При условии конечно, что вы поработали над тем, чтобы они не создавались заново. удаляем урлы в дополнительном индексе Гугла Думаю, информация очень доступная и даже школьник разберется, как удалить URL-адреса из дополнительного индекса Google!

Оставить комментарий
  1. Спасибо за ценную информацию, обязательно поковыряюсь у себя! Выздоравливайте!

    • Уже почти :) Спасибо, Мария!

  2. Ух - ты! Для меня такой метод удаления дублей новый. По-моему так быстрее и надежнее. Я удаляла свои дубли по методу, который предложил АБ. Но они долго уходят из выдачи. Можно и ручками, оказывается.
    Спасибо за идею. :)

    • Я тоже воспользовалась советами Борисова. Но не всеми. Дубли уходят понемногу, но можно этот процесс и ускорить. Зачем долго ждать? ;)

  3. Вот и я об этом! Попробую еще и Вашим методом придать им ускорение :)

  4. Класс! У меня тоже в Гугле очень много дублей. Так что теперь будем знать как их удалить. :)

    • Если проделаете эту операцию, сообщите: вместе понаблюдаем за результатом! ;)

  5. Здравствуй Надежда! я прямо сейчас пишу статью на тему дублей тоже! Знаешь, перед каждой своей статьёй я тщательно проверяю как можно большее количество источников с оригиналами, ну это только в том случае если моя статья не на философскую тему! А вот если на техническую, то понятное дело что информация об этом скорей всего уже существует в интернете :) Поэтому у всех получается в каком то смысле рерайт!
    Короче говоря, я так понял что удалять урлы (ссылки) в ручную, а особенно в больших количествах, это очень, очень,очень не хорошо и не полезно! Гугл на это смотрит очень превратно! Надежда, ты об этом раньше не слышала? Или же ты об этом знаешь, но считаешь это мнение ошибочное и не правильное?

    • Игорь, а я не пишу рерайты. Читала давно об удалении страниц из индекса Гугла: люди так вообще просто борятся с дублями, раз в месяц делают "чистку". Но мне это казалось трудным и глупым занятием. А потом просто устала ждать, когда же Гугл сам "почистит" весь этот хлам. Любую информацию в сети проверяю на своем блоге. Могу сказать одно: после такой "чистки" трафик с Гугла вырос на следующий же день :) Если ты облегчаешь жизнь поисковику, разве он будет смотреть на это превратно? Другое дело, если неправильно настроен Роботс и сам блог, если дубли все равно существуют и они снова будут попадать в "сопли": тут уже совсем другая ситуация...

    • Понятно! Но я и правда уже не раз слышал информацию о том что не желательно часто удалять ссылки в инструментах Гугла! Надо будет более досконально проверить это дело! я не стирал ссылки с дублями, а тупо сделал всё что написал Борисов и...результат будет описан в завтрашней моей статье :)
      Ты меня извини за такую наглую рекламу, если что так сотри последнее предложение!!!!!!!!! я пойму!

    • Я не вижу тут ничего предосудительного. Приду почитаю с удовольствием :)

    • Спасибо :)

  6. Если уж вы открыли гуглатулзы то посмотрите вид в поиске > оптимизация HTML там будет список страниц с одинаковыми метатегами и тайтлами

    • В этом списке нет URL дублей, не попавших в основной индекс, к сожалению.

  7. Я как-то об этом не задумывалась до сих пор, но теперь займусь обязательно. Может, трафик с гугла увеличится.

    • Елена, если поделитесь потом результатом, буду очень благодарна!

  8. Надежда, интересный подход... Я вот проверил по Вашему методу, но у меня получилась несколько иная ситуация... У меня вообще, начиная с 7-го месяца какой-то резкий подъём в индексе Гугла, хотя для этого ровным счётом ничего не делал.
    Поэтому, думаю, ничего и не буду делать, а то вдруг вспугну?
    А ещё хочу сказать спасибо за ссылку, которую Вы мне оставили на моём блоге. Для меня стало новостью, что теперь и Гугл понимает тег noindex... а я и не знал...

    • Пожалуйста. Одно но: это касается метатегов meta name="robots" content. Дело в том, что многие путают метатеги и просто теги. Метатеги понимают все. А вот если в тексте прописать теги noindex, то Гугл игнорирует, насколько мне известно. Резкий подъем проиндексированных страниц не есть хорошо. Не смогла быстро найти страницу в справке Гугла. Но резкие скачки как в ту, так и в другую сторону могут быть симптомами "болезни", если Вы ничего не делали. Проверила Ваш блог — имеет место проблема с replytocom, их очень много, это благодаря комментариям. Вам стоит все же разрешить их к индексации...

  9. имеет место проблема с replytocom

    В данный момент у меня все дубли имеют место - попросту слетел мой роботс. Я уже исправил и скоро все уйдет. Это не проблема...

    • Александр, Вы совсем как я... И Роботс у меня был такой же :) Увидите, дубли не уйдут. Будут только умножаться. Через время сами убедитесь.

  10. Не думаю. У меня были дубли. Сотворил этот роботс и дубли ушли. Потом слетел и снова появились. Я исправил - уйдут... Да и, Надежда, честно говоря, это меня волнует меньше всего. Долгое время я жил с дублями и ничего страшного не произошло...

    • Уважаемый коллега, простите, я забылась: вечно раздаю советы направо и налево. Конечно же, собственный опыт — лучший советчик.

      А что может быть страшного? Для кого-то страшно, когда у него посещаемость стала 1000 чел (если упала с пяти тысяч), а для кого-то это цель... Так что все зависит от поставленных целей. Ох, устала, если честно. Почистила дополнительный индекс и жду результата. Правда, маленький рост посещалки с Гугла все же есть, но пока еще рано делать выводы. Хотя... и в вебмастере график показов пошел вверх. Скорее всего, польза уже есть.

      У меня тяга все анализировать, просто скучаю по институту. Нравилось собирать статистические данные, систематизировать, выделять, строить графики с функциями, выводить формулы... Но ведь для хорошего анализа нужна большая статистическая подборка, долгий период наблюдения. А при разрозненных данных сложно делать определенные выводы. Но наверное в этом и прелесть (когда угадаешь)...

  11. Эх у меня было так много дублей страниц! Пришлось повозиться несколько месяцев. Сейчас смотрю, их уже не так уж и много с 30 тыс осталась 1000. Правдя, посещаемость с яндекса пока не возвращается((((

    • Нонна, я сегодня заглянула на свой блог и обнаружила, что Яндекс меня разлюбил снова :) Траст с пятерки упал на тройку и посещалка упала со 150 до 30. А при этом дубли почти ушли. Думаю, не в дублях дело. А просто не было новых постов, не комментировала, не появлялись ссылки на мой блог и некоторые ссылки вообще отвалились. Я уже просто уверена: нужно некоторое постоянство в публикациях, росте ссылочной массы и активности пользователей. Иначе — труба. У меня сейчас большие проблемы в жизни, не до блога. Не хотелось бы, чтобы он снова под фильтр попал, но писать некогда. Понаблюдаю, что будет дальше.

  12. Классная затея! Но у меня этих дублей "пруд пруди", а точнее 1010 в поиске Google - замучаюсь удалять. Но их стало уже значительно меньше, чем раньше. Благодаря действиям, которые уже описывал на своем блоге. В общем, дубли страниц и записей - уходят, хоть и медленно.

    Надежда, а что за "дополнительный индекс"? Ты наверное имеешь введу те адреса, которые googlebot добавляет в свой индекс на всякий случай?

    • Алексей, это "дополнительные результаты" под списком основной выдачи. Если нажать "показать скрытые результаты", можно увидеть весь мусор, который проиндексирован, как ты говоришь, "на всякий случай".

  13. Вот оно что. Я об этом даже не подумал. Теперь понятно. Спасибо.

  14. Нажимаю показать скрытые результаты и всё равно весь список выдаёт полный с соплями. Отработался ваш метод видимо)

    • Здравствуйте, Дмитрий! Поясните пожалуйста, что Вы имеете ввиду? Вы удаляли урлы? Если да, то когда? Вы же должны понимать, что на обработку запросов удаления необходимо сутки-двое. Кроме того, не все сразу можно удалить. То, что осталось, вносите в заявку на удаление. И так до тех пор, пока все не почистите. Способ работает. Можете проверить мой сайт.

  15. Я пока ничего не удалял, я ввожу site:сайт...ru дохожу до конца списка, нажимаю показать скрытые результаты и показывает тот же результат что и в начале списка. А как понять какие страницы в сопли занёс гугл?

    • Все верно, скрытые результаты будут на последних страницах. Пролистайте на страницы, после последней в основном индексе (например, после 15-й)

  16. Вашим методом мы вычисляем только количество страниц которые ушли в сопли или можно вычислить конкретно страницы, я этого не пойму. Если вычислить не получается, то что вы тогда удаляете все страницы сайта?

    • Дмитрий, Вы еще до моего метода даже не дошли, ибо не пролистали страницы поиска до последней. Сделайте это и все поймете. Зачем мне удалять страницы с сайта? Я их закрыла от индексации с помощью метатегов роботс мета контент и редиректов (имеются в виду дубли).

  17. У меня в последнее время с дублями вроде не так плохо. % уникальности растет по немногу. Но он не стабилен. Вот буквально на той неделе с какого-то перепугу вообще, все дубли удалились. 100 %было. Потом снизилось до 86%. Сейчас опять повысился.
    Вручную сейчас дубли в Гугле не удаляю. Заметил, что он сам от них со временем избавляется (ну это с учетом если страница правильно закрыта от индексации). Поэтому главным считаю правильно закрыть ненужные страницы от индексации, а все остальное уже дело за самими поисковиками.

    • Да, со временем все уйдет. Я не стала ждать и почистила индекс сама. Это кому как пожелается. Кстати, Яндекс в этом плане намного быстрее. Давно уже не загружает технические дубли. Это я про свой сайт. А Гуглу приходится помогать.

  18. Знаю, что на моем блоге есть дубли , но когда проверяю сколько страниц в индексе Гугла (в основном и дополнительном) и вхожу в конец списка, то надпись "показать скрытые результаты" не появляется. В чем причина и как найти дубли

    • Надежда, в основном индексе у Вас много статей. Они занимают 20 страниц выдачи. Доберитесь до двадцатой и нажмите "показать скрытые результаты". Когда страница загрузится, пройдите снова до двадцатой-двадцать первой страницы выдачи и увидите свои дубли.

  19. Спасибо Надежда, за подсказку.Все получилось, но я еще отключила безопасный режим просмотра.

    • У меня такое нигде не включено, поэтому не знаю о чем речь. Но думаю, даже особый режим безопасности на выдачу не влияет. Приятной работы, Надежда!

  20. Вот с этим вопросом мне тоже пора бы начать разбираться, спасибо, Надежда, очень подробненько объяснили

  21. Спасибо за статью, пригодиться, а то беда с этими дублями, их очень много

  22. Надежда, это интересный способ избавиться от дублей, но не всегда рекомендуемый. Я статью о таком способе удаления дублей ссылок в Гугле уже когда-то писал. Если хорошо порыться в инете, можно найти достаточно информации и к тому же с разными взглядами.

    p/s Надежда, не пойму, почему никто не заметил в тексте ошибки? Код открывается правой кнопкой мыши, а не левой... сорри! Да и не болейте больше, будьте всегда здоровы.

    • Спасибо за поправку, Геннадий. Точно, правой. Это я когда писала, болела. Поэтому наверное и неправильно написала. А сейчас порядок, спасибо! И ничего страшного, если кто-то это открыл до меня, но когда искала, не нашла. Кстати, не ощутила вреда на своем блоге. Хотя и пользы мало.
      Надоело уже вдоль и поперек чистить свой блог. Решила сосредоточиться на написании статей. За море контента простят небольшие ошибки в оптимизации (если они конечно есть).

  23. Надежда, я писала комментарий, но так и не увидела его здесь?

    • Зоя, я и этот комментарий из спама достала. Наверное, прошлый проморгала и он был стерт автоматически. Извините, не знаю, почему акисмет забраковал Ваш комментарий. Мне очень жаль. Может, повторите прошлый коммент еще раз?

  24. Хорошо, только завтра, а то у нас уже ночь. Акисмет часто в спам отправляет нормальные комментарии, особено, если их оставляют впервые на блоге. Я ручками достаю каждые три дня нормальные комменты.

    • Зоя, я по курсу Борисова сделала настройки через команды базе данных и спам у меня удаляется каждый день. Самой теперь не нравится. Как изменить, не знаю. То же самое с корзиной: сама теперь очищается :(

  25. Надежда, ты же примерно знаешь, когда очистка происходит. Один же раз за сутки. вот и заходи чуть раньше и просматривай папки, чтобы не пропустить хорошие комментарии в будущем.

    • Зоя, мне очень-очень жаль, что так получилось. Беда в том, что у меня бывает нет интернета по два-три дня. Редко, но бывает :(

  26. "-При условии конечно, что вы поработали над тем, чтобы они не создавались заново"

    А вот об этом можно где нибудь поподробнее?

    • Ох... это тема не одной статьи. Можете посмотреть статьи Борисова о правильном Роботсе, дублях риплитуком на блоге isif-life.ru. Я не все сделала как он советует, но в основном статьи стоящие.

  27. Надежда, а как обстоят дела с дублями сейчас? Ищу отзывы о методе Александра Борисова.

    • Алена, здравствуйте! На моих сайтах дублей нет. Некоторые советы Борисова использовала, кое-что сделала по-своему. Но вцелом Борисов дело говорит (что касается дублей).

  28. Здравствуйте, Надежда. Спасибо за ответ. Не совсем понимаю, как закрыть изображения. Адрес страницы с картинкой имеет вид: сайт.ру/название/название. Может у Вас есть статья на эту тему? Советуют установить 301 редирект. Стоит это делать или поискать другой способ?

    • Если Вы говорите о страницах вложения, то действительно, их лучше закрыть с помощью редиректа. Но редирект помогает только если в адресе статей присутствует название рубрики. Статью об этом не писала, потому что именно нюанс когда в слаге нет рубрики, более сложный. Там способ другой: следует в самом шаблоне прописать "ноиндекс" метатегом. А это уже не каждый сможет, сложно объяснять.

  29. Ну да, о страницах вложения.
    Я не сильна в языках программирования. Вы хотите сказать, что код типа post_parent), 301); ?> в functions.php работать не будет?
    Других способов решения этой проблемы пока не нашла.
    Довольно часто правлю код, поэтому экспериментировать лишний раз не хотелось бы.
    С уважением, Алена

    • Надежда, код отобразился неправильно.

    • Да, у меня в комментариях некоторые коды отображаются не полностью.

    • Здравствуйте, Алена! Редирект вложений можно сделать через директивы в файле .htaccess:
      RewriteRule (.+)/attachment /$1 [R=301,L]
      RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
      Это как раз код, который я позаимствовала у Борисова. Именно про этот способ я и говорю, что он работает только если в адресе присутствует название рубрики.
      Метод, который Вы описываете, я не использовала.

  30. Спасибо за помощь, Надежда, и за быстрый ответ.
    attachment у меня нет
    attachment_id были, редирект настроила.
    Я подумала, что пока не буду исключать эти страницы из поиска. Не могу на 100% мыслить как бот, но люди приходят на эти страницы из картинок Гугл. Даже боюсь предположить зачем.
    Вы обратили внимание, что у Борисова в роботсе прописаны разные директивы для Яндекса и остальных ботов?
    Пока что для Яндекса роботс менять не стала.
    Посмотрю, какой результат будет в Гугл.

    • Если страницы вложения приносят дополнительный трафик, есть смысл заполнить в них описания и все атрибуты. Тогда они не будут считаться дублями. Но это рутинная работа.

  31. Конечно, не могу это назвать громким словом трафик. Просто интересно.

  32. Описания и все атрибуты заполняю по мере возможности. Но предполагаю, что это частичный дубль. Страницы, где используются изображения, поисковики на данный момент находят без проблем.

Здесь вы можете оставить отзыв

* Текст комментария
* Обязательные для заполнения поля

Внимание: все отзывы проходят модерацию.