Как блокировать поисковые системы

Загрузить PDF
Загрузить PDF

Поисковые системы оснащены роботами (веб-пауками или ботами), которые сканируют и индексируют веб-страницы. Если ваш сайт или страница находится в стадии разработки или содержит нежелательный контент, роботам можно запретить сканировать и индексировать ваш сайт. Узнайте, как блокировать целые сайты, страницы и ссылки с помощью файла robots.txt или конкретные страницы и ссылки с помощью html-тегов <meta> </meta> . Читайте дальше, чтобы узнать, как запретить доступ к контенту определенным ботам.

Метод 1
Метод 1 из 2:

Блокировка поисковых систем с помощью файла robots.txt

Загрузить PDF
  1. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/1\/16\/576315-1.jpg\/v4-460px-576315-1.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/1\/16\/576315-1.jpg\/v4-728px-576315-1.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Файл robots.txt представляет собой простой текстовый файл или файл ASCII, который сообщает веб-паукам поисковых систем, к каким частям сайта они могут получить доступ. Файлы и папки, перечисленные в файле robots.txt, не могут быть сканированы и индексированы поисковыми роботами. Используйте файл robots.txt, если:
    • вы хотите скрыть определенный контент от поисковых систем;
    • вы находитесь в процессе разработки сайта и не готовы к сканированию и индексации сайта пауками поисковых систем;
    • вы хотите ограничить доступ авторитетным ботам. [1]
  2. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/3\/30\/576315-2.jpg\/v4-460px-576315-2.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/3\/30\/576315-2.jpg\/v4-728px-576315-2.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Чтобы создать файл, откройте обычный текстовый редактор или редактор кода. Сохраните файл как robots.txt. Имя файла должно быть написано строчными буквами. [2]
    • Не забудьте добавить «s» на конце.
    • При сохранении файла выберите расширение «.txt». Если вы используете Word, выберите опцию «Обычный текст».
  3. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/b\/bd\/576315-3-1.jpg\/v4-460px-576315-3-1.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/b\/bd\/576315-3-1.jpg\/v4-728px-576315-3-1.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Безусловная директива disallow позволит заблокировать поисковых роботов всех основных поисковых систем, тем самым избежав сканирования и индексации сайта. Добавьте следующие строки в текстовый файл: 
      User-agent: *
Disallow: /
    • Использовать безусловную директиву «disallow» в файле robots.txt настоятельно не рекомендуется. Когда бот, такой как Bingbot, считает этот файл, он не проиндексирует ваш сайт, а поисковая система его не отобразит.
    • User-agents (Агенты пользователя) — это еще одно название веб-пауков, или поисковых роботов.
    • * : звездочка означает, что код применяется ко всем агентам пользователя.
    • Disallow: / : косая черта указывает, что весь сайт закрыт для ботов. [3]
  4. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/c\/c5\/576315-4-1.jpg\/v4-460px-576315-4-1.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/c\/c5\/576315-4-1.jpg\/v4-728px-576315-4-1.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Вместо блокирования всех ботов, рассмотрите возможность блокировки доступа конкретных пауков к определенным частям сайта. [4] Основные команды условной директивы allow включают::
    • Блокирование конкретного бота: замените звездочку рядом с User-agent на googlebot , googlebot-news , googlebot-image , bingbot или teoma . [5]
    • Блокирование каталога или его содержимого: 
      User-agent: *
Disallow: /sample-directory/
    • Блокирование веб-страницы: 
      User-agent: *
Disallow: /private_file.html
    • Блокирование изображения: 
      User-agent: googlebot-image
Disallow: /images_mypicture.jpg
    • Блокирование всех изображений: 
      User-agent: googlebot-image
Disallow: /
    • Блокирование отдельного формата файла: 
      User-agent: *
Disallow: /p*.gif$
  5. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/6\/6f\/576315-5.jpg\/v4-460px-576315-5.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/6\/6f\/576315-5.jpg\/v4-728px-576315-5.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Многие люди не только не блокируют, а наоборот, приветствуют внимание пауков поисковых систем к своему сайту, чтобы он был полностью проиндексирован. Добиться этого можно тремя способами. Во-первых, можно отказаться от создания файла robots.txt. Если робот не найдет файл robots.txt, то продолжит сканировать и индексировать весь ваш сайт. Во-вторых, вы можете создать пустой файл robots.txt. Робот найдет файл robots.txt, увидит, что тот пуст, и продолжит сканировать и индексировать сайт. Наконец, можно создать файл robots.txt с директивой безусловного разрешения, используя код: [6] 
      User-agent: *
Disallow:
    • Когда бот, такой как googlebot, считает этот файл, то сможет беспрепятственно посещать весь ваш сайт.
    • User-agents (Агенты пользователя) — это еще одно название веб-пауков, или поисковых роботов.
    • * : звездочка означает, что код применяется ко всем агентам пользователя.
    • Disallow : пустая команда disallow означает, что все файлы и папки являются доступными.
  6. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/f\/f7\/576315-6.jpg\/v4-460px-576315-6.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/f\/f7\/576315-6.jpg\/v4-728px-576315-6.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    После редактирования файла robots.txt сохраните изменения. Вставьте файл в корневой каталог сайта. Например, если у вас домен www.yourdomain.com , поместите файл robots.txt по адресу www.yourdomain.com/robots.txt .
    Реклама
Метод 2
Метод 2 из 2:

Блокировка поисковых систем метатегами

Загрузить PDF
  1. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/2\/2d\/576315-7.jpg\/v4-460px-576315-7.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/2\/2d\/576315-7.jpg\/v4-728px-576315-7.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Метатег robots позволяет программистам устанавливать параметры для ботов или пауков поисковых систем. С помощью этих тегов ботам запрещают индексировать и сканировать весь сайт или отдельные его части. Также их можно использовать, чтобы заблокировать определенного паука поисковой системы от индексации контента. Эти теги указываются в заголовке HTML-файла. [7]
    • Этот метод обычно используется программистами, которые не имеют доступа к корневому каталогу сайта.
  2. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/6\/6e\/576315-8.jpg\/v4-460px-576315-8.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/6\/6e\/576315-8.jpg\/v4-728px-576315-8.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Индексацию страницы и/или переход по ссылкам на странице можно запретить для всех ботов. Этот тег обычно используется, когда сайт находится на стадии разработки. После завершения работы сайта настоятельно рекомендуется удалить этот тег. Если вы не уберете тег, страница не будет проиндексирована или доступна для поиска через поисковые системы. [8]
    • Запретите ботам индексировать страницу и переходить по любой из ссылок: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “noindex, 
 nofollow 
 ” 
 >
    • Запретите всем ботам индексировать страницу: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “noindex” 
 >
    • Запретите всем ботам переходить по ссылкам на странице: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “nofollow” 
 >
  3. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/5\/53\/576315-9.jpg\/v4-460px-576315-9.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/5\/53\/576315-9.jpg\/v4-728px-576315-9.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Разрешите ботам индексировать страницу, но не переходить по ее ссылкам. Если вы позволите ботам проиндексировать страницу, она будет проиндексирована. Если вы запретите паукам переходить по ссылкам, путь ссылки с этой страницы на другие будет заблокирован. [9] Вставьте в заголовок следующую строку кода: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “index, 
 nofollow 
 ” 
 >
  4. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/f\/f0\/576315-10.jpg\/v4-460px-576315-10.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/f\/f0\/576315-10.jpg\/v4-728px-576315-10.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Разрешите паукам поисковой системы переходить по ссылкам, но не индексировать страницу. Если вы позволите ботам переходить по ссылкам, путь ссылки с этой страницы на другие останется открытым. Если вы запретите ботам индексировать страницу, она не появится в индексе. [10] Вставьте в заголовок следующую строку кода: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “noindex, 
 follow 
 ” 
 >
  5. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/4\/45\/576315-11.jpg\/v4-460px-576315-11.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/4\/45\/576315-11.jpg\/v4-728px-576315-11.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Чтобы скрыть одну ссылку на странице, поместите тег rel внутри тега ссылки <a href> </a> . Используйте этот тег для блокировки ссылок на других страницах, которые ведут на конкретную страницу, которую вы хотите заблокировать. [11] 
       < 
 a 
 href 
 = 
 "yourdomain.html" 
 rel 
 = 
 "nofollow" 
 > 
Вставьте ссылку на заблокированную страницу </ 
 a 
 >
  6. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/d\/d6\/576315-12.jpg\/v4-460px-576315-12.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/d\/d6\/576315-12.jpg\/v4-728px-576315-12.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Вместо блокирования доступа к странице для всех ботов, установите запрет на сканирование и индексирование страницы лишь для одного бота. Для этого замените слово «robots» в метатеге именем определенного бота. [12] Примеры: googlebot , googlebot-news , googlebot-image , bingbot и teoma . [13] 
       < 
 meta 
 name 
 = 
 ”bingbot” 
 content 
 = 
 “noindex, 
 nofollow 
 ” 
 >
  7. {"smallUrl":"https:\/\/www.wikihow.com\/images_en\/thumb\/b\/b7\/576315-13.jpg\/v4-460px-576315-13.jpg","bigUrl":"https:\/\/www.wikihow.com\/images\/thumb\/b\/b7\/576315-13.jpg\/v4-728px-576315-13.jpg","smallWidth":460,"smallHeight":348,"bigWidth":728,"bigHeight":551,"licensing":"<div class=\"mw-parser-output\"><\/div>"}
    Если вы хотите убедиться, что страница будет проиндексирована, а по ссылкам будут переходить, добавьте разрешающий мета-тег «robots» в свой заголовок. [14] Используйте следующий код: 
       < 
 meta 
 name 
 = 
 ”robots” 
 content 
 = 
 “index, 
 follow 
 ” 
 >
    Реклама

Дополнительные статьи

Как
создать простую веб страницу в Блокноте
Как
создать простую веб страницу с помощью HTML
Как
задать цвет фона в HTML
Как
добавить фоновое изображение в HTML
Как
создать ссылку для оплаты через PayPal
Как
комментировать в HTML
Как
бесплатно разместить свой сайт в Интернете
Как
выделить текст жирным с помощью HTML
Как
задать ширину и высоту картинки с помощью HTML
Как
подчеркнуть текст в HTML
Как
начать wiki–сайт
Как
использовать теги цвета шрифта в HTML
Как
создать ссылку на электронную почту в HTML
Как
сделать сайт в Word
Реклама

Источники

  1. ↑ https://varvy.com/robottxt.html
  2. ↑ https://varvy.com/robottxt.html
  3. ↑ https://support.google.com/webmasters/answer/6062596?hl=en
  4. ↑ https://support.google.com/webmasters/answer/6062596?hl=en
  5. ↑ https://www.elegantthemes.com/blog/tips-tricks/how-to-stop-search-engines-from-indexing-specific-posts-and-pages-in-wordpress
  6. ↑ https://varvy.com/robottxt.html
  7. ↑ https://searchenginewatch.com/sew/how-to/2067564/how-to-use-html-meta-tags
  8. ↑ https://searchenginewatch.com/sew/how-to/2067564/how-to-use-html-meta-tags
  9. ↑ https://searchenginewatch.com/sew/how-to/2067564/how-to-use-html-meta-tags
  1. ↑ https://searchenginewatch.com/sew/how-to/2067564/how-to-use-html-meta-tags
  2. ↑ https://css-tricks.com/snippets/html/meta-tag-to-prevent-search-engine-bots/
  3. ↑ https://css-tricks.com/snippets/html/meta-tag-to-prevent-search-engine-bots/
  4. ↑ https://www.elegantthemes.com/blog/tips-tricks/how-to-stop-search-engines-from-indexing-specific-posts-and-pages-in-wordpress
  5. ↑ https://searchenginewatch.com/sew/how-to/2067564/how-to-use-html-meta-tags

Об этой статье

На других языках
Эту страницу просматривали 5189 раз.

Была ли эта статья полезной?

Реклама