Часто задавані питання • Випадковий

Що таке файл robots.txt?

Файл robots.txt контролює доступ пошукових систем на сайті, дозволяючи або обмежуючи індексацію вмісту. Дізнайтеся, як створити і налаштувати його ефективно.

Перегляди 814Оновлено 1 anОпубліковано на 15/10/2018по Cătălin Adrian

Вступ

Файл robots.txt є простим текстовим файлом, який є частиною Протоколу виключення роботів (REP). Він містить інструкції для пошукових систем про те, як отримувати доступ та індексувати сайт. Щоб бути ефективним, файл robots.txt повинен бути розміщений у кореневій папці сайту (наприклад, https://domeniu.ro/robots.txt).

Важливість файлу robots.txt

Файл robots.txt є важливим для управління взаємодією ботів з сайтом. Існує багато ботів, які можуть агресивно індексувати сайт, що може вплинути на його продуктивність. Використовуючи цей файл, ви можете:

  • Контролюйте доступ до вмісту сайту з боку пошукових систем.
  • Дозволяє індексування лише бажаними ботами (наприклад, Google, Bing).
  • Обмежити доступ до чутливих папок або файлів.

Приклади використання

1. Блокування конкретної пошукової системи

Щоб заблокувати доступ для пошукового движка Bing (bingbot), додайте наступні рядки до файлу robots.txt:


User-agent: bingbotДозволити: /

Пояснення:
User-agent: Вказує на пошукову систему, для якої застосовуються налаштування.
Disallow: Визначає розділи сайту, до яких робот не має доступу. Символ / блокує доступ до всього сайту.

2. Блокування всіх пошукових систем

Щоб заборонити всім пошуковим системам доступ до сайту, використовуйте:


User-agent: *Дозволити: /

Пояснення: Символ * (підстановчий знак) у полі User-agent застосовується до всіх пошукових систем, а / блокує доступ до всього сайту.

3. Обмеження доступу до певних папок або файлів

Щоб заблокувати доступ до папки та конкретного файлу, налаштуйте:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Пояснення: Всі пошукові системи будуть заблоковані від індексації папки /blog/ та файлу newsletter.php.

Створення файлу robots.txt

Щоб створити robots.txt файл, ви можете використовувати онлайн-генератор, який допоможе вам швидко та без помилок налаштувати правила. Приклади онлайн-генераторів можна знайти через пошук: Генератор Robots.txt.

Після того, як ви створите файл, завантажте його в кореневий каталог сайту, використовуючи файловий менеджер або FTP-клієнт.