Як користуватись генератором robots.txt?
Інструмент підійде, якщо потрібно створити robots.txt онлайн для нового сайту, оновити правила після зміни структури або перевірити конфігурацію перед запуском. В англомовній документації та сервісах такий інструмент також зустрічається як robots.txt generator, robots.txt creator або robots file generator.
Спочатку вкажіть, для якого краулера діятимуть правила. Потім додайте шляхи, які дозволено або заборонено сканувати, вкажіть Sitemap і перевірте код, що вийшов. Після перевірки файл можна скопіювати або завантажити та розмістити за адресою https://example.com/robots.txt.
Якщо потрібно згенерувати robots txt для невеликого сайту, зазвичай достатньо однієї групи User-agent та кількох правил. Для великих інтернет-магазинів, каталогів та сервісів конфігурація може містити окремі групи для Googlebot, Yandex, Bingbot та AI-краулерів.
Виберіть пошукового робота
Директива User-agent визначає, до якого краулер відноситься наступний набір правил. Значення*застосовується до всіх робіт, які підтримують Robots Exclusion Protocol і не мають більш відповідної окремої групи.
Для різних роботів можна поставити різні умови. Наприклад, Googlebot дозволить обхід комерційних сторінок, а окремому технічному роботу обмежити доступ до службових розділів. Такий підхід зручніший, ніж намагатися описати всю логіку одним універсальним правилом.
Додайте правила Allow та Disallow
Disallow вказує шлях, який робот не повинен обходити, а Allow може відкрити конкретний URL всередині ширшого заборони. Правила записують щодо кореня сайту, тому повний домен у цих рядках зазвичай не потрібний.
Наприклад, запис Disallow: /admin/ обмежує обхід адміністративного розділу. Якщо в ній є відкрита сторінка, можна додати Allow: /admin/public/. Перед публікацією бажано перевірити кілька реальних URL-адрес, щоб переконатися, що правило спрацьовує очікувано.
Вкажіть Sitemap та отримайте готовий файл
У директиві Sitemap вказують повну URL-адресу карти сайту, наприклад https://example.com/sitemap.xml. Якщо карток кілька, кожну можна додати окремим рядком, щоб пошуковий краулер швидше знаходив актуальні адреси.
Після налаштування генератор показує підсумковий код, який можна перевірити, скопіювати та зберегти. За таким принципом працюють robots txt generator online, seo robots.txt generator та інші інструменти, що допомагають generate robots.txt без ручної підготовки файлу з нуля.
Я використовую robots.txt насамперед для керування обходом сайту. Якщо URL вже відома пошуковій системі, одного Disallow може виявитися недостатньо для його видалення з пошуку. Перед публікацією я перевіряю синтаксис файлу, Sitemap та доступність ключових комерційних сторінок, а правило Disallow: / завжди тестую окремо, оскільки помилка в цьому рядку здатна закрити весь сайт для обраного робота.
Основні директиви robots.txt
Базова конфігурація будується навколо User-agent, Disallow, Allow та Sitemap. Додаткові директиви залежать від конкретного пошукового робота, тому їхню підтримку потрібно перевіряти окремо, а не переносити налаштування з іншого сайту без перевірки.
| Директива | Для чого використовується | приклад |
|---|---|---|
| User-agent | Вибирає робота чи групу роботів | User-agent: * |
| Disallow | Обмежує обхід колії | Disallow: /search/ |
| Allow | Дозволяє більш конкретний шлях | Allow: /search/help/ |
| Sitemap | Вказує XML-картку сайту | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Задає затримку для роботів, що підтримують директиву. | Crawl-delay: 5 |
| Clean-param | Допомагає Yandex враховувати параметри URL | Clean-param: utm_source |
Таблиця дає загальну схему, але правила необхідно зіставляти зі структурою конкретного проєкту. Один і той же Disallow може бути безпечним для технічного розділу та критичним для сторінки, яка отримує органічний трафік.
User-agent, Disallow та Allow
User-agent: * підходить для загальних правил, а окремі групи потрібні, коли поведінка різних ботів має відрізнятися. Запис Disallow: / вимагає особливої уваги, оскільки він закриває від обходу весь сайт для вказаного робота.
Allow частіше використовують усередині вже забороненого розділу. Якщо логіка виходить складною, краще перевірити кожну групу на реальних URL-адресах і лише після цього публікувати файл. Копіювання готового robots.txt із чужого сайту часто призводить до випадкового блокування потрібних сторінок.
Crawl-delay, Clean-param та Host
Google не використовує Crawl-delay у robots.txt, тому додавати цю директиву спеціально для Googlebot безглуздо. Інші роботи можуть обробляти її інакше, і слід перевіряти підтримку в документації конкретного краулера.
Clean-param відноситься до Yandex і застосовується для URL із параметрами, які не змінюють основний зміст сторінки. Host не слід додавати як обов'язкову директиву сучасного robots.txt, особливо якщо причина його використання зводиться лише до старого шаблону.
Що саме ми робили
Стоматологія · Київ і Чернігів
+44% кліків із пошуку
Домен без історії, сайт на конструкторі. Зібрали семантику під послуги й обидва міста, переробили посадкові сторінки, з нуля побудували посилальний профіль. За чотири місяці: 34,8 тис. кліків, покази 1,32 → 1,76 млн, DR 0 → 41.
E-commerce · міжнародний ринок
+96% кліків за два місяці
Каталог цифрових 3D-моделей. Кластеризували семантику, перебудували хабові сторінки, закрили дублі та помилки індексації. Користувачі з Google 247 → 532, CTR 2,4% → 4%.
Медичний центр · Україна
+68,75% видимості за перший місяць
Вузька видимість і мала семантика на старті. Семантика, структура посадкових, метадані та перелінковка, поступове посилення посиланнями.
Відповіді на ваші запитання
Навіщо потрібен файл robots.txt?
Robots.txt передає пошуковим та іншим підтримуючим стандарт роботам правила сканування сайту. Через нього можна обмежити обхід технічних сторінок, окремих каталогів, внутрішніх результатів пошуку та інших URL-адрес, які не потрібно регулярно сканувати.
Файл також містить посилання на карту сайту і може містити різні набори правил для декількох User-agent. Конкретна конфігурація залежить від структури проєкту, CMS та кількості технічних URL-адрес.
Де має бути robots.txt?
Файл розміщується в кореневій директорії відповідного хоста і має відкриватися за стандартною адресою /robots.txt. Для основного домену приклад виглядатиме як https://example.com/robots.txt.
Якщо сайт використовує окремі піддомени, правила потрібно перевіряти окремо. Після завантаження бажано відкрити файл через браузер і переконатися, що сервер повертає коректну відповідь HTTP.
Як створити robots.txt онлайн?
Щоб створити robots.txt онлайн, виберіть User-agent, додайте необхідні Allow та Disallow, вкажіть Sitemap та перегляньте підсумковий код. Після перевірки його можна скопіювати чи зберегти як файла.
Онлайн-генератор особливо зручний, коли потрібно швидко зібрати базову конфігурацію та уникнути помилок у синтаксисі. Перед публікацією все одно слід перевірити правила на реальних URL-адресах сайту.
Чи можна закрити сторінку від індексації через robots.txt?
Заборона обходу через robots.txt не гарантує видалення адреси з індексу. Пошукова система може дізнатися URL із посилань і зберегти його без повноцінного вмісту сторінки.
Для керування індексацією використовують meta robots noindex або X-Robots-Tag, якщо пошуковий робот має доступ до документа та здатний прочитати відповідну вказівку.
Чи потрібно додавати Sitemap до robots.txt?
Додавати Sitemap корисно, оскільки пошуковий робот отримує пряму адресу актуальної XML-картки сайту. Вказувати потрібно абсолютну URL-адресу, включаючи протокол і домен.
Якщо карток кілька, можна додати кілька рядків Sitemap. При цьому сама карта повинна містити коректні індексовані URL і регулярно оновлюватися разом зі структурою сайту.
Чи можна створити окремі правила для Google та Yandex?
Так, для різних роботів можна створити окремі групи User-agent. Це потрібно, коли параметри Googlebot, Yandex або іншого краулера повинні відрізнятися.
За такої конфігурації необхідно уважно перевіряти порядок та зміст груп. Занадто широке правило, яке випадково потрапило до потрібної роботи, може змінити обхід великого розділу сайту.
Чи підтримує Google Crawl-delay?
Googlebot не підтримує директиву Crawl-delay у robots.txt. Тому додавання цього рядка не регулює швидкість обходу сайту Google.
Інші роботи можуть опрацьовувати директиву інакше. Перед використанням слід перевірити актуальну документацію конкретного краулера, а не розраховувати на однакову поведінку всіх систем.
Чи можна через robots.txt заблокувати AI-ботів?
Для окремих AI-краулерів можна створити власну групу User-agent та вказати заборонені шляхи. Такий варіант підходить для GPTBot, ClaudeBot, CCBot та інших систем, які заявляють про підтримку robots.txt.
При цьому robots.txt залишається публічним набором правил для роботів, що добровільно дотримуються їх. Для жорсткого технічного блокування використовуються серверні обмеження, WAF та інші методи контролю доступу.
Хороший robots.txt залишається коротким та зрозумілим настільки, наскільки це дозволяє структура сайту. Його завдання полягає в тому, щоб дати краулерам коректні правила обходу, не перекриваючи доступ до сторінок та ресурсів, які потрібні для пошуку та нормального рендерингу.
Налаштуйте User-agent, Allow, Disallow та Sitemap у генераторі Seo-Gen, перевірте кілька реальних URL і лише після цього завантажте готовий файл. Якщо структура сайту зміниться, поверніться до перевірки robots.txt і оновіть правила разом з іншою технічною SEO-настройкою.
Відповідаємо протягом робочого дня. Без розсилок і дзвінків «просто нагадати».
Подивиться сайт сам, а не передасть менеджеру.
Докладніше: Генератор robots.txt
Що таке robots.txt і навіщо він потрібний?
Robots.txt – текстовий файл із правилами обходу сайту для пошукових та інших краулерів. Він знаходиться в кореневій директорії конкретного хоста і допомагає керувати скануванням сайту, технічними сторінками та URL-адресами, які не потрібно регулярно обходити.
Файл особливо корисний на сайтах з великою кількістю фільтрів, сортувань, GET-параметрів та URL, що дублюються. Грамотно налаштовані правила доступу зменшують кількість непотрібних запитів до сервера та допомагають спрямувати обхід сайту на сторінки, які дійсно потрібні пошуковій системі.
Яким чином robots.txt впливає на сканування сайту?
Robots.txt регулює сканування, тому його не можна вважати прямим способом керування індексацією. Пошукова система може знати адресу сторінки із зовнішніх або внутрішніх посилань, навіть якщо вміст цієї URL-адреси закрито від сканування.
Краулінговий бюджет має більше значення для великих ресурсів, де робот фізично не може регулярно оминати всі комбінації URL. Для невеликого сайту штучно ускладнювати robots.txt заради економії кількох запитів зазвичай не потрібно.
Що зазвичай закривають у robots.txt?
Найчастіше правила застосовують до технічних URL, внутрішнього пошуку, окремих службових розділів, кошика, сторінок оформлення замовлення та деяких комбінацій фільтрів. Для інтернет-магазину також може знадобитися робота з сортуваннями та параметрами, які створюють велику кількість дублів URL.
Універсального переліку заборонених каталогів немає. Адміністративна панель, особистий кабінет чи внутрішній пошук мають зрозумілий технічний характер, а фільтр каталогу іноді сам є корисною посадковою сторінкою та отримує пошуковий трафік.
Перед забороною варто перевірити три речі:
- чи приносить URL органічний трафік і чи він бере участь у внутрішній перелінковці;
- чи існує для сторінки самостійний пошуковий інтент та унікальний контент;
- чи не потрібний роботу доступ до адреси для коректного рендерингу або обробки інших сигналів.
Після такої перевірки простіше вирішити, де потрібен Disallow, де canonical чи noindex, а де сторінку взагалі не слід обмежувати.
Що не можна бездумно закривати у robots.txt?
Не варто автоматично забороняти CSS та JavaScript, які використовуються для рендерингу сторінки. Якщо пошуковий робот не отримує необхідні ресурси, він може побачити сторінку інакше, ніж звичайний користувач, і гірше обробити її зміст.
Robots.txt також не підходить для захисту конфіденційних даних. Адреса файлу доступна публічно, тому закриті документи, персональні дані та адміністративні інтерфейси повинні захищатися авторизацією, серверними обмеженнями та коректними правами доступу.
Окремо слід перевіряти важливі посадкові сторінки. Помилка в одному символі або занадто широке правило може перекрити цілий каталог, розділ послуг або інший комерційний блок сайту.
Robots.txt і noindex – у чому різниця?
Robots.txt управляє можливістю сканування URL, тоді як meta robots з директивою noindex або HTTP-заголовок X-Robots-Tag передають пошуковій системі вказівку не зберігати документ в індексі. Ці механізми вирішують різні технічні завдання.
Якщо сторінку закрито через Disallow, пошуковий робот може не отримати її HTML і не побачити розташований усередині noindex. Тому блокувати обхід та одночасно розраховувати на обробку meta robots без додаткової перевірки не слід.
Як налаштувати robots.txt для різних роботів?
Для Googlebot зазвичай досить зрозумілих правил User-agent, Allow, Disallow та посилання на Sitemap. Якщо потрібно змінити інтенсивність обходу Google, Crawl-delay для цього не підійде, оскільки Google цю директиву в robots.txt не підтримує.
Для Yandex можна використовувати стандартні правила і Clean-param, якщо на сайті багато URL з параметрами. Bingbot та інші пошукові роботи краще налаштовувати за власною документацією, особливо коли потрібне нестандартне обмеження частоти сканування.
Окремі групи можна створити і для AI-краулерів, наприклад, GPTBot, ClaudeBot, Google-Extended або CCBot. Блокування роботів через robots.txt працює тільки для систем, які дотримуються опублікованих правил, тому файл не можна сприймати як серверний механізм безпеки.
Приклади robots.txt
Для звичайного сайту досить коротка конфігурація, якщо немає складних технічних розділів. До неї можна включити загальну групу роботів, дозвіл обходу та посилання на карту сайту.
User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml
Для інтернет-магазину правила зазвичай складніші, оскільки з'являються кошик, внутрішній пошук, фільтри та службові сторінки. Перед застосуванням шаблону потрібно перевірити реальні адреси проєкту, а не копіювати назви каталогів із чужої CMS.
User-agent: *
Disallow: /cart/
Disallow: /search/
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Якщо потрібне окреме правило конкретного робота, створюється самостійна група. Такий підхід є зручним, коли загальний robots generator використовується для підготовки кількох наборів правил в одному файлі.
Часті помилки під час створення robots.txt
Найнебезпечніша помилка – випадковий Disallow: / у групі пошукового робота, який має обходити сайт. Також зустрічаються неправильні шляхи до Sitemap, блокування потрібних посадкових сторінок, спроба керувати індексуванням тільки через robots.txt та копіювання налаштувань з іншого проєкту.
До технічних помилок можна віднести непотрібне блокування ресурсів, неправильні шляхи, зайві директиви та правила, які суперечать один одному. Перед публікацією корисно перевірити файл через валідатор robots.txt, потім протестувати кілька відкритих та закритих URL-адрес.
Схема перевірки виглядає просто:
Налаштування правил → генерація файлу → перевірка URL → публікація → повторна перевірка
Такий порядок знижує ризик випадково закрити розділ, який вже отримує трафік або має бути доступний пошуковій роботі.
Як встановити та перевірити robots.txt?
Готовий файл повинен відкриватися за адресою https://example.com/robots.txt. Після завантаження перевірте HTTP-відповідь, вміст файлу, синтаксис robots.txt та доступність кількох важливих сторінок для кожного окремого User-agent.
Після зміни структури сайту перевірку варто повторити. Те саме стосується переїзду на іншу CMS, запуску нових фільтрів, зміни правил індексації або великих правок каталогу.
Для додаткової перевірки можна використовувати Google Search Console, Yandex Webmaster та окремий інструмент перевірки robots.txt. Така послідовність допомагає помітити технічну помилку, перш ніж вона вплине на обхід значної частини сайту.