Інструкції

Як виправити «Заблоковано у robots.txt» у WordPress

«Заблоковано у robots.txt» у Search Console означає, що Googlebot спитав дозволу перед скануванням адреси, а ваш robots.txt відповів «ні». У WordPress причина зазвичай не в написаному вручну файлі: це галочка в Settings > Reading, через яку WordPress віддає віртуальний robots.txt із рядком Disallow: / і закриває весь сайт. Перевірка на цій сторінці завантажує ваш робочий robots.txt і показує, що в ньому насправді написано, тож ви відрізните цей випадок від реального файлу з вузькими правилами ще до того, як щось міняти.

Перевірте свій сайт

>

  1. Запустіть перевірку і прочитайте справжній robots.txt

    Впишіть домен у формі вище. Чекер завантажує https://ваш-домен/robots.txt ззовні вашої мережі й показує файл таким, яким його отримує пошуковий бот: чи є в ньому Disallow: / і чи вказаний sitemap. Спершу прочитайте результат. Якщо видно Disallow: / під User-agent: *, закритий увесь сайт і причина майже напевно в кроці 2. Якщо там лише вузькі правила без Disallow: /, заблоковані окремі адреси, тож переходьте до кроку 4. Якщо robots.txt відсутній або порожній, сканування дозволене і справа не в robots.txt: шукайте тег noindex, парольний захист HTTP або правило фаєрвола.

  2. Спершу вимкніть блокування індексації у WordPress

    У wp-admin відкрийте Settings > Reading і зніміть галочку «Discourage search engines from indexing this site», потім збережіть. Це причина номер один: її вмикають для тестової копії й забувають зняти після запуску. Поки вона увімкнена, WordPress віддає віртуальний robots.txt із Disallow: / і додатково ставить тег noindex на кожну сторінку. Зробіть це до правок будь-яких файлів, бо фізичний robots.txt має пріоритет над віртуальним і замаскує дію цієї галочки.

  3. Перевірте, чи є справжній файл robots.txt у корені сайту

    Запустіть перевірку ще раз. Якщо Disallow: / лишився навіть після знятої галочки, значить існує фізичний файл, і він має пріоритет, тож перемикач WordPress нічого не змінює. У файловому менеджері панелі хостингу відкрийте теку, де встановлений WordPress (зазвичай public_html), увімкніть показ прихованих файлів і знайдіть robots.txt. Відредагуйте або видаліть його. SEO-плагіни Yoast, Rank Math і All in One SEO мають власний редактор robots.txt, який пише той самий реальний файл, тож загляньте і туди. Враховується лише файл у корені домену, у підтеці його ніхто не читає.

  4. Переконайтеся, що теки з CSS і JS не заблоковані

    Google рендерить сторінку, перш ніж вирішити, про що вона, тож йому потрібні ваші стилі та скрипти. Скопійовані зі старих інструкцій правила на кшталт Disallow: /wp-includes/ чи Disallow: /wp-content/plugins/ ламають цей рендеринг, їх варто прибрати. Безпечний мінімальний robots.txt для WordPress виглядає так:
    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Усе, що ви додаєте понад ці рядки, має мати причину, яку ви можете пояснити вголос.

  5. Вкажіть sitemap

    Перевірка також показує, чи є рядок Sitemap. Додайте його окремим рядком у кінці файлу, повною абсолютною адресою: Sitemap: https://ваш-домен/wp-sitemap.xml для карти сайту, яку WordPress генерує сам (версія 5.5 і новіші), або адресу плагіна, у Yoast і Rank Math це зазвичай /sitemap_index.xml. Рядок Sitemap діє для всіх ботів і не залежить від блоків User-agent вище.

  6. Перезапустіть перевірку і попросіть Google перевірити виправлення

    Коли перевірка покаже чистий файл, скиньте кеш сторінок і кеш Cloudflare, якщо ви ним користуєтеся: стара копія robots.txt ще деякий час може віддаватися. Далі в Search Console відкрийте Settings > robots.txt, щоб побачити версію, яку Google завантажив востаннє, і запросіть повторне сканування, а у звіті «Індексування сторінок» відкрийте проблему «Заблоковано у robots.txt» і натисніть «Перевірити виправлення». Google перечитує robots.txt приблизно раз на добу, а перевірка триває дні, а не хвилини.

Як перевірити результат

Відкрийте https://ваш-домен/robots.txt у режимі анонімного перегляду: ви маєте побачити свої правила й жодного рядка Disallow: /. Перезапустіть перевірку на цій сторінці, щоб переконатися, що саме це отримує бот ззовні вашої мережі і що рядок Sitemap на місці. Остаточне підтвердження дає Search Console: перевірка URL для головної сторінки, кнопка «Перевірити робочу URL-адресу», у відповіді має бути, що адреса доступна для Google.

Порада: robots.txt керує скануванням, а не індексацією. Заблокована адреса все одно може зʼявитися в результатах пошуку, без опису, якщо на неї є посилання з інших сайтів, і саме це означає статус «Проіндексовано, хоча заблоковано у robots.txt». Тому ніколи не прибирайте сторінку з пошуку правилом Disallow: бот, який не може завантажити сторінку, ніколи не побачить її noindex. Щоб сторінка не потрапила в індекс, дозвольте її сканувати й віддайте noindex через метатег robots або заголовок X-Robots-Tag, а Disallow додавайте потім, і то лише за потреби, коли адреса вже випала з індексу.

Схожі інструкції