Screaming Frog SEO Spider — настольная программа, которая обходит сайт так же, как это делает поисковый робот: берёт главную страницу, находит в ней ссылки, переходит по ним и так дальше, пока не кончатся адреса. В итоге вы получаете таблицу со всеми страницами сайта и всем, что про них известно: код ответа, заголовок, описание, вес, количество слов, куда ведут ссылки и кто ссылается на эту страницу.
Отличие от онлайн-сервисов проверки в том, что обход идёт с вашего компьютера и под вашим управлением. Никто не ограничивает скорость и глубину со стороны чужого сервера, можно проверить сайт, закрытый от посторонних, или сайт на локальной машине до выкладки. Взамен нужен живой компьютер с запущенной программой и готовность разбираться в таблице самостоятельно: программа ничего не советует, она показывает факты.
Что умеет Screaming Frog SEO Spider
- Обход сайта по ссылкам — главная работа. Программа собирает все найденные адреса: страницы, картинки, скрипты, стили, внешние ссылки. По каждому видно код ответа, поэтому ошибки и переадресации находятся сразу.
- Поиск битых ссылок и цепочек переадресаций — отдельные вкладки показывают адреса, которые отвечают ошибкой, и места, откуда на них ссылаются. Так понятно не только что сломано, но и какую страницу надо править.
- Поиск дублей — одинаковые заголовки, одинаковые описания, почти совпадающий текст на разных адресах. Это частая причина, по которой поиск выбирает не ту страницу, что нужна вам.
- Проверка служебных файлов и тегов — robots.txt, указания canonical, языковые версии hreflang, запреты индексирования. Программа честно говорит, какую страницу робот обойдёт, а какую пропустит, и почему.
- Проверка микроразметки — находит разметку на страницах и указывает на ошибки и пропущенные обязательные поля.
- Создание карты сайта — из готового обхода можно выгрузить файл sitemap.xml, уже без мусорных и закрытых адресов.
- Выгрузка в таблицы — любая вкладка сохраняется в CSV или Excel. Удобно отдать подрядчику или разработчику: не пересказ, а список адресов с проблемами.
- Платные возможности — прорисовка страниц на JavaScript (нужна для сайтов, где контент подгружается скриптами), поиск по коду страниц и вытаскивание своих данных из разметки, сохранение настроек обхода, запуск по расписанию, сравнение двух обходов между собой, подключение данных из поисковых кабинетов и сервисов скорости.
Кому подходит
- Специалистам по продвижению — это рабочий инструмент на каждый день: технический аудит, проверка после переноса сайта, подготовка списка правок для разработчиков.
- Разработчикам и верстальщикам: перед сдачей сайта за десять минут видно, нет ли битых ссылок, пустых заголовков и случайно закрытых от индексирования разделов.
- Владельцам сайтов среднего размера, которые готовы один раз разобраться в таблице и дальше проверять сайт сами.
- Контент-редакторам — выгрузка всех страниц с заголовками и количеством слов помогает найти пустые и заброшенные страницы.
- А вот для разовой проверки одной страницы программа излишне сложна: проще воспользоваться онлайн-сервисом с готовыми объяснениями.
Плюсы
- Показывает сайт целиком: все адреса и все ссылки между ними в одной таблице
- Бесплатной версии хватает, чтобы проверить небольшой сайт
- Обход идёт с вашего компьютера — можно проверять закрытые и ещё не опубликованные сайты
- Любой отчёт выгружается в таблицу и легко передаётся исполнителю
- Работает на Windows, macOS и Linux
Минусы
- Нет русского интерфейса, все названия колонок и настроек на английском
- Бесплатная версия ограничена небольшим числом адресов за обход
- Ничего не советует: нужно понимать, что означают колонки
- Большой обход требует памяти и времени, компьютер на это время занят
- Лицензия платная и годовая, оплата российскими картами недоступна
Сколько стоит
Программа бесплатная с ограничениями. В бесплатной версии действует предел адресов за один обход — 500, и отключены настройки: сохранение конфигурации, прорисовка JavaScript, поиск по коду, расписание, сравнение обходов и подключение внешних сервисов. Для сайта-визитки или небольшого каталога этого хватает, для магазина на несколько тысяч страниц — уже нет.
Полные возможности открывает лицензия на год, её покупают на сайте разработчика. Цену смотрите там же: разработчик британский, цена указана в фунтах и периодически меняется. Оплата российскими картами не проходит, поэтому в России программой чаще пользуются в бесплатном виде или через рабочую лицензию агентства.
Как установить
- Откройте официальный сайт разработчика и найдите раздел с программой SEO Spider. Скачивайте только оттуда: по названию программы в поиске попадаются сборники и перепаковки с неизвестным содержимым.
- Выберите файл для своей системы — установщик для Windows, образ для macOS или пакет для Linux. Для Windows нужна 64-разрядная система.
- Запустите установку и примите стандартные настройки. Лишних предложений с галочками здесь нет: сторонние программы установщик не подсовывает.
- При первом запуске программа работает в бесплатном режиме. Если у вас есть лицензия, введите имя и ключ в разделе с лицензией — ограничения снимутся после перезапуска.
- Прежде чем обходить большой сайт, зайдите в настройки памяти и хранения: там выбирается, держать данные обхода в оперативной памяти (быстро, но для небольших сайтов) или писать на диск (медленнее, зато выдерживает большие обходы).
Частые вопросы
Работает ли программа в России?
Сама программа работает: она устанавливается на компьютер и обходит сайты без участия разработчика. Сайт разработчика открывается, скачать установщик можно. Сложность одна — покупка лицензии: оплата российскими картами недоступна.
Есть ли русский язык?
Нет, интерфейс на английском. Названия колонок при этом узнаваемые и совпадают с терминами, которые используют в продвижении, поэтому разобраться можно и без хорошего английского.
Сколько страниц можно обойти бесплатно?
До 500 адресов за один обход. Считаются не только страницы, но и картинки, скрипты и стили, если их проверка не отключена в настройках, — на это стоит обратить внимание, иначе предел закончится быстрее ожидаемого.
Не навредит ли обход моему сайту?
Программа создаёт нагрузку, как несколько посетителей одновременно. На слабом хостинге быстрый обход может подтормозить сайт, поэтому в настройках скорости стоит уменьшить число одновременных запросов. Ничего в сайте программа не меняет: она только читает страницы.
Чем она отличается от онлайн-сервисов проверки?
Онлайн-сервис вроде PR-CY сам объясняет найденное простыми словами, но обходит сайт со своих серверов и по своим правилам. Screaming Frog работает с вашего компьютера, настраивается глубже и показывает сырые данные без оценок. Для разбора одной страницы удобнее сервис, для аудита всего сайта — программа.
