Автор:  Valeriy Myrza

Продолжение. Начало здесь => 30 лучших SaaS сервисов и программ для парсинга в 2021 году. Часть 1

15. Parsers

Parsers — сервис с которым очень легко разобраться, работает через расширение для браузера. Сервис упрощает настройку сбора данных при помощи алгоритмов машинного обучения, вам нужно выбрать данные только на одной, первой странице сайта, далее сервис ищет похожие страницы на сайте и извлекает указанные данные. Сервис доступен только на английском, но если вы не знаете язык, освоить его несложно благодаря простоте настройки и видеоурокам. Оплатить можно картами Masterсard и Visa, через PayPal и WebMoney.

Возможности сервиса:

1. API;
2. Планировщик;
3. Автоматический поиск нужных данных.

Платные тарифы: $20 — $199 в месяц в зависимости от требуемого количества страниц для парсинга и набора опций. Кастомизация не предусмотрена.

Возможности бесплатной версии:

1. 1000 страниц за прогон;
2. 10 потоков.

Для быстрого старта есть обучающие материалы на YouTube.

16. Agenty

Agenty — сервис для автоматизации процессов с возможностью собирать данные с сайтов, настройка парсера производится через Chrome расширение. Сервис очень прост в настройке, нужно просто кликнуть на данные, которые вы хотите собрать, работает при помощи CSS-селекторов, экспортирует данные в JSON, CSV, TSV. Сервис дает возможность написать свою логику на C#. Доступен только на английском языке. Оплатить можно картами Masterсard, Visa и через PayPal.

Возможности сервиса:

1. Автоматическая ротация прокси;
2. Визуальная настройка;
3. Пакетная обработка страниц;
4. Планировщик;
5. Интеграции с облачными дисками и Google таблицами
6. API.

Платные тарифы: $29 — $249 в месяц в зависимости от требуемого количества страниц для парсинга и набора опций. Кастомизация сервиса доступна по запросу.

Возможности бесплатной версии:

1. 14 дней;
2. 100 страниц.

Сервис предлагает обучающие материалы на YouTube.

17. Grepsr

Grepsr — сервис, который подойдет как для простых проектов, так и сложных, для несложных сайтов сервисом можно управлять через Chrome расширение с визуальной настройкой парсера, для сложных проектов предоставляется кастомизация с созданием скриптов на стороне специалистов сервиса. Сервис предлагает интуитивно понятный интерфейс, API для автоматизации сбора данных и интеграции с популярными облачными дисками — Dropbox, Google Drive, Amazon S3, Box, FTP. Сервис англоязычный, оплатить можно пластиковыми картами, корпоративным клиентам предоставляются закрывающие документы.

Возможности сервиса:

1. Интеграции с облачными дисками;
2. Визуальное программирование;
3. Планировщик;
4. Услуга под ключ;
5. API.

Платные тарифы: Стоимость работы через расширение стоит $20 — $250 в месяц в зависимости от требуемого количества собираемых записей и набора опций. Настраиваемые тарифы $199 — $999, от разовой настройки по запросу на начальном тарифе, до ведения всех проектов на поддержке, указанные суммы — это нижние пороги входа, в зависимости от требований цены могут увеличится.

Возможности бесплатной версии:

1. 1000 запросов в месяц;
2. 500 записей за запуск;
3. 5 запусков в месяц;
4. 3 отчета в месяц;
5. API.

18. Web Robots

Web Robots — облачный сервис, работающий в трех режимах.

1. Бесплатный — использующий для настройки расширение для браузера Chrome, подойдет для решения самых простых задач и несложных сайтов, сервис самостоятельно определяет блоки данных и предлагает скачать выводимую информацию в виде файла.

2. Услуга парсинга под ключ, сотрудники напишут скрипты под ваши цели, будут собирать данные с нужной периодичностью и поддерживать инфраструктуру в рабочем состоянии.

3. Предоставляют платформу для запуска скриптов написанных вашей командой на JavaScript. Сервис доступен только на английском, стоимость платных тарифов уточняется по запросу.

Возможности сервиса:

1. Визуальная настройка;
2. Автоматически находит и собирает данные;
3. Услуга под ключ.

Возможности бесплатной версии:

1. Расширение работает без ограничений.

19. Data miner

Data miner — сервис, работающий через расширение для браузера, поддерживаются Google Chrome и Microsoft Edge. Имеет визуальный интерфейс для настройки данных. Data Miner предлагает просто гигантское количество настроенных шаблонов, которые можно использовать для решения ваших задач. При помощи готовых шаблонов, вы сможете собрать данные в несколько кликов мышкой, в сервисе они называются «рецепты» и делятся на общедоступные и частные – шаблоны других пользователей, которыми они делятся с комьюнити. Сервис позволяет работать с нужным списком адресов. Поддерживается работа с собственным Javascript кодом. Сервис англоязычный, можно оплатить пластиковой картой.

Возможности сервиса:

1. Визуальная настройка;
2. Пакетная обработка страниц;
3. Работа с динамическими данными;
4. Готовые шаблоны для различных задач;
5. Работа с собственным Javascript кодом;
6. Услуга под ключ;
7. Автозаполнение форм.

Платные тарифы: $20 — $200 в месяц в зависимости от требуемого количества собираемых страниц и набора опций. Есть настраиваемый тариф, сотрудники сервиса напишут нужные вам скрипты и будут их поддерживать, стоимость уточняется индивидуально.

Возможности бесплатной версии:

1. 500 страниц в месяц;
2. Можно использовать общедоступные шаблоны.

Сервис предлагает обучающие материалы на YouTube.

20. Scraper.AI

Scraper.AI — сервис работающий через расширение для браузера. Поддерживаются Chrome, Firefox и Edge. Scraper.AI работает через визуальный интерфейс и предлагает простую настройку через визуальный интерфейс, знание кода не требуется. Также вы можете использовать готовые шаблоны для соцсетей — Facebook, Instagram и Twitter. Сервис англоязычный, оплатить можно с помощью пластиковой карты.

Возможности сервиса:

1. Визуальная настройка;
2. Планировщик;
3. Работа с динамическими данными;
4. Бесконечная прокрутка и пагинация;
5. Уведомления.
6. Платные тарифы: $49 — $249 в месяц в зависимости от требуемого количества собираемых страниц и набора опций. Сервис также предлагает настраиваемое решение, стоимость обсуждается индивидуально.

Возможности бесплатной версии:

1. 3 месяца;
2. 50 страниц;
3. API.

Scraper.AI предлагает обучающие материалы для быстрого старта на YouTube.

21. Import.io

Import.io – сервис парсинга данных, с осени 2020 года компания перешла на разработку проектов парсинга данных под ключ, чтобы начать работать с сервисом нужно отправить запрос. Import.io заявляет о возможности собирать большие объемы данных, ежедневном мониторинге изменений, возможностях обхода защиты от парсинга. Цены на услуги озвучиваются после анализа задач. Сервис англоязычный.

Возможности сервиса:

1. Большой пул ip, ротация ip;
2. Обход captcha;
3. Работа с динамическими данными;
4. Визуальная отладка скрипта.

У сервиса есть канал на YouTube.

22. Web content extractor

Web content extractor — простой сервис, работающий как облачный с программированием в браузере и через десктоп приложение для windows. Сервис поддерживает работу с шаблонами и может самостоятельно предлагать на основе внутреннего анализа данные для парсинга. Сервис англоязычный, оплатить можно с помощью пластиковой карты, PayPal, WebMoney и банковского перевода.

Возможности сервиса:

1. Визуальная настройка;
2. Работа с динамическими данными;
3. Работа с прокси серверами;
4. Планировщик;
5. Шаблоны.

Платные тарифы: $30 — $150 в месяц в зависимости от требуемого количества собираемых страниц. Сервис также предлагает настраиваемое решение.

Web content extractor предлагает тарифные планы для прокси серверов, $20 — $120 для пакетов позволяющих обработать 10 000 — 300 000 страниц.

Возможности бесплатной версии:

1. 1000 страниц/запросов.

Сервис предлагает видео уроки для быстрого старта.

23. iDatica

iDatica — сервис предлагает настраиваемое решение, выполняя сбор данных под ключ. Для работы с сервисом нужно описать задачу, все остальные работы по разработке скриптов и их поддержке iDatica берет на себя, предоставляя готовый результат в нужном формате. Сервис специализируется на регулярных задачах, парсинге сложных сайтов с защитой.

Одна из особенностей – сервис может сбирать данные из мобильных приложений. Язык сервиса русский и английский. Оплатить сервис можно банковским переводом.

Возможности сервиса:

1. Разработка парсеров под ключ;
2. Парсинг динамически подгружаемых данных;
3. Работа с прокси серверами;
4. Парсинг мобильных приложений.

Платные тарифы: От 2000 рублей за сбор данных с одного сайта, в зависимости от необходимых опций. Стоимость проекта рассчитывается индивидуально.

Возможности бесплатной версии: Тестовый сбор данных до оплаты.

Сервис подойдет вам если нужно получить решение под ключ, есть необходимость собирать большие объемы данных на постоянной основе или вы хотите собирать данные из мобильных приложений.

Программы для парсинга

Десктопные версии парсеров подойдут в нескольких случаях: если вам по каким-то причинам нужно запускать парсинг на локальной машине, если есть сотрудник, который будет программировать парсеры и следить за их актуальностью. Одно из отличий десктоп версий от облачных сервисов – это разница в вычислительной мощности, если в облаке сбор данных может происходить на мощном железе, что ускорит время сбора данных, то с локальной машиной вы будете ограничены мощностью вашего компьютера, пропускной способностью и стабильностью интернет соединения. В целом область применения программ — решение несложных, частных задач или задач малого бизнеса.

24. Screaming Frog SEO Spider

Screaming Frog SEO Spider — известная программа, специализирующаяся на работе с SEO данными, имеет широчайший функционал для аудита сайтов и настраиваемого парсинга данных при помощи xPath. Перечисление всех возможностей программы займет не одну страницу текста, Screaming Frog стала своего рода стандартом для аналитики сайтов. При первом взгляде интерфейс кажется громоздким, но в процессе работы понимаешь, что он отлично структурирован, вкладки сгруппированы для быстрого доступа к важной информации и в целом работа удобна. Интерфейс программы на английском.

Возможности бесплатной версии:

1. Высокая скорость сбора данных;
2. Аудит SEO показателей сайтов;
3. Возможность парсинга данных с сайтов;
4. Поддержка прокси;
5. Подробная документация и уроки.

Возможности бесплатной версии:

1. Отслеживание нерабочих ссылок;
2. Сбор заголовков и метаданных;
3. Аудит href;
4. Нахождение дубликатов страниц;
5. Работа с robot.txt;
6. 500 адресов на сайт;
7. Работа с Sitemap.

Программа хорошо документирована, в сети можно найти много обзоров, освоить Screaming Frog SEO Spider при желании будет не сложно.

Доступные ОС:

1. Windows;
2. MacOS;
3. Ubuntu.

Стоимость: Screaming Frog SEO Spider стоит £149 – это чуть более $200 или 15600 ₽ на момент написания статьи. Купить можно при помощи пластиковой карты или PayPal.

У программы есть YouTube канал с обучающими видео.

25. Easy Web Extract

Easy Web Extract – собирает данные как с простых html сайтов так и сайтов с динамически подгружаемым содержимым. Для использования программы не нужны уметь программировать, работа ведется через мастер, который пошагово проведет через настройку шаблона для парсинга. Для того чтобы быстро освоить интерфейс, программа предлагает базу знаний и видео уроки.

Особенность — вы можете задать автоматический поиск нужных вам товаров на стадии настройки и собирать только нужные данные. Другая особенность Easy Web Extract — возможность многопоточного сбора, это позволит экономить время выполнения парсинга, но будьте аккуратны при многопоточном сканировании, целевой сайт может блокировать ваш ip из-за подозрительной активности. В Easy Web Extract есть возможность парсинга динамически загружаемых данных, при тестировании программа справилась не со всеми сайтами, проверьте эту возможность на нужном вам сайте. Программа англоязычная, оплатить можно через PayPal.

Возможности программы:

1. Визуальная настройка парсинга;
2. Многопоточность;
3. Работа с поиском;
4. Сохранение шаблонов;
5. Работа с динамическими данными;
6. Видео-уроки.

Возможности бесплатной версии:

1. 14 дней;
2. Парсинг первых 200 результатов;
3. Экспорт первых 50 результатов.

Доступные ОС: Windows.

Стоимость: $29,9 за лицензию на одну машину + $24,9 за дополнительную лицензию.

У программы есть YouTube канал с обучающими видео.

26. FMiner

FMiner — программа для парсинга сайтов, с визуальной настройкой, не требует знания языков программирования. Fminer записывает ваши действия создавая таким образом сценарии, которые вы можете редактировать, сохранять и воспроизводить в последующем. Программа умеет захватывать динамически загружаемые данные, такие как AJAX, поддерживает многопоточность, предоставляет возможность работать с результатами поиска и экспортирует данные в несколько выходных форматов. Интерфейс англоязычный.

Возможности программы:

1. Визуальная настройка парсинга;
2. Многопоточность;
3. Парсинг результатов поиска;
4. Возможность записывать макросы;
5. Работа с динамическими данными;
6. Видео-уроки.

Возможности бесплатной версии:

1. 14 дней;

Доступные ОС:

1. Windows;
2. Mac OSX.

Стоимость: $168 — $248 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal.

У программы есть YouTube канал с обучающими видео.

27. Content Downloader

Content Downloader — программа для парсинга сайтов, с возможностью парсить сайты с динамически загружаемым содержимым. Парсинг данных происходит в два этапа, сначала нужно собрать ссылки страниц, с которых нужно парсить данные, потом настроить какие данные с этих страниц необходимо собирать. Для работы с программой необязательно знать языки программирования, хотя их знание существенно расширит возможности. Программа не проста при изучении, потребуется изучить принципы работы с программой, для создания проекта парсинга нужно умение работать с кодом сайта, знание регулярных выражений. Интерфейс русскоязычный и англоязычный.

Возможности программы:

1. Многопоточность;
2. Парсинг списка ссылок;
3. Возможность обработки данных на лету;
4. Работа с динамическим содержимым;
5. Ротация IP;
6. Видео-уроки.

Возможности бесплатной версии:

1. Ограничен функционал программы;

Доступные ОС: Windows;

Стоимость: 2000 ₽ — 5000₽ в зависимости от нужного набора опций. Оплатить сервис можно с помощью PayPal, кредитной карты.

У программы есть YouTube канал с обучающими видео.

28. Helium scraper

Helium scraper — программа для парсинга данных с сайтов. Принцип работы с программой – визуальный интерфейс, на котором нужно выбирать элементы для захвата, совмещается с полем для кода, который описывает процесс. Функциональность программы имеет ряд особенностей по отношению к рассмотренным выше. Одна из ключевых — это возможность собирать большие базы данных, до 140 Терабайт, если ваша задача подразумевает сбор большого объема информации, то стоит обратить внимание на Helium scraper. Также программа может работать через API, вы можете интегрировать запросы к целевым сайтам в свой проект. Интерфейс англоязычный.

Возможности программы:

1. Визуальное программирование;
2. Многопоточность;
3. Работа с результатами поиска;
4. Работа с динамическими данными;
5. Ротация ip;
6. Блокировка нежелательного контента;
7. База знаний;
8. Планировщик;
9. API.

Возможности бесплатной версии:

1. 10 дней, без функциональных ограничений;

Доступные ОС: Windows.

Стоимость: $99 — $699 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal или банковские карты.

У программы есть YouTube канал с обучающими видео.

29. WebHarvy

WebHarvy — интересный вариант для парсинга сайтов, программа предлагает простой и наглядный интерфейс для захвата данных и в этом ее главная особенность — она интуитивно понятна с первого взгляда. WebHarvy не подойдет для каталогов со сложной структурой вложенности, программу нужно выбирать для сайтов с простой структурой вложенности не далее второго уровня. Программа понимает динамически загружаемые данные, также вы сможете подключить свои прокси и пройти по заранее подготовленному списку адресов. Программа позволяет пользоваться регулярными выражениями, например вы сможете очистить html код. Интерфейс – англоязычный.

Возможности программы:

1. Визуальное редактирование;
2. Многопоточность;
3. RegExp;
4. Работа с динамическим содержимым;
5. Поддержка Ip;
6. Видео-уроки;
7. Планировщик.

Возможности бесплатной версии:

1. 15 дней;
2. Первые 2 страницы.

Из-за ограничения в 2 страницы, программа сильно ограничивает парсинг каталогов, но, если есть возможность вывести данные на одну страницу, WebHarvy — хороший выбор.

Доступные ОС: Windows.

Стоимость: $139 в зависимости от нужной операционной системы и набора доступных опций. Оплатить сервис можно через PayPal или банковские карты.

У программы есть YouTube канал с обучающими видео.

30. Screen-Scraper

Screen-Scraper — программное решение для сбора данных с сайтов. Для работы с программой потребуется знание Java, JavaScript или Python. Screen-Scraper может собирать данные, переходить по ссылкам, заполнять и отправлять формы, переходить на страницы результатов поиска и скачивать различные файлы. Программа может справится с практически любым сайтом, в том числе с AJAX данными. Интерфейс программы англоязычный.

Возможности программы:

1. Многопоточность;
2. AJAX;
3. Поддержка ротации ip;
4. Программирование скриптов на Java, JavaScript и Python;
5. API.

Возможности бесплатной версии:

1. Неограничено по времени;
2. Только три сеанса парсинга;
3. Прокси.

Доступные ОС:

1. Windows;
2. MacOS;
3. Linux.

Стоимость: $549 — $2799 в зависимости от набора доступных опций. Оплатить сервис можно через PayPal, или банковские карты.

У программы есть YouTube канал с обучающими видео.