Программы и сервисы для парсинга
Automation Anywhere
Роботизированная платформа, позволяющая создавать программных ботов для автоматизации задач от начала и до конца. Возможности: использование скриптов VBS и JavaScript, гибкие инструменты автоматизации процессов, множество встроенных функций и т. п.
Catalogloader
Универсальный парсер, который специализируется на обработке данных для интернет-магазинов. Возможности: конвертеры YML и Excel файлов, экспорт в CSV Excel YML XML для популярных магазинов, импорт данных в базу данных интернет-магазинов и MySql и т. д.
dexi.io
Парсинговый редактор, не требующий загрузки дополнительных приложений. Возможности: поддержка сбора данных с любого сайта, различные типы роботов для парсинга, интеграция с хранилищами Google Drive, Box.net, а также экспорт данных в формате JSON или CSV.
FMiner
Визуальный инструмент для парсинга сайтов, интернет-магазинов, онлайн-каталогов, порталов с объявлениями. Возможности: захват экрана при веб-сёрфинге, несколько вариантов обхода страниц, поддержка Windows/Mac, интуитивно понятный интерфейс и т. д.
Import.io
Англоязычный сервис, позволяющий извлекать данные с разных сайтов. Возможности: поиск данных в режиме реального времени через API-интерфейсы JSON REST и потоковые интерфейсы, интеграция с популярными языками программирования. Имеется пробный период.
Mozenda
Англоязычный парсинговый сервис, помогающий собирать разные типы данных с интернет-страниц. Возможности: доступ как к облачной, так и к десктопной версии продукта, извлечение данных, просмотр и выгрузка в любом удобном виде и т. д.
Octoparse
Сервис для сканирования веб-данных и парсинга нужной информации с любых страниц. Возможности: извлечение изображений и номеров телефонов, прайсов, почтовых адресов, ip-адресов, подключение по API и т. д. Имеется пробный период и бесплатный тариф.
PEPPER.NINJA
Русскоязычный парсер групп в VK для эффективного точечного таргетирования. Возможности: поиск сообществ по гео, парсинг групп и публичных страниц по ключевым фразам, фильтр и сортировка активных пользователей, формирование выгрузки по аудиториям и т. п.
Publer
Сервис для мониторинга рекламы во ВКонтакте, MyTarget, Instagram и тизерных сетях. Возможности: сбор постов по цене, лайкам, ключевым словам с настройкой ретаргетинга, поиск сообществ, анализ пабликов ВК, загрузка и создание инста-лендингов и т. п.
Spinn3r
.
Apify
Сервис парсинга со специфическими функциями RequestQueue и AutoscaledPool. Возможности: парсинг под несколько форматов данных — JSON, JSONL, CSV, XML, XLSX или HTML с CSS, поддержка любого типа сайтов, встроенная поддержка Puppeteer, мгновенный запуск.
Beautiful Soup
Библиотека Python для парсинга HTML и XML документов. Возможности: автоматическое преобразование входящих документов в Unicode и исходящих — в UTF-8, Python-идиомы для работы и извлечения информации, использование различных стратегий для парсинга и т. д.
Ficstar
Один из популярных англоязычных сервисов парсинга со страниц с большими данными. Возможности: интеграция в любую базу данных, мониторинг социальных сетей, мониторинг ценовой стратегии бизнес-конкурентов и т. д. Есть бесплатная демоверсия.
ParseHub
Инструмент извлечения визуальных данных с любых сайтов. Возможности: обработка интерактивных карт, календарей, поисковиков, форумов, комментариев, аутентификаций, меню, форм, а также Javascript и Ajax. Есть пробный период и бесплатный тариф.