A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парсеров

1.2.2148 - бесплатное решение Яндекс каптчи, 3 новых парсера, поддержка нового WordStat



Улучшения

• Открыто бесплатное тестирование решения Яндекс каптчи!
  В Util::AntiGate добавлен провайдер A-Parser.Captchas, его можно использовать без указания ключа доступа.
• Добавлено 3 новых парсера:
  • SE::Yandex::Video - парсер Яндекс Видео
    
  • IP::Info - точные данные об IP-адресах
    
  • SE::Bing::Video - парсер Бинг Видео
• В SE::Yandex::WordStat добавлена поддержка нового WordStat
• В SE::Yandex::SQI добавлен сбор рейтинга магазина в поиске по товарам и рейтинга магазина на Яндекс Маркете
• В Social::Instagram::Profile добавлен сбор ссылок, которые были прикреплены в профиле и сбор телефонов из bio
• В Maps::Yandex добавлен сбор времени работы организации
• Util::AntiGate адаптирован к изменениям в API 2captcha/rucaptcha. А также оптимизирована работа с click каптчей и добавлена опция Log captcha images, позволяющая отключать вывод картинок каптч в лог

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google и Яндекс
• В Shop::Yandex::Market исправлена работа со всеми видами запросов
• SE::YouTube, GooglePlay::Apps, Shop::Wildberries::ProductInfo, Shop::Wildberries::ProductsList, SE:: DuckDuckGo, Reddit::Posts, Reddit::Comments, SE::Google::ByImage, SE::Ask, Shop::Amazon, Social::TikTok::Profile

Исправления

• Исправлена ошибка обработки некоторых HTML сущностей в HTML::TextExtractor
• Исправлено определение Yandex.Metrika в Rank::CMS
• Исправлена работа некоторых опций в SE::Startpage

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo

61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo.

Анализ сайта с помощью be1.ru
Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам.


Парсер архива Телеграм ботов
Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API.


Парсер объявлений сайта Lalafo
Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Сборник статей #17: поиск и привлечение аудитории в Instagram, сбор баз сайтов на заданных движках

Представляем 17-й сборник статей, в который вошли статья о поиске и привлечении целевой аудитории в Instagram и статья о сборе баз сайтов на определенных движках.

Instagram - сбор пользователей, автоматическая отправка сообщений собранным пользователям в direct

В статье рассмотрен сбор целевой аудитории и привлечение её в наш инстаграм магазин с помощью автоматической рассылки в Direct.



Как спарсить WordPress сайты (и не только) через A-Parser

В этой статье показано как собрать сайты на движке WordPress через A-Parser с минимальным количеством мусора в виде других движков. Кроме того данный подход можно использовать для сбора баз на любых движках.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Скриншоты выдачи поисковой системы
Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами

• Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные)
• Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp)
• Небольшие изменения логики работы

Парсер изображений с Flickr
Парсинг картинок из Flickr по ключевому слову

• Пресет переделан в JS парсер на TypeScript
• Добавлен выбор параметров поиска: Sort, License, Color, Style
• Добавлен параметр выбора количества страниц
• Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев

Анализ скорости загрузки и юзабилити сайтов
Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена возможность указывать ключ API
• Адаптация к изменениям на источнике

NeuralWriter - перефразирование, генератор промптов, резюмирование
Парсер сервиса neuralwriter.com

• Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator

Google Indexing API
Добавление или удаление страниц сайта в Google Indexing API

• Парсер переписан на TypeScript (JavaScript API v2)
  
• Добавлена возможность использовать несколько ключей

Генерация картинок ruDALL-E
Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru

• Исправлена генерация с помощью старой модели (ruDALL-E Malevich)
  
• Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate
  
• Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new)
  
• В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Premium прокси от A-Parser


Мы рады представить вам новые Premium прокси-серверы, которые значительно улучшат вашу работу. Ключевые преимущества Premium прокси:

• База более 10 миллионов резидентных (домашних) IP адресов: Обеспечьте себе разнообразие и стабильность соединения с нашей обширной базой IP адресов.
• Быстрое время отклика: Мы гарантируем высокую скорость и оптимальное время отклика, обеспечивая эффективную работу ваших парсеров.
• Гибкая фильтрация по странам и городам: Настройте прокси под свои потребности с помощью гибкой фильтрации, чтобы получать доступ к ресурсам из конкретных стран и городов.
• Настройки ротации: Используйте различные режимы ротации, включая случайный IP на каждый запрос, ротацию от 1 до 60 минут и режим Sticky, который сохраняет IP на максимально возможное время.
• Подходит для браузинга и парсинга: Наши прокси идеально подходят как для браузинга, так и для парсинга, с минимальным риском CAPTCHA и банов.
• Доступ к прокси осуществляется по логину/паролю и протоколу SOCKS5, а также может быть организован сразу с нескольких компьютеров и серверов.

Лучшие цены на рынке: Premium прокси от $1 за гигабайт трафика.

Для всех пользователей A-Parser доступен бесплатный триал в Личном кабинете на 1 Гб.

1.2.2228 - 2 новых парсера, множество улучшений и исправлений



Улучшения

• Добавлен парсер геолокации IP/домена - IP::Geo
  
• Добавлен парсер для разгадывания RotateCaptcha - Util::RotateCaptcha
  
• В SE::Yandex добавлен параметр Serp time
  
• В парсерах OpenAI::Completions и OpenAI::ChatGPT обновлены модели
  
• В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных
  
• В SecurityTrails::IP добавлена возможность парсинга с авторизацией
  
• В Shop::Aliexpress добавлена возможность парсить старую цену и валюту
• В SE::Youtube::Video добавлена возможность собирать данные о Shorts
• Добавлено информационное сообщение при ошибке импорта JS парсера

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google
  
• Исправлена ошибка при парсинге быстрых ответов в SE::Yandex
• Исправлен парсинг нескольких страниц в Shop::eBay при максимальном количестве результатов на страницу
• Исправлена работа Net::Whois с некоторыми доменными зонами
• Исправлен парсинг постов в Social::Instagram::Profile
• Исправлена подстановка переменных в Конструкторе результатов
  
• SE::Bing, Rank::MajesticSEO, SE::Ask, SE::Baidu, SE::AOL, SE:: DuckDuckGo, Shop::eBay, SE::Seznam, SE::Google::ByImage, Reddit::Posts

Исправления

• Исправлена логика работы SE:: Dogpile
  
• Исправлена работа Maps::Yandex с разгадыванием каптч
• Исправлена проблема с интерфейсом при сохранении региона в SE::Yandex
• SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile
  
• Shop::Ebay - исправлены ошибки в парсинге цифровых значений
  
• Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count
  
• Исправлена работа tools.task.id в формате результата
• Исправлена ошибочная возможность перезаписать default пресет настроек
  
• Исправлена проблема зависания регулярных выражений в Parse custom result
• Исправлена ошибка вызова Social::TikTok::Profile в JS парсере

Обзор Premium Proxy от A-Parser (скорость, выбор локации, браузинг)

В данном видео продемонстрирована настройка и скорость работы новых Premium прокси. Данные прокси вы можете использовать как в A-Parser, так и в браузере или в любом другом SEO-софте.


Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.



Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.



Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсер корейского поисковика Daum.net
Парсер собирает данные (ссылки, анкоры, сниппеты и связанные ключевые слова) из поисковой выдачи корейской поисковой системы daum.net.

• Парсер переписан на TypeScript (JS APIv2)
• Обновлены регулярные выражения, исправлена работа в целом
• Убран totalcount, т.е. его больше нету в выдаче

Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сбор истории IP-адресов по домену и других веб-сайтов, которые имеют общие IP-адреса с искомым доменом.

• Убрана опция разгадывания капчи, т.к. теперь данные видны после авторизации и капчи там не видно
• Добавлена авторизация по логину и паролю

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com. Собираемые данные: частотность, стоимость клика, конкуренция, сложность, списки похожих ключевых слов, связанных ключевых слов, вопросов и ссылок органического трафика. В настройках доступен выбор источника (страна и поисковая система).

• Исправлена работа с каптчей
• Добавлена проверка выбора пресета Util::ReCaptcha2
• Небольшая оптимизация кода

Оценка страниц с использованием Lighthouse
Оценка производительности, доступности и оптимизации веб-страниц с использованием Lighthouse. В качестве источника используется сайт web.dev.

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных



Улучшения

• В SE::Google:
  • добавлен параметр Empty totalcount is error, детальнее тут
  • добавлен сбор тегов (массив $tags.$i.tag)
• SE::Yandex - улучшен парсинг сниппета генеративного ответа
  
• В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
  
• В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
• В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
  
• В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
• Следующие настройки перенесены из опций в параметры парсера:
  SE::Google: Parse people also ask
  SE::Yandex: Parse Quick answers и Parse generative answer

Исправления в связи с изменениями в выдаче

• В SE::Yandex исправлена работа с каптчами
  
• Исправлен парсинг дат в SE::Google
• Исправлен парсинг быстрых ответов в SE::Yandex
• В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
  
• Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
• Исправлен сбор $related в SE::Yahoo
• В SE::Yandex:: Direct исправлен парсинг доменов для некоторых случаев
  
• Исправлена ошибка Unexpected token в Social::TikTok::Profile
  
• Исправлен сбор $views в SE::Bing::Video
  
• В SE::You исправлен парсинг ссылок на превью
• В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
  
• Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
• Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP

Исправления

• Исправлена проблема с отображением сохраненных заданий
  
• Исправлена работа опции Collect full region в Maps::Google

Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы

Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.



Парсер картинок с Шедеврум с дополнительными данными

Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, prompt'ы по которым генерировались эти картинки, описание и т.д.



Парсер Pinterest Trends

Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.

• Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
• Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.

• Исправлен парсинг
• Парсер переписан на TS (API v2)
• Добавлена возможность указания количества страниц парсинга

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.

• Исправлен сбор всех результатов
  
• Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.

• Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.

• Адаптация к изменениям на источнике
• $delivery теперь массив
• $formattedQuery был удален
  
• Вместо $html исходный код страницы сохраняется в $data

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.



Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.



Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения

• Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  
• Улучшена очистка ссылок в SE::Bing
• В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  
• В SE::Yandex добавлен вывод "пропущенных слов"
• В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
• В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
• В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче

• Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  
• Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
• Исправлен парсинг $thumb в Social::Instagram::Profile
  
• Исправлен парсинг $serp.$i.social в Maps::Yandex
  
• Исправлен парсинг комментариев в SE::YouTube::Video
• Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
• SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE:: Dogpile::Images, SE:: DuckDuckGo, Cloudflare::Radar

Исправления

• Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
• Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*

Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.

Плейлист со всеми видео уроками от DIM STUDIO

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API

• Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  
• Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)

• Исправлено получение информации
• Добавлена возможность выбора способа получения текста со страниц: HTML::TextExtractor или HTML::ArticleExtractor
• Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/

• Адаптация к изменениям на источнике
• Вместо Util::ReCaptcha2 теперь Util::ReCaptcha3

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Social::Instagram:: Post и в качестве запросов принимает ссылку на пост типа Video/Reel.


Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.


Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения

• Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  
• Улучшена очистка ссылок в SE::Bing
• В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  
• В SE::Yandex добавлен вывод "пропущенных слов"
• В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
• В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
• В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче

• Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  
• Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
• Исправлен парсинг $thumb в Social::Instagram::Profile
  
• Исправлен парсинг $serp.$i.social в Maps::Yandex
  
• Исправлен парсинг комментариев в SE::YouTube::Video
• Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
• SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE:: Dogpile::Images, SE:: DuckDuckGo, Cloudflare::Radar

Исправления

• Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
• Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*

Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.



Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для XRumer: медленно, но верно

Новая статья от нашего пользователя @Reset о сборе базы форумов для Хрумер.



Парсер всех видео с Youtube канала

Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.



Анализ скорости загрузки и юзабилити сайтов

Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.



Акция на Premium прокси

Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт



Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.