Альтернативный граббер контента - Скрипты/Программы

03.10.2009, 16:45

#1

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Альтернативный граббер контента

Предлагаю Вашему вниманию DLE Grabber написанный на PHP.
DLE порталы очень популярны в рунете, отсюда и актуальность данной темы.
-------------------------------------------------------------------------

Особенности скрипта:

Скрипт полностью автономен и самодостаточен.
Он легко устанавливается, имеет простой интуитивный интерфейс.
Универсальность.
Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
Гибкость - два режима работы.
>>Классический режим:
В этом режиме дистрибутив граббера копируется в директорию Вашего сайта.
Все что нужно - указать его драйвер.
Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.

>>Пакетный режим:
Суть режима заключается в разделении процесса получения новостей от их добавления.
Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
Преимущества данного режима:
- Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
- Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
  а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.
Функциональность.
- Поддержка авторизаций на сайте-источнике для получения элементов, недоступных гостям;
- Возможнсоть получения новостей определенной категории или всех новостей, публекуемых на главной странице;
- Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
- Возможность добавления "случайных" дат при размещении новостей на Вашем сайте;
- Возможность проверки новости на уникальность перед добавлением;
- Возможность поэтапного добавления новостей на Ваш сайт;
- Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
- Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
- Возможность цензурирования новостей;
- Возможность "чистки" HTML-кода новости;
- Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
* - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
(на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).
Оптимизация.
Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. По желанию, мы также можем оптимизировать скрипт персонально для Вас.
Надеждый механизм работы.
Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
после любого сбоя не представляет проблем, достаточно заного указать начальную и конечную страницы,
а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.
Расширяемость.
С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
расположены в отдельных библиотеках, что позволит оптимизировать или расширить
функционал скрипта даже начинающему программисту. В граббер, также, встроен простой, но удобный механизм подключения
собственных модулей по обработке контента.
Безопасность.
Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
Данную функцию можно включить и выключить в любой момент.
Выгодные условия.
Стоимость данного скрипта - 25 WMZ. Форма оплаты - WebMoney.
При покупке вы получаете:
Полный дистрибутив скрипта с открытым исходным кодом и документацией;

Драйвера для следующих движков: DLE, IPB, SMF, WordPress, phpBB 3.0.x;

Несколько модулей, включая модуль загрузки новостных картинок на Ваш сайт;

Отсутствие ограничений по времени использования;

Отсутствие привязок (к домену/IP/....);

Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца;

Бесплатную услугу по написанию драйвера под Вашу CMS (сайт) в течении двух суток с момента покупки;
Итого
По любым вопросам вы можете обращаться по ICQ: 494-897-304.
Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию,
где вы можете протестировать его на сайтах, которые Вам интересны. Пишите!

-------------------------------------------------------------------------

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

12.10.2009, 18:31

#2

hildenbrand

Пол: Мужской

Инвестирую в: Интернет-магазины

Регистрация: 11.10.2009

Сообщений: 2

Благодарностей: 0

Ответ: Альтернативный граббер контента

ворованный скрипт

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

13.10.2009, 15:26

#3

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Цитата:

Сообщение от hildenbrand

ворованный скрипт

Обоснуй заявление.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

13.10.2009, 16:19

#4

Apelsinov

Интересующийся

Пол: Мужской

Регистрация: 12.10.2009

Сообщений: 25

Благодарностей: 1

Ответ: Альтернативный граббер контента

с imdb вырывать бы картинки..

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

15.10.2009, 17:22

#5

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Цитата:

с imdb вырывать бы картинки..

С видео не так все просто, но настроить под какой-то конкретный сайт - можно) Если будет спрос - в будущем сделаю подобный модуль.

-----------------------------------------------
Появилась новая версия.
Добавлены новые компоненты:
- online-синонимизатор (с поддержкой неограниченного количества баз)
- редактор новостей (в визуальном RTE-редакторе или на уровне HTML-кода)

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

18.10.2009, 17:07

#6

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Цена граббера увеличивается до 35 wmz.

В новой версии появилась возможность добавлять потоковые видео (IMBd) в нескольких режимах (в том числе и с полной загрузкой FLV-видео)

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

19.10.2009, 20:25

#7

hardanus

Интересующийся

Регистрация: 19.04.2007

Сообщений: 17

Благодарностей: 0

Ответ: Альтернативный граббер контента

za4em pakupats 4ego palno na haljavu....

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

21.10.2009, 17:45

#8

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Цитата:

Сообщение от hardanus

za4em pakupats 4ego palno na haljavu....

Очень убедительная аргументация, как тут возразишь....
Тем не менее, в свободном доступе, скриптов с таким функционалом ты не найдешь.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

24.10.2009, 22:07

#9

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Вышла новая версия.

В связи с большим наплывом вопросов по работе с потоковым видео, опишу возможные варианты работы:
- FLV Flash проигрыватель замещается любым своим (в комплекте с дистрибутивом идет один)
- Сами FLV видео, по желанию, могут закачиваться на сервер. Делать это можно в двух режимах:

Автоматический: все видео закачивается скриптом через cURL;
Ручной: в конце парсинга страниц выводится список ссылок на видео, которое необходимо скачать и залить на сервер вручную;

---------------------------------------------
Также, я готов продать нескольким людям скрипт по старой цене (25 wmz), при условии написания объективного отзыва о продукте.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

05.11.2009, 18:54

#10

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Итак, как и обещал, - выпускаю обновление. Постарался реализовать наиболее интересные предложения,
которые мне поступили)

- Добавлен универсальный конвертор формата текстовых баз синонимов;
- добавлена возможность автоматического наложения водяного знака на картинки, если они загружаются на сервер;
- добавлена возможность автоматического сохранения картинок в разные папки с сортировкой по дате (годам, месяцам)
- добавлена система удаления текстовых совпадений из содержания новости по шаблонам;
- добавлена возможность заключения всех ссылок новости в тег <noindex> ... </noindex>;
- добавлена возможность автоматического расшифровывания dle ссылок (./engine/go.php) на сайте-источнике;
+ также множество других нововведений;

Также, хочу еще раз прояснить некоторые моменты:
- Текущая цена граббера 35 wmz;
- Услуга бесплатной установки и настройки граббера действительна ТОЛЬКО для одного сайта.
- Для всех клиентов обновления в течении 6 месяцев - бесплатны!

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

09.12.2009, 16:51

#11

dmaztof

Интересующийся

Пол: Мужской

Регистрация: 13.09.2009

Сообщений: 9

Благодарностей: 0

Ответ: Альтернативный граббер контента

граббер есть в паблике, погуглите и найдёте, совершенно бесплатно.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

09.12.2009, 19:33

#12

TREXXv1

Интересующийся

Пол: Мужской

Инвестирую в: HYIP Фонды

Регистрация: 16.11.2009

Сообщений: 74

Благодарностей: 4

Ответ: Альтернативный граббер контента

dmaztof, скинь ссылку на паблик

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

А у меня есть 5 скриптов HYIP Фондов и 4 HYIP монитора, отдам их вместе за xx-xxx$ приму LR или Web Money
Первым покупателям скидки, возможны обмены!!!

21.12.2009, 20:20

#13

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Ответ: Альтернативный граббер контента

Цитата:

Сообщение от TREXXv1

dmaztof, скинь ссылку на паблик

Вынужден разочаровать - граббера в паблике нет.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

29.12.2009, 15:42

#14

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Re: Альтернативный граббер контента

Итак, сегодня выпущен финальный релиз новой версии.
В ней большое количество изменений, отмечу только ряд инноваций:

- Добавлена возможность размещения новостей от случайного автора из списка;

- Добавлена поддержка мета-keywords и meta-description; заполнение этих полей возможно в трех режимах:
а) получение непосредственно с сайта-источника;
б) с помощью автоматической системы получения ключевых слов через анализ контента;
в) по собственным шаблонам;

- Добавлен универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz);
По умолчанию, в качестве примера, драйвер настроен на ucoz.

- Добавлена возможность пропуска всех дополнительных шагов (просмотра списка новостей, подтверждение добавления) в автоматическом режиме;

- А также множество других функций;

Также... для моих клиентов я подготовил подарок...
В дистрибутив новой версии скрипта входит скрипт, позволяющий поставить граббер на CRON.
Данный инструмент закрыт Zend Guard и работает по лицензионным ключам, для получения которых обратитесь ко мне в ICQ.
Для каждого клиента доступно до 5 ключей на различные копии вашего граббера, расположенные на разных доменах.

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

10.01.2010, 14:04

#15

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Re: Альтернативный граббер контента

Всвязи со спросом ввожу услугу - покупка дополнительных ключей для крона (стоимость зависит от количества).

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

11.01.2010, 15:52

#16

turionhm

Интересующийся

Пол: Мужской

Инвестирую в: Фондовый рынок

Регистрация: 10.01.2010

Сообщений: 8

Благодарностей: 0

Re: Альтернативный граббер контента

поддерживаю hardanusa!!!

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

15.01.2010, 13:56

#17

gogison

Интересующийся

Пол: Мужской

Регистрация: 24.06.2007

Сообщений: 61

Благодарностей: 2

Re: Альтернативный граббер контента

куплю этот скрипт! Стучитесь в личку

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

Блог веб seo мастера оптимизатора

18.03.2010, 00:48

#18

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Re: Альтернативный граббер контента

На следующей недели будет выпущена новая версия.

До 25 марта цена граббера будет составлять 25 wmz

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

24.03.2010, 22:10

#19

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Re: Альтернативный граббер контента

Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz.
За дополнительную плату могу адаптировать скрипт для парсинга любого сайта.

- Добавлена возможность перевода новостей на другие языки;
- Добавлена система профайлов для возможности использования различной конфигурации при парсинге различных источников;
- Добавлена система контроля добавляемых новостей по белому и черному списках;
- Добавлена поддержка парсинга (или генерация) облака тегов;
- Множество различных улучшений и инноваций, обеспечивающий мощный инструмент SEO-специалистам по редактированию новостей;

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер

19.04.2010, 21:51

#20

Sergey Gr

Интересующийся

Пол: Мужской

Регистрация: 02.10.2009

Сообщений: 21

Благодарностей: 0

Re: Альтернативный граббер контента

По просьбе клиентов описываю дополнительные услуги:

- написание драйвера для импорта контента на любой сайт (от 10 wmz)
- написание ядра для экспорта (парсинга) контента с любого типа сайта (от 10 wmz)
- продление технической поддержки на месяц (15 wmz)
- Продажа дополнительных ключей для крона (0,5 wmz за ключ)

__________________

Реклама: FoxMixer — надежный, проверенный временем биткоин миксер