1. Гость, Нет времени набирать посты, чтобы открыть HIDE ? Теперь есть решение, станьте Членом Клуба!
  2. Новые покупки

    09.12.2016: [Convert Monster] Яндекс.Директ 2016 (VIP)

    07.12.2016: Эффективный маркетинг (П р я д у х и н К.)

    07.12.2016: [Courson] SMM с нуля: практическое руководство по магии в социальных медиа

    07.12.2016: Набор курсов от проекта Обнаженный бизнес

    07.12.2016: Бизнес за 21 день

    07.12.2016: Биржа. Легко не будет. (Артем Звёздин) VIP Курс

    06.12.2016: Денис Борисов - Мои биологически активные добавки (БАДы)

    06.12.2016: Курс по уверенности от тренера по харизме и межличностным коммуникациям из Вегаса

    06.12.2016: Практические методы диагностики и самодиагностики

    06.12.2016: Convert Monster - Идеальный landing page 3.0

    06.12.2016: Горячий миллион (пакет "Эксперт")

    06.12.2016: (Реалити) Создание и раскрутка Ютуб канала с нуля от А до Я

    05.12.2016: Доступ к базе коммерческих фото Shutterstock

    03.12.2016: Интим перед вебкамерой [Sex Workout]

    03.12.2016: [Синергия] SYNERGY SERVICE FORUM 2016 - Международный форум по сервисным стратегиям

    03.12.2016: [Синергия] Synergy Global Forum 2016 - глобальный форум для глобального прорыва

    03.12.2016: [Синергия] Роман Масленников. Взрывной пиар

    03.12.2016: Бизнес Молодость - МЗС Storage. Подписка на год

    02.12.2016: Бизнес Молодость - Соль цеха

    02.12.2016: Управляем Zennoposter через крутой веб-интерфейс

  3. Нужен организатор

    07.12.2016: Эффективный маркетинг (П р я д у х и н К.)

    07.12.2016: [Courson] SMM с нуля: практическое руководство по магии в социальных медиа

    07.12.2016: Набор курсов от проекта Обнаженный бизнес

    07.12.2016: Бизнес за 21 день

    07.12.2016: Биржа. Легко не будет. (Артем Звёздин) VIP Курс

    06.12.2016: Денис Борисов - Мои биологически активные добавки (БАДы)

    06.12.2016: Курс по уверенности от тренера по харизме и межличностным коммуникациям из Вегаса

    06.12.2016: Практические методы диагностики и самодиагностики

    06.12.2016: Convert Monster - Идеальный landing page 3.0

    06.12.2016: Горячий миллион (пакет "Эксперт")

    06.12.2016: (Реалити) Создание и раскрутка Ютуб канала с нуля от А до Я

    05.12.2016: Доступ к базе коммерческих фото Shutterstock

    03.12.2016: Интим перед вебкамерой [Sex Workout]

    03.12.2016: [Синергия] SYNERGY SERVICE FORUM 2016 - Международный форум по сервисным стратегиям

    03.12.2016: [Синергия] Synergy Global Forum 2016 - глобальный форум для глобального прорыва

    03.12.2016: [Синергия] Роман Масленников. Взрывной пиар

    03.12.2016: Бизнес Молодость - МЗС Storage. Подписка на год

    02.12.2016: Бизнес Молодость - Соль цеха

    02.12.2016: Управляем Zennoposter через крутой веб-интерфейс

    01.12.2016: Как написать хорошую книгу. Групповой коучинг с Филиппом Богачевым

Ide для создания скриптов для парсинга на основе phantomjs+casperjs

Тема в разделе "Программы", создана пользователем allnulled, 5 апр 2016.

  1. allnulled

    allnulled Администраторы Команда форума Администраторы

    Регистрация:
    2 фев 2015
    Сообщения:
    16.024
    Симпатии:
    1.118
    Цена продажника: 9$
    Ссылка на продажник:
    https://gumroad.com/l/casperjside


    Описание программы:

    описание что есть что



    Очень часто вижу тут дорогие скрипты, программы для парсинга и скрапинга контента, но мало кто знает что самая крутая штука для скрапинга (сохранения инфы из интернета у себя на компьютере) являются такие бесплатные опен серс скрипты как phantomjs и slimerjs с дополнением в виде фреймворка casperjs. Phantom и slimer по сути являются полноценными браузерами, которые работают на основе js скрипта который вы должны написать - возможности неограниченные... хотите выкачивайте любой контент с любых сайтов, хотите регайтесь на сайтах, хотите запускайте тесты любой сложности итп... можно все что захотите - единственная сложность нужны базовые знания js и английский тоже не будет лишним для чтения апи... Разница между этими двумя скриптами в том какой двиок браузера они используют - один работает на webkit (phantom) и второй на gecko (slimer - многие справедливо считают что js движок мозилы лучше). Casperjs объединяет оба проекта единым удобным апи с кучей крутых функций.



    чем то это штука похожа на знаменитый плагин для firefox imacros, но гораздо круче... например прямо сейчас я выкачиваю все курсы одного поп сайта (что-то около 600 видео в .mp4) - общий вес видимо больше 30 гигов будет, там все видео описания и доп материалы. все что я сделал это написал скрипт и запустил - он сам все качает раскладывает по папкам, которые сам создает и сам переименовывает папки и файлы... Перед скачкой каждого курса скрипт логинится на сайте где нужно что-то скачать... и самое крутое он вообще не напрягает мой компьютер тк я прописал грузить html но не обрабатывать его...



    Описание раздачи

    Написание подобных скриптов может быть не таким простым как кажется тк не все очевидно и до много приходится доходить методом проб и ошибок и запускать и тестировать скрипты в командной строке, редакторе итп не очень удобно. Для облегчения процесса написания подобных вещей был создан сайт https://www.casperbox.com/ и тк онлайн сервисы не вызывают доверия у людей которые понимают как они работают была создана версия этого сайта для компьютеров на основе node-webkit, что означает что эта прога работает и в windows и в linux и в os x - ей я и делюсь с вами.



    С огромным удовольствием пощу это тут тк прога на основе node-webkit и по моему мнению программы на основе node-webkit обязаны быть 100% бесплатными, но купить все же пришлось)


    Скачать:
     
  2. Загрузка...


Пользователи, которые прочитали эту тему (Всего: 0)