WBApp CEF

---

Выбор движка браузера для WBApp производится в WBApp Launcher (ctrl+w)

Использование WBApp для различных функций программы включается в WBApp Launcher (ctrl+w) или в окне настроек HTTP запросов программы (ctrl+h)

Также WBApp можно запускать из шаблона вывода с помощью макросов: [WBAPP_F] и [WBAPP] (они отличаются друг от друга только порядком выполнения относительно других функций и макросов).

Для редактирования проектов WBApp (в которых можно настроить автоматизированное выполнение действий пользователя на WEB страницах) используются следующие возможности:

Примечание: Изменения проектов WBApp происходят автоматически при закрытии WBApp!


Для включения отображения окна WBApp при парсинге или предпросмотре пользуйтесь этими опциями окна ctrl+h

Также будет полезно настроить функции ожидания готовности загрузки WEB страниц в WBApp для того, чтобы WBApp корректно дожидалась загрузки WEB страницы и приступала к выполнению списка событий или завершению работы (если список событий не используется) с передачей полученного кода WEB страницы в Content Downloader.


Список событий расположен в левой части окна WBApp. В него можно добавлять события для автоматизированной имитации действий пользователя на WEB страницах (прокрутка страниц вниз, клики по элементам, вставка текста в текстовые поля и другое).


В результат работы WBApp передается HTML код страницы, который был на момент завершения работы WBApp.

Если вы хотите передать в Content Downloader код WEB страницы, который был НЕ в момент завершения работы WBApp, а в момент выполнения того или иного события из списка, используйте [GETHTML]

При выполнении событий [GETHTML] будет браться код WEB страницы на момент выполнения этих событий. Также можно использовать несколько событий [GETHTML], тогда передаваемый в Content Downloader код будет суммироваться. Передача полученного кода в Content Downloader будет производиться в момент завершения работы приложения WBApp.

Примечание: Не всегда скрипты на WEB-странице готовы к работе сразу после загрузки основного фрейма. Иногда требуется разместить дополнительное событие ожидание [WAIT] после [WAITFORMAINFRAMELOAD]

Подробнее о передаче текстовых данных из Content Downloader можно почитать тут.

Для режима редактирования проекта WBAppCEF прокси устанавливается в этом окне (смотрите скриншот выше).

При парсинге прокси будут браться из списка прокси-серверов Content Downloader.

После создания скрипта (или скриптов) списка событий вы можете запускать их поотдельности (выделить нужный и нажать F3), либо запустить выполнение всего списка событий (F1).

Наслаждайтесь…

Установить плагин TruePath для Firefox

Установить плагин XPath Generator для Chrome

Эмуляция действий в WBAppCEF выполняется с помощью Javascript. Сначала вы находите элемент WEB страницы (DOMNODE), затем выполняете над ним нужные действия.

Примечание: Поиск элемента по XPath на некоторых сайтах не всегда корректно работает, так как структура различных WEB-страниц сайта разная. В таких случаях можно искать элемент по его атрибутам.

Также обратите внимание и на другие события, например на эмуляцию прокрутки WEB-страницы вниз.

В WBAppCEF копируем код WEB-страницы таким способом

Переходим в Content Downloader, открываем инструмент задания границ парсинга, кликаем в поле с кодом WEB-документа (для перевода фокуса в него) и нажимаем ctrl+v для вставки кода из буфера.

Далее задаете границы парсинга обычным способом. После задания границ парсинга, копируем событие [GETHTML] из контекстного меню, как показано на скриншоте ниже

В итоге получаем готовое событие для вставки в WBAppCEF

1

[GETHTML]:[1]2|||[3]4

Для эмуляции нажатий кнопок клавиатуры используйте событие[SENDKEYPRESS]

1

[SENDKEYPRESS]:код клавиши

Например, для нажатия стрелки вверх используйте код клавиши 38

1

[SENDKEYPRESS]:38

Для эмуляции сочетания ctr + клавиша добавьте к коду клавиши оператор {CTRL}

1

[SENDKEYPRESS]:38{CTRL}

Для эмуляции сочетания shift + клавиша добавьте к коду клавиши оператор {SHIFT}

1

[SENDKEYPRESS]:38{SHIFT}

SPACEBAR – 32
END key – 35
HOME key – 36
LEFT ARROW key – 37
UP ARROW key – 38
RIGHT ARROW key – 39
DOWN ARROW key – 40
Таблица кодов клавиш

PS: Не забывайте вставлять [WAIT]:100 после события [SENDKEYPRESS]

Данный вид эмуляции имитирует нажатие левой кнопки мыши и применяется в случаях, когда DOMNODE.click(); не срабатывает или не подходит.

Для проверки эмуляции клика мышью наведите курсор над нужным объектом WEB-страницы (DOMNODE) и нажмите f5. После этого в список событий добавится элемент имитации клика [MOUSECLICK]:X|Y, который можно запускать с помощью двойного клика по нему.

Далее составляем список событий для получения координат нужного DOMNODE и имитации клика мышью по нужному DOMNODE

Важно понимать, что когда значение имени файла в памяти не установлено, окна выбора файлов будут появляться в обычном режиме. Если же установить значение имени файла для файловых диалогов с помощью события [SETDIALOGFILENAME]:C:\Files\Sample.jpg, то во все последующие файловые диалоги будет подставляться C:\Files\Sample.jpg без отображения диалога выбора файла!

При повторном вызове [SETDIALOGFILENAME], имя файла в памяти будет перезаписываться на новое.

Имена файлов можно прописывать в списке событий в виде:

1
2
3
4
5
6
7

[SETDIALOGFILENAME]:путь к файлу на диске
 
[SETDIALOGFILENAME]:C:\Files\Sample.jpg
 
[SETDIALOGFILENAME]:[CDDATA:1]
 
[SETDIALOGFILENAME]:[PARAM]

Где [CDDATA:n] и [PARAM] – передаваемые из Content Downloader данные.

Инструкция по передаче данных из Content Downloader в WBApp.

События для получения HTTP заголовков запросов WBAppCEF с целью передачи их в Content Downloader

Примечание: Для использования нескольких вхождений для фильтрации URL запросов, перечислите их через |||

1

[GETREQUESTHEADERS]:all|||products|||prods|||.png

В видео ниже показан принцип работы событий: [GETREQUESTHEADERS] и [GETREQUESTHEADERS_APPLY] (для получения HTTP заголовков из WBAppCEF)

Обратите внимание на введенную возможность добавления к результату работы WBAppCEF URL адресов HTTP запросов, отловленных с помощью [GETREQUESTHEADERS]

Если в Content Downloader нужно передать только полученные URL адреса (без кода WEB-документа), добавьте событие [RESETSTOREDCODE] перед событием [ADDTORESULT]:{REQHEADERSURLS}

1
2
3
4

...
[RESETSTOREDCODE]
[ADDTORESULT]:{REQHEADERSURLS}
...

Примечание: Вместо {REQHEADERSURLS} можно использовать оператор {REQHEADERSURL} (вывод не всех URL, а только последнего полученного).

Выполнение автоматической авторизации на сайте методом передачи HTTP заголовков из WBAppCEF в Content Downloader

В видео ниже показан пример получения HTTP заголовка authorization: Bearer для автоматической авторизации на сайте

Обратите внимание на введенную возможность добавления к результату работы WBAppCEF URL адресов HTTP запросов, отловленных с помощью [GETREQUESTHEADERS]

Если в Content Downloader нужно передать только полученные URL адреса (без кода WEB-документа), добавьте событие [RESETSTOREDCODE] перед событием [ADDTORESULT]:{REQHEADERSURLS}

1
2
3
4

...
[RESETSTOREDCODE]
[ADDTORESULT]:{REQHEADERSURLS}
...

Примечание: Вместо {REQHEADERSURLS} можно использовать оператор {REQHEADERSURL} (вывод не всех URL, а только последнего полученного).

В режиме парсинга с использованием WBAppCEF Cookie будут браться из Content Downloader из окна ctrl+h!

Видео 2: Прокликивание страниц выдачи сайта с поиском элемента DOM (для перехода на следующую страницу выдачи) в Javascript по атрибуту innerHTML

– Имитация кликов по элементам WEB-страницы с помощью Javascript

– Ожидание готовности загрузки WEB-страницы осуществляется с помощью события [WAITFORMAINFRAMELOAD]

– Проверка, был клик по кнопке перехода на следующую страницу выдачи или нет, осуществляется с помощью события [CHECKJSMESSAGE]



Видео 3: Прокликивание страниц выдачи сайта с поиском элемента DOM (для перехода на следующую страницу выдачи) в Javascript по атрибуту innerHTML (в случае, когда кнопка перехода на следующую страницу выдачи не пропадает при достижении последней страницы выдачи)

– Имитация кликов по элементам WEB-страницы с помощью Javascript

– Проверка, был клик по кнопке перехода на следующую страницу выдачи или нет, осуществляется с помощью события [IFAQUERYINITIATED]

В видео показано:

– способ поиска DOMNODE сразу по нескольким атрибутам (параметрам)

– Создание цикла с помощью события [IFAQUERYINITIATED] и [GOTO]

– Отображение всех атрибутов DOMNODE

В видео показано:

– способ поиска определенного по счету DOMNODE

– Создание цикла с помощью события [CHECKJSMESSAGE] и [GOTO]

– Отображение всех атрибутов DOMNODE