Парсинг картинок и файлов

---

Навигация:

Основные положения

Задание имен файлов, переименование файлов, задание пути сохранения

Скачивание файлов из FTP

Загрузка скачанных файлов на FTP

Выводить содержимое скачанных файлов в виде BASE64-кода

Исключение повторного скачивания файлов

Отключить скачивание картинок с указанным(и) URL

Отключить сохранение картинок с указанным(и) размерами (вместо них выводить указанный текст)

Как скачивать файлы размером более 1 ГБ

Типичные ошибки при задании границ парсинга с адресами файлов и картинок, приводящие к ошибкам их загрузки

Дополнительные материалы

Для возврата к меню навигации используйте клавишу home

Основные положения

Для загрузки файлов на диск при парсинге контента нужно поместить в редактор шаблона вывода макрос DOWNLOADFILE:

1

<DOWNLOADFILE>Абсолютная или относительная ссылка на файл</DOWNLOADFILE>

В качестве ссылки на файл может использоваться как макрос любой границы парсинга, так и любой текст. Если файл не грузится, попробуйте использовать абсолютную ссылку!

Задание имен файлов, переименование файлов, задание пути сохранения

1
2
3

[DFN]папка/подкапка0/приветики25[/DFN]<DOWNLOADFILE>http://sbfactory.ru/images/box.jpg</DOWNLOADFILE>
[DFN]папка/подкапка1/приветики77[/DFN]<DOWNLOADFILE>http://sbfactory.ru/images/box.jpg</DOWNLOADFILE>
[DFN]папка/подкапка2/приветики33[/DFN]<DOWNLOADFILE>http://sbfactory.ru/images/box.jpg</DOWNLOADFILE>

При парсинге макрос(ы) [DFN] будет(ут) удалятся из сохраняемых документов.

1

Другой текст/код [DFN]<CD_GRAN_2!>[/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

Где CD_GRAN_2! – граница парсинга с желаемым именем файла.


Если вы хотите раскладывать файлы по разным папкам, то задайте путь с использованием символа \

1

Другой текст/код [DFN]имя папки или <CD_GRAN_1!>\<CD_GRAN_2!>[/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

Где CD_GRAN_1! – желаемое имя папки для сохраняемых файлов, а CD_GRAN_2! – граница парсинга с именем файла.

Если требуется назначить только имя папки (имя файла не трогать), добавьте в макрос [DFN] название папки (с символом \ на конце)

1
2

Другой текст/код [DFN]имя папки\[/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код
Другой текст/код [DFN]имя папки\имя подпапки\[/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

Примечание: Для задания нумерации папок используйте макрос [INT_ID], настроив его должным образом.


Если вы хотите задать расширение, то используйте {ext}

1

Другой текст/код [DFN]<CD_GRAN_2!>{ext}jpg[/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

Если расширение не задано, то оно будет определяться автоматически.


Если вы хотите, чтобы файлы с одинаковыми именами перезаписывались (а не создавались новые), то добавьте [REWRITE] в любое место макроса

1

Другой текст/код [DFN][CLEAR][TRANSLITE][NOFOLDER][LOWERCASE]<CD_GRAN_2!>{ext}jpg[REWRITE][/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

Где также:
[CLEAR] – удалит все лишние символы
[TRANSLITE] – преобразует русские буквы в транслит
[NOFOLDER] – не будет переименовывать папку и не создаст подпапки для сохранения файлов (даже если встретятся символы: \, /)
[LOWERCASE] – опустит регистр букв имени файла


Если нужно сохранять файлы, на другой локальный диск или изменить корневой путь для сохранения файлов (который будет отличаться от пути сохранения контента), например, вы сохраняете результирующие CSV-файлы в C:\Content\, а картинки нужно сохранять в C:\ParsingFiles\, используйте параметр {path} для макроса [DFN]:

1

Другой текст/код [DFN]{path}C:\ParsingFiles\{/path}[CLEAR][TRANSLITE][NOFOLDER]<CD_GRAN_2!>{ext}jpg[REWRITE][/DFN]<DOWNLOADFILE>file url</DOWNLOADFILE> Другой текст/код

В этом случае файлы будут сохраняться в папку C:\ParsingFiles\files\


Также обратите внимание на параметр [ALL] у макроса [DFN]

Скачивание файлов из FTP

1
2

<DOWNLOADFILE>ftp://user:password@example.com/pub/file.jpg</DOWNLOADFILE>
<DOWNLOADFILE>ftp://user:password@server:port/pub/file.jpg</DOWNLOADFILE>

Примечание: Файлы с кириллицей в именах из FTP могут не загружаться.

Загрузка скачанных файлов на FTP

Выводить содержимое скачанных файлов в виде BASE64-кода

1

<DOWNLOADFILE>[TOBASE64]file url</DOWNLOADFILE>

Исключение повторного скачивания файлов

ВНИМАНИЕ! При выполнении предпросмотра результатов парсинга добавление записей в файл с данными происходить не будет (добавление записей происходит только при парсинге)!

Также обратите внимание на логи загрузки и сохранения файла с данными:

Важное примечание!

1

<DOWNLOADFILE><CD_CYCLE_GRAN_1!></DOWNLOADFILE>

1

<DOWNLOADFILE>[VALUE]</DOWNLOADFILE>

Отключить скачивание картинок с указанным(и) URL

Отключить сохранение картинок с указанным(и) размерами (вместо них выводить указанный текст)

Как скачивать файлы размером более 1 ГБ

Типичные ошибки при задании границ парсинга с адресами файлов и картинок, приводящие к ошибкам их загрузки

Дополнительные материалы

(оценок: 6, средний балл: 4.83)

Loading...