FAQ

FAQ

Здравствуйте!
WEB-страница доступна только для чтения! Если у вас есть какие-либо вопросы, можете задавать их на форуме http://forum.sbfactory.ru/
Спасибо!

Работа с границами парсинга
Повторяющиеся границы парсинга:

Для добавления определенного текста или кода в начало и/или конец текста каждого цикла повторяющейся границы парсинга нажмите ctrl+5 и вставьте добавляемый текст или код перед/после [VALUE] (оператор [VALUE] выводит значения циклов повторяющейся границы парсинга).

1
2
3
<DOWNLOADFILE>[VALUE]</DOWNLOADFILE> - для загрузки картинок или файлов
<NIMG>[VALUE]</NIMG> - для загрузки картинок (когда нужно оставить только имя файла картинки)
<img src="[VALUE]"> - для загрузки картинок (когда нужно оставить имя файла картинки с HTML-тегом img)
Активация и перенос программы
Активация:

Активировать каждый ключ можно только на одном компьютере.

При активации программы каждый ключ привязывается к отдельному e-mail. Например, для активации двух ключей, вам потребуется использовать два различных e-mail адреса.

Если вы при активации испытываете какие-либо проблемы (программа не может связаться с сервером активации), убедитесь, что с вашего компьютера доступен сайт http://ContentDownloader.ru
Также учтите, что запросы программы могут блокировать:
– Антивирусы
– Брандмауэры
– Firewall
Проблемы при активации, вызванные сторонним ПО, решаются на стороне пользователя (так как мы не несем ответственности за дополнительное программное обеспечение, которое он устанавливает).

Перенос программы с одного компьютера на другой:

Переносить программу с одного ПК на другой можно 1 раз в двое суток.

Для переноса программы на другой ПК или OS, активируйте ее на новом оборудовании обычным способом (так же, как и на первом ПК, методом ввода вашего кода активации и e-mail адреса). Чтобы посмотреть, какой ключ и e-mail используется в активированной копии программы, зайдите в главное меню -> справка -> о программе.

После выполнения процедуры переноса, программа будет деактивирована на старом ПК (если требуется использовать программу на двух компьютерах одновременно, обратите внимание на специальное предложение по приобретению дополнительного ключа).

Переименование/задание имен для изображений, файлов, документов при парсинге контента (с возможностью транслитизации)
Для задания имен файлов сохраняемых документов с контентом, используйте макрос шаблона вывода [DOCNAME]

Для задания имен файлов скачиваемых картинок, используйте макрос шаблона вывода [IMAGESNAMES].
Для задания папки сохранения скачиваемых картинок, используйте макрос шаблона вывода [IMAGESPATH].

Для присвоения имен и директорий сохранения файлам и картинкам, скачиваемым макросом DOWNLOADFILE, используйте макрос [DFN]

Вывод в результат парсинга контента некоторых данных
Для вывода ссылки, с которой парсится каждый документ, используйте макрос шаблона вывода <CD_DOCURL!>

Для вывода всего кода загружаемого WEB-документа используйте макрос шаблона вывода [DOCSOURCE]

Решение проблем с кодировками загружаемых WEB-документов и текстом интерфейса программы
Если при задании границ парсинга код WEB-страницы отображается корректно, а при парсинге в результате исчезают/заменяются символы юникода, поставьте кодировку сохраняемого документа UTF-8 без BOM!

2016-05-23_23-02-13


ЕСЛИ У ВАС ПРОБЛЕМА С ОТОБРАЖЕНИЕМ ТЕКСТА ИНТЕРФЕЙСА ПРИ УСТАНОВКЕ ПРОГРАММЫ, ОБРАТИТЕ ВНИМАНИЕ НА ЭТОТ ВАРИАНТ ЕЕ РЕШЕНИЯ!

Решение вопросов с загрузкой кода WEB-документов
Если в ссылке содержится символ #, то все, что после него стоит, игнорируется в обычном GET-запросе, с которым по умолчанию работает программа. Символ решетки в ссылке (и последующие после него данные) нужен для передачи информации WEB-браузеру (который посылает дополнительные GET или POST-запросы для подгрузки WEB-контента).

Для того, чтобы Content Downloader парсил с обработкой информации после символа # в ссылках, в окне настроек HTTP-запросов программы (ctrl+h) включите библиотеку “Internet Explorer (DOM)”.

Второй вариант – определить с помощью плагина LiveHTTPHeaders (для Firefox), откуда (с каких WEB-адресов) происходит подгрузка недостающих данных и на основе этого подобрать решение по их парсингу.

Рекомендации по заданию вопросов:
1) Постарайтесь максимально подробно изложить все детали вопроса (чтобы мы ясно понимали, что вы делаете/что требуется получить/какие именно функции используете и так далее…) и, вероятно, мы вам сразу дадим ответ без дальнейшей переписки с целью выяснения нюансов;
2) Для публикации макросов или HTML-кода используйте кнопку “code” над формой ввода текста комментария.

Учтите! В разделе FAQ задаются вопросы следующего вида:
– Есть ли в программе такая-то функция?
– Как можно реализовать подобный алгоритм действий?
– Почему при парсинге происходит то-то или то-то?
– …
Иными словами: Раздел FAQ предназначен для осуществления консультаций.

Другие вопросы, которые требуют от нас изучения/доработки ваших файлов проектов, изучения сайтов, продумывания новых или специфичных алгоритмов для парсинга определенных данных с указанных ресурсов (т.е. где требуется выполнить работу) решаются платно! Их решают специалисты по настройке в индивидуальном порядке! Как заказать услуги специалистов по настройке (клик).

Примечания:
1) Мы в праве отказать в предоставлении ответов на некоторые вопросы без пояснения причин!
2) Мы в праве удалять любые комментарии без пояснения причин!

С уважением к вам, администрация сайта.

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 7, средний балл: 4.43)
Loading...
Все опции закрыты.
Есть 2,085 коммент. к теме: “FAQ”
  1. Евгений says:

    Здравствуйте!
    Скажите пожалуйста, как можно поставить вчерашнюю дату в ячейку?

    • admin says:

      Здравствуйте.

      Установить в системе “вчерашнюю дату” и воспользоваться соответствующими макросами для вывода даты и времени.

      С уважением к вам, Сергей.

      • Евгений says:

        Благодарю. Не подходит… Пробовал просто [CD_DATE_DD]-1, тоже не проходит…

  2. вова says:

    Подскажите сайт parkchudes com/catalog/podarki/kubok-quot-luchshemu-v-mire-imeninniku-quot/
    перестал отдавать наличие и цену
    в браузере в редакторе хтмл цену видно
    через прогу невозможно настроить границу парсинга.
    В чем может быть дело. заранее благодарю

  3. Сергей says:

    Добрый день Сергей!
    Обновил версию до Ultimate для прокрутки страниц и …. Но не тут то было.
    1.Хочу собрать по товарам ссылки на карточки товара,а потом спарсить.
    Страницы с товарами подгружаются.
    Создал в WBApp событие [SCROLLDOWNTHENRETURN]. При проверка – страницы прокручиваються, при парсинге парсяться ссылки только с первой страницы.
    На форуме посмотреть не могу – заблокирован.
    Прилагаю проэкт.
    Спасибо!

  4. Sergey says:

    Я не прощу доработать проект, а прощу указать правильное направлений.

  5. Sergey says:

    Т.е. в чем ошибка. Спасибо!

    • admin says:

      Если бы я знал в чем именно ошибка, подсказал бы.

      Согласно правилам оказания бесплатной помощи, вопросы, связанные с изучением файлов проектов клиентов в разделе FAQ не решаются.

  6. Антон says:

    Тыкните как парсить фото с javascript – есть гдето мануал или видео?

    • Антон says:

      sunstarmodelcars com
      данный сайт не подвергается сбору ссылок

      • admin says:

        Подбор решения по парсингу заданных сайтов в разделе FAQ не осуществляется.

        В разделе FAQ даются ответы по функционалу программы (без изучения принципа работы указанных сайтов).

        • Антон says:

          ну а мануал то есть где посмотреть? не могу найти – и форум куда то пропал- его больше нет?

          • admin says:

            Мануала по парсингу сайтов на фреймах на данный момент нет. Я вам дал конкретную подсказку в какую сторону работать. Не вижу проблем…

        • Антон says:

          СПАСИБО!

  7. Petrovich says:

    Добрый день.
    А от чего может быть такое?
    Win 7 64

    • admin says:

      Здравствуйте.

      Причина данной ошибки нам неизвестна. Подобную ошибку никогда не получали.

  8. Светлана says:

    Добрый день. Невозможно задать границы парсинга для сайта спшоп рф – не отображается страница товара. В чем может быть причина?

    • admin says:

      Здравствуйте.

      Этот вопрос нужно направить к администрации указанного сайта. В браузере Internet Explorer данный сайт не работает!

      Как вариант – задавайте границы парсинга ориентируясь по коду (код WEB-документа загружается).

      С уважением к вам, Сергей.

      • Светлана says:

        Спасибо. Да, я так и поступила, открыв страницу для настройки в другом браузере.

  9. Andrey Strelkov says:

    Добрый день, приобрёл ваше ПО, и возник вопрос, можно ли как то сделать так, чтобы в списке найденных ссылок оставались только те ссылки, в коде (html) которых присутствует

    accesskey=”c”>Статья

    Нужно википедию спарсить, и там чтобы не маяться с отсеиванием лишних ссылок, статью можно определять по такому содержимому кода

    • admin says:

      Здравствуйте.

      1) С помощью соответствующей функции поиск-замены маркируем ссылки с accesskey=”c” любой “меткой”, например, [MARK]

    • admin says:

      2) Настраиваем функцию поиска ссылок таким образом, чтобы ссылки брались между подстроками [MARK] и

      С уважением к вам, Сергей.

  10. Анатолий says:

    Здравствуйте. Давно пользуюсь Вашей программой, спаибо. У меня возник такой вопрос можно ли при парсинге определенного URL из какой либо границы парсинга по условию не сохранять документ, а переходить к следующей ссылки. Например в границе text имеется одинаковый текст в определенных URL нужно чтобы эти документы не сохранялись а брали из очереди следующие URL?

    • admin says:

      Здравствуйте.

      Если имеете ввиду проверку текста на дубликат, такой возможности в программе нет.

      С уважением к вам, Сергей.

  11. Andrey Strelkov says:

    Добрый день, Сергей.
    Подскажите пожалуйста, как задать границу парсинга таким образом чтобы выделить только внутри id

    например:

    <div id="test">
    bla-bla
    bla-bla
    <p>Needed text</p>
    bla-bla
    bla-bla
    <p>Don't needed text</p>
    </div>

    Т.е. вытащить только Needed text – первый параграф в ID

    Спасибо!

    • admin says:

      Здравствуйте.

      Начало границы парсинга:
      div id=”test”>{skip}<p>

      Конец границы парсинга:
      </p>

      С уважением к вам, Сергей.

      • Andrey Strelkov says:

        Большое спасибо Сергей.
        А если допустим я хочу весь div с ID=test целиком взять.
        Просто если я пытаюсь начало границы указать а конец
        то он получается может ошибочно понять за конец какой нибудь другой div внутри нужно div

        например

        <div id="test">
        bla-bla
        bla-bla
        <p>Needed text</p>
        <div class="testclass">asd</div>
        bla-bla
        bla-bla
        <p>Don't needed text</p>
        </div>

        в данном случае у меня конец определяет концом у класс testclass

        • Andrey Strelkov says:

          И можно ещё сразу вопрос, можно ли при парсинге из всего HTML контента (который находится в заданным границах) оставить только и их содержимое
          Т.е. абсолютно всё остальное удалить и оставить только параграфы с их содержимым

          • admin says:

            Вопрос задан некорректно. Невозможно понять, что именно требуется.

  12. Nikita says:

    Можно ли загружать файлы через wbapp. После нажатия на кнопку в wbapp предлагается сохранить/открыть файл в браузере. Можно ли загрузить файл автоматически?

    • admin says:

      Здравствуйте.

      Такой возможности пока нет.

      Будет такое реализовано или нет я сейчас тоже сказать не могу.

      С уважением к вам, Сергей.

  13. Игорь says:

    Здравствуйте.
    Есть макрос шаблона вывода GETMORECONTENT (для задания границ парсинга с разных url). Им у меня парсится один из столбцов таблицы.
    Вопросы:
    – как сделать, чтобы пустая ячейка заменялась на символ “-”
    – есть ячейки с содержимым “http://”, как их заменить на символ “-“

    • Игорь says:

      И еще, как можно настроить к этому макросу. Чтобы при пустой ячейке или символе “-”, “http://”. Он не сохранял строку в таблицу, как это есть в обычных границах, галка “обязательна”. Другими словами, если происходит совпадения указанного мной текста с ячейкой, которая парсится. То строки, где есть эта ячейка, не сохраняется в таблицу.

      • admin says:

        Для решения вашей задачи полностью подходит ПОДОБНАЯ конструкция:
        [MUSTBE][REPLACE({textstart}http://{textend}|)]<GETMORECONTENT><URL="[SELF]"><START=""><STARTCOUNT="0"><END=""><ENDCOUNT="0"><PARAMS=""></GETMORECONTENT>[/REPLACE][/MUSTBE]

        • Игорь says:

          Нет результатов, так как они отфильтрованы MUSTBE.
          Я добавляю GETMORECONTENT в обычную границу, которая сидит в повторяющейся границе. Предполагаю, что из-за этого нет результата, но что делать не знаю.

          • Игорь says:

            И еще вопрос, есть ли возможность не сохранять строку при нахождении определенного текста в ячейке. Например, у нас в этой ячейке выходят разные города. Можно задать, чтобы города Москва и Санкт-Петербург не сохранялись, а все остальные сохранялись в таблицу?

          • admin says:

            1) Тогда вместо макроса [MUSTBE] вам нужно использовать макрос [MUSTBEINMACRO]
            2) Для такой фильтрации данных используйте макрос шаблона вывода [CHECKENTRY] (http://sbfactory.ru/cd/?p=261)

    • admin says:

      Здравствуйте.

      Примените к ячейке макрос шаблона вывода [REPLACE]
      [REPLACE({textstart}{textend}|-{break}{textstart}http://{textend}|-)]ЯЧЕЙКА[/REPLACE]

  14. sva029 says:

    Здравствуйте! Подскажите в рендинге можно указывать имя картинки например какой нибудь границей парсинга, если можно то как это реализовать?

  15. Денис says:

    Здравствуйте

    1.Подскажите как убрать пустые ячейки после парсинга картинок, если не находит в цикле границы то выводит пустую ячейку

    http://prntscr.com/cw9zbp

    2.И еще проблема, иногда добавляет разделитель строк в ячейку
    ONELINE, HTMTXT не помогают(

  16. Евгений says:

    Подскажите каким образом можно парсить скачанный на жесткий диск файл? Как поступить если повторяющихся границ парсинга более чем 5 шт.

  17. Денис says:

    Здравствуйте
    Простите за беспокойство, просто уже мозг вырывает), не получается сделать замену {skip} {prevskip)
    Помогите, пожалуйста если не трудно.
    На выходе нужно получить
    B018WNKKJC”:[https://images-na.ssl-images amazon.com/images/I/91vPYFR20RL._UL1500_.jpg] – Артикул[Картинка]

    Вот код 1 prnt sc/cxvi86
    Вот код 2 prnt sc/cxvjz8

    • admin says:

      Здравствуйте.

      Подбором подобных решений занимаются специалисты по настройке.

      В разделе FAQ проводятся консультации по функционалу программы, но не предоставление решений на поставленные задачи по парсингу.

      Если угодно, обратитесь к ним.

      Спасибо!

      • Денис says:

        Спасибо

        Из всех специалистов по настройке ответить может только Kagorec и то если у вас проект а не вопрос, остальные я не знаю зачем присутствуют вообще в списке.

        • admin says:

          Здравствуйте еще раз.

          Беседу с господином Kagorec провел, можете обращаться к нему с вашим вопросом.

          С уважением к вам, Сергей.

        • kagorec says:

          Рад помочь тем кому требуется, но когда помогаешь бесплатно раз, потом еще раз, а третий раз уже считаете что обязан, извините тогда уже платно. В моем прайс-листе пункт № 3.2

          п.с. Сначало стоило обратиться, чем наговаривать лишнего.

  18. Александр says:

    Доброго времени суток.

    У меня возник вопрос по поводу программы:

    Как сделать что-бы в выводимом файле(csv) при нерабочей ссылке выводилась пустая строка(или какой-то другой текст)?

    • admin says:

      Здравствуйте.

      Смотрите скриншот.

      С уважением к вам, Сергей.

  19. Влад says:

    Доброго времени. Подскажите возможно парсить Харакетристики товаров, что бы характеристики находились в 1 ячейке разделенные | и каждая с новой строки. Заранее спасибо.

    Пример ячейки:

    Значение характеристики 1|Размер|181*95*41 мм;
    Значение характеристики 2|Упаковка|влагозащитный корпус;
    Значение характеристики 3|итд
    Значение характеристики 4|итд

    • admin says:

      Здравствуйте.

      Возможно, например, так http://sbfactory.ru/cd/?p=1242

      С уважением к вам, Сергей.

      • Влад says:

        Вот это помогло спасибо! http://sbfactory.ru/cd/?p=1476. Еще вопрос

        Как убрать с текста блок начинающийся с
        и кончающийся все макросы перепробовал никак не заведу через замену

        • admin says:

          Продублируйте комментарий, пожалуйста, теги съело! (внес функцию автозамены < на *lt; при комментировании).

          • Влад says:

            Все отлично, решил макросом skip спасибо за такую прекрасную программу и поддержку. Если что я обязательно обращусь к вам. Если что то будет не понятно. Еще раз, Спасибо!

          • admin says:

            И вам спасибо.

  20. Andrey says:

    Может ли программа сохранять данные в xml?

    • admin says:

      Здравствуйте.

      XML – простой текстовый файл с XML-разметкой. Да, может (в программе можно воссоздать практически любой тип разметки).

      С уважением к вам, Сергей.