Content Downloader версии 4.51 (03.09.2010):

– Добавлен чекбокс “перезапись” (для картинок). Если он включен, то все картинки с одинаковыми именами перезапишутся, если нет, то каждой присвоится уникальное имя.

Content Downloader версии 4.48 (02.09.2010):

– Теперь грузятся изображения со ссылками вида: “../img.jpg”, “../../img.jpg”;
– Исправлен центр обновлений (при загрузке обновления теперь работает progress bar).

– Сделан инсталлятор;
– Теперь при каждом запуске программа проверяет наличие доступных обновлений;
– Доработана функция “ссылаться на источник”;
– Теперь относительные ссылки с точкой или двумя точками вначале корректно конвертируются в абсолютные.

Эта программа позволяет получить ссылки (url) из кода html.

– Исправлен баг с сохранением картинок в разные папки (теперь адреса изменяются правильно).

– UserAgent программы сменен на эксплореровский “MSIE 6.0″ (это позволит парсить olx.ru и множество других сайтов).

Задаем границу следующим образом: заместо div id=”123abc” выделяем div id=”123 (если 123 не изменяется) и все дела.

Отсюда должен возникнуть вопрос: что делать с мусором, типа abc”, который будет оставаться в документах. Выход прост – ставим галочку на “парсить с границами”, и включаем функцию преобразования html кода в текст (htm to txt). В этом случае программа полностью спарсит тег div id=”123abc” и потом удалит его (при преобразовании html кода в текст).

Вот и все, спасибо за прочтение.

PS: Если что-то непонятно, задавайте вопросы.

Расширил функцию залогинивания на сайтах. Теперь там имеется 5 полей для передачи параметров.

Начнем с того, откуда брать эти самые параметры:
1) Загрузите и установите этот плагин для Firefox http://livehttpheaders.mozdev.org/ (он позволит отлавливать передачу HTTP заголовков)
2) Заходим на нужный сайт, например http://dle-news.ru/
3) Логинимся там при активированном плагине. После этого жмем на “инструменты” – “просмотр HTTP заголовков” (это в Firefox).
4) В появившемся окне ищем строку типа login=submit&login_name=sbfactory&login_password=*****image.x=28&image.y=15 – это и есть те самые 5 параметров, которые передаются при авторизации на данном сайте (для удобства поиска можно нажать на кнопку “сохранить все”, потом открыть этот файл в блокноте и произвести поиск по слову login).

Далее заходим в программу Content Downloader, жмем на кнопку “авторизация”, в поля с параметрами поочередно вводим следующие 5 строк (заместо sbfactory и звездочек вводите имя и пароль вашего аккаунта на сайте):

login=submit
login_name=sbfactory
login_password=*****
image.x=28
image.y=15

В последнее поле (адрес страницы авторизации) вписываем адрес интересующего нас сайта:

http://dle-news.ru/.

Затем жмем на кнопку “авторизироваться” (если даже и выскочит сообщение типа “… возможно попытка логина не удалась …”, не обращаем на него внимание, а приступаем к проверке).

И так, чтобы проверить, авторизировались мы или нет, добавляем в список ссылок для парсинга http://dle-news.ru/, и жмем предпросмотр (во вкладке контент). Если в файле предпросмотра есть строка типа “Sbfactory [Выход]“, значит мы успешно залогинились, в противном случае следует перепроверить параметры и попробовать авторизироваться еще раз.

PS: Для некоторых сайтов важно, чтобы вы авторизировались именно со страницы логина, например, для Wordpress – /wp-login.php.

Спасибо за прочтение, желаю успехов в работе!

– в функцию авторизации добавлены дополнительные поля (теперь можно логиниться на DLE сайтах);
– пара незначительных багфиксов.

– исправлен баг с границами (в некоторых случаях контент не сохранялся);
– переработана функция предпросмотра для контента;
– усовершенствована функция проверки тегов (ранее могли быть ошибки при загрузке картинок или при преобразовании html в txt).

– Обновлена функция предпросмотра к парсингу контента.