Пожелания и предложения по развитию программы Content Downloader

Александр says:

Здравствуйте! Можете добавить две опции:
Т.к. работаю с большим источником, хотелось бы из общего списка указывать кол-во ссылок для загрузки к парсингу
1. Кол-во ссылок для загрузки, например 200.000
2. Опция – случайные (RANDOM) ссылки из общего списка ссылок
Спасибо!

Andrey says:

Добрый день!
Хочется увидеть подобную функцию:
В окне как обычно сканируем список прокси на доступность, указав таймаут, и далее следующие действия
1) если во время парсинга или сканирования ссылок один из прокси серверов недоступен, то убирать его в игнорируемые, чтобы он больше не занимал потоки и не тормозил процесс парсинга.
2) Действия времени таймаута при проверке списка прокси переносить (например установкой галочки) и на процесс парсинга. Т.е. если страница не отвечает в течение установленного времени тайминга, например, 1000 мс, то значит прокси игнорируем в дальнейшем, чтобы такой прокси не использовать некоторое время.
3) т.к. после таких доработок список прокси будет (как правило) постоянно уменьшаться, и некоторые прокси будут становиться недоступными, неминуемо в какойто момент произойдет слишком частый парсинг с одних и тех же адресов, за это большинство продвинутых сайтов включит блокировку ип адресов. Так вот, когда CD настроен в окне Автоматизации “приостановить парсинг при бане на… сек”, в этот момент можно делать полный перескан всех ип прокси (непроверенный список прокси), с автоматическим добавлением в список доступных (проверенных). Т.к. заметил, многие прокси становятся доступными через некоторое время.

Всё это очень сильно улучшит скорость при работе программы через прокси, при этом автоматизация будет на максимуме. На данный момент очень не хватает этой функциональности.

Владимир says:

Добрый день! При импорте файлов в WordPress столкнулся с проблемой невозможности импортировать миниатюры (Features image). В интернете много про это написано, но решения, подходящего для нашего инструмента так и не нашел. В итоге на основах разных решений слепил свое (может не самое профессиональное, но работающее), и хотел бы им поделиться дабы люди не тратили пару дней, как я :-). Если посчитаете это полезным, можно было бы вынести его в общее пользование:
1) Для начала при парсинге задаем метаполе с путем к фото на сервере назначения: [POSTMETA]attached_f////wp-content/uploads/2016/09/[/POSTMETA] ,где получается вида “featuresimage.jpg”.
2) Скачанное фото и заливаем по ftp на сервер назначения именно по этому пути: www site ru/wp-content/uploads/2016/09/featuresimage.jpg
3) В файл function.php вашей темы в самый низ добавляем код:

function auto_featured_s_image($post) {
global $post;
if( has_post_thumbnail($post->ID) )
return;
$filename = get_post_meta( $post->ID, 'attached_f', true );
if (empty($filename) ){
return;
}
$filetype = wp_check_filetype( basename( $filename ), null );
$wp_upload_dir = wp_upload_dir();
$attachment = array(
'guid' => $wp_upload_dir['url'] . '/' . basename( $filename ),
'post_mime_type' => $filetype['type'],
'post_title' => preg_replace( '/\.[^.]+$/', '', basename( $filename ) ),
'post_content' => '',
'post_status' => 'inherit'
);

$attach_id = wp_insert_attachment( $attachment, $filename, $post->ID );
set_post_thumbnail($post->ID, $attach_id);
require ABSPATH . 'wp-admin/includes/image.php';
// Создадим метаданные для вложения и обновим запись в базе данных.
$filen = $wp_upload_dir['path'] . '/' . basename( $filename );
$attach_data = wp_generate_attachment_metadata( $attach_id, $filen );
wp_update_attachment_metadata( $attach_id, $attach_data );
update_post_meta($post->ID, 'svtle-main-content', $filen);
}
// Use it temporary to generate all featured images
add_action('the_post', 'auto_featured_image');
// Used for new posts
add_action('save_post', 'auto_featured_s_image');
add_action('draft_to_publish', 'auto_featured_s_image');
add_action('new_to_publish', 'auto_featured_s_image');
add_action('pending_to_publish', 'auto_featured_s_image');
add_action('future_to_publish', 'auto_featured_s_image');


4) Создаем файл импорта при помощи “Обработка и импорт в КМС”, и импортируем стандартным плагином WordPress.
5) После обновления всех миниатюр удаляем код из functions.php, чтобы не грузился хостинг.
Все, картинки для миниатюры добавляются из метаполя, далее прикрепляются к посту, и им присваивается id, по которому они назначаются миниатюрой, и обновляются их метаданные.

Если постов большое количество (у меня было около миллиона), то сразу все миниатюры не установятся. В таком случае можно было придумать много способов для обновления всех постов, но я запустил webapp на админку сайта, чтобы он перебирал страницы с постами (вывод по 10 штук). За ночь все посты обновились.

Станислав says:

Столкнулся с такой проблемкой даже можно сказать с неудобством. При парсинге через WBApp в много потоков периодически подвисает то ли комп то ли сайт с которого парсю приходится презапускаться (всегда помогает почему то). Так вот в чем проблема WBApp проэкты остаются в процессах даже когда закрываю парсер. И это очень сильно жрет оперативу а в ручную закрывать эти процессы геморно особенно если парсинг в 50 потоков. Можно ли сделать так чтобы при выходе из программы он закрывал эти WBApp проекты сам.