Обновление объявлений, загруженных через парсер

[metrpro 42]

Добрый день. Вопрос: 

Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? 

Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит?

[Дмитрий Кондин 690]

17 часов назад, metrpro сказал:

Добрый день. Вопрос: 

Происходит ли обновление ранее загруженных объявлений (актуализация цены, описания, фотографий) при повторной загрузке фида? 

Или если совпадает урл, то парсинг сразу брыкует и никаких дальнейших действий не происходит?

Да, все данные обновляются.

Но чтобы фото обновлялись, нужно включить опцию

Обновлять фотографии в цикле (требует много ресурсов сервера)
(apps.yandexrealty_parser.cycle_update_images)

 

[metrpro 42]

Спасибо, попробую потестить. Но вот вопрос - сильно больше ресурсов сервера требуется при "обновлении фотографий в цикле"?

[metrpro 42]

3 часа назад, Дмитрий Кондин сказал:

Да, все данные обновляются.

Но чтобы фото обновлялись, нужно включить опцию

Обновлять фотографии в цикле (требует много ресурсов сервера)
(apps.yandexrealty_parser.cycle_update_images)

 

Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны:

start parsing images
records for parsing in this step: 1use cache
id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID

Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно

UPD: заработало при отключении опции:

Не обновлять загруженные фотографии
(apps.yandexrealty_parser.images_load_once)

Где-то от этого могут какие-то проблемы всплыть?

[Дмитрий Кондин 690]

В 15.01.2021 в 12:53, metrpro сказал:

Данные обновляются, действительно. И описание, и цены. Но фотографии не меняются. Тот же источник фида, фото поменяны:

start parsing images
records for parsing in this step: 1use cache
id: 51637 url: http://domovibor.ru/crimea/id/889 from: https://test15.nedv.online/feeds/v1.xml img found: 2 status: DONE, image_md5 checking, no changes, skip this data ID

Но фото 1.jpg и 2.jpg не поменялись на 3 и 4 соответственно

UPD: заработало при отключении опции:

Не обновлять загруженные фотографии
(apps.yandexrealty_parser.images_load_once)

Где-то от этого могут какие-то проблемы всплыть?

Скопируйте кусок xml со списком фото до и после.

Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото.

[metrpro 42]

2 часа назад, Дмитрий Кондин сказал:

Скопируйте кусок xml со списком фото до и после.

Проверка идет по названиям, если названия фото не менялись, то модуль считает что не надо менять фото.

Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки:

<offer internal-id="5862">
<type>аренда</type>
<category>коммерческая</category>
<commercial-type>office</commercial-type>
<url>http://lider92.ru/5862</url>
<creation-date>2018-12-13T20:59:01+05:00</creation-date>
<last-update-date>2021-01-17T22:09:03+05:00</last-update-date>
<location>
<country>Россия</country>
<region>Крым Респ</region>
<locality-name>Севастополь</locality-name>
<address>Ленина улица</address>
</location>
<sales-agent>
<phone>+79781112623</phone>
<name>Михаил Игоревич</name>
<category>агентство</category>
<organization>Лидер</organization>
<url>http://lider92.ru</url>
<email>79781112623@yandex.ru</email>
<photo>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/164_148_I_MC_png_W/resources/logo/logo_header_0004.png?C71865FAF33B51016C955F0B93869C1F</photo>
</sales-agent>
<price>
<value>50000</value>
<currency>RUR</currency>
<period>месяц</period>
</price>
<commission>0</commission>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0006.jpg?0BD7E7A3B0734E1033CF78A2037BFF14</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0001.jpg?B1D26BC1964775D59CF07F1D86829DEC</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0002.jpg?FC648797C27E0FA93012FD92EDFCEC5E</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0003.jpg?20FA8F7CA81C40126BC175B2DE4C7144</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0004.jpg?119CA90FC44AA4B8A7E3630190D70D1D</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0005.jpg?09D32124B4A5219A5945CA6CEDE5C181</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0007.jpg?F59A357CE6EB0A9662E7C8A4C686C695</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0008.jpg?9A6895E088C90EB59EC2DE88D144F617</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0009.jpg?48A1C9A50BC03B585E83956CA5F84D5E</image>
<image>http://storage.recrm.ru/Static/12091_d656f6/0/SIMG/700_525_I_MC_jpg_W/resources/properties/0105/picture_0010.jpg?51E4696B8790CD94A3E71FCB5C7D22CF</image>
<renovation>евро</renovation>
<description>Сдается Оборудованный с Техникой и Мебелью Офис на Ул Ленина г. Севастополь (центр города), площадью 55 кв.м. за сумму 55 000 рублей. Расположен на первом этаже, состоит из трех смежных помещения + кладова и кухня + санузел, есть возможность размещения рекламы и круглосуточного досту в помещение, удобная транспортная развязка, шаговая доступность до остановки, хорошая видимость с дороги. Отличное состояние, все необходимые коммуникации в помещение проведены (свет, вода, санузел, кондиционер, интернет, телефон и т.д.). Рассмотрим любые предложения, Звоните!</description>
<area>
<value>55.00</value>
<unit>кв. м</unit>
</area>
<rooms>3</rooms>
<floor>1</floor>
<floors-total>4</floors-total>
<air-conditioner>да</air-conditioner>
<ventilation>да</ventilation>
<fire-alarm>да</fire-alarm>
<parking>да</parking>
</offer>

Впоследствии эти картинки парсером не грузятся. Как это починить?

Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr

[Дмитрий Кондин 690]

6 минут назад, metrpro сказал:

Это ладно, ерунда, разобрались. Есть CRM, выгружающие фиды и вставляющие в название картинок вопросительные знаки:

Впоследствии эти картинки парсером не грузятся. Как это починить?

Если починить настройками это невозможно, то приведите, пожалуйста, строку из модуля яндекс.парсера, где обрабатывается входящее имя файла картинки, чтобы можно было удалить лишнюю информацию через mb_stristr

apps/yandexrealty_parser/admin/admin.php

                $imgs = array();
                $imgfiles = $offer->imagefile;
                if (!empty($imgfiles)) {
                    foreach ($imgfiles as $if) {
                        $imgs[] = array('preview' => (string) $if->image[0], 'normal' => (string) $if->image[1]);
                    }
                } else {
                    $imgfiles = $offer->image;
                    if (!empty($imgfiles)) {
                        foreach ($imgfiles as $if) {
                            $imgs[] = (string) $if;
                        }
                    }
                }

 

[metrpro 42]

Я так понимаю, мне массив $imgfiles надо перебрать?

[Дмитрий Кондин 690]

2 часа назад, metrpro сказал:

Я так понимаю, мне массив $imgfiles надо перебрать?

Да, тут будет сохраняется список картинок.

Только не совсем понял, что вы там хотите поменять?

[metrpro 42]

4 часа назад, Дмитрий Кондин сказал:

Да, тут будет сохраняется список картинок.

Только не совсем понял, что вы там хотите поменять?

Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. 

[Дмитрий Кондин 690]

13 часа назад, metrpro сказал:

Из имени каждого исходного файла изображения до его парсинга убрать то, что после последнего вопросительного знака. 

А этот параметр после вопросительного знака не влияет на отображаемое фото?

[metrpro 42]

2 часа назад, Дмитрий Кондин сказал:

А этот параметр после вопросительного знака не влияет на отображаемое фото?

Парсер берет это имя и честно пытается загрузить картинку. Но не загружает - имя в базе появляется, а физически файлов в img/data нет (( 

В то же время картинка в исходнике открывается и без параметра после последнего "?", поэтому просто надо при загрузке фида все далее убирать. Я не случайно пример привел - подобное идет в выдаче фидов CRM realtnavi.ru и еще некоторых других.