Дубликаты объявлений и Exel приложение

[Realtor 47]

Кто как борется с дубликатами при загрузке объектов с exel?

т.е. как не допустить загрузку  к объектам в базе с их дублями  в загружаемой таблице exel приложения?

[Chernetskiy 469]

В 02.04.2018 в 06:03, Realtor сказал:

Кто как борется с дубликатами при загрузке объектов с exel?

т.е. как не допустить загрузку  к объектам в базе с их дублями  в загружаемой таблице exel приложения?

Борюсь так - не занимаюсь этой фигнёй! Это по части разведения Авиты на своем сайте. А если следовать логике, то загружаемые объявления с имеющимися id в базе - обновляются, с отсутствующими id - добавляются. Соответственно, перед загрузкой проверяйте наличие id, их соответствие имеющимся в базе и наличие возможных дубликатов.

[Realtor 47]

5 часов назад, Chernetskiy сказал:

Борюсь так - не занимаюсь этой фигнёй! Это по части разведения Авиты на своем сайте. А если следовать логике, то загружаемые объявления с имеющимися id в базе - обновляются, с отсутствующими id - добавляются. Соответственно, перед загрузкой проверяйте наличие id, их соответствие имеющимся в базе и наличие возможных дубликатов.

Если в рамках одного агентства , то да.

А если Вы согласились принимать объекты от агентств партнёров? 

[Chernetskiy 469]

2 часа назад, Realtor сказал:

Если в рамках одного агентства , то да.

А если Вы согласились принимать объекты от агентств партнёров? 

Тогда надо как-то с партнерами этот вопрос урегулировать, предусмотреть исключение дубликатов, тут могут быть варианты:

• вы первоначально загружаете базу партнера а затем скидываете каждому партнеру его файл Эксель и он дополняя/изменяя его в последующем делится с вами готовым к загрузке в базу вариантом;
• партнеры размещают объявления в вашей базу вручную, проверяя актуальность и дубликаты объявлений;
• Проще и логичнее наверное будет так - объявления загружаются в базу с ограниченным сроком, например раз в неделю с активностью - неделя. При следующей загрузке все предыдущие объявления партнера перемещаются в архив/удаляются и база объектов загружается по новой.

В любом случае, не понятно как ведут свои базы партнеры, соответственно, сложно прогнозировать что вам передадут в файле Эксель, в связи с этим могут быть проблемы, т.к. сторонний файл вы загружаете прямиком в базу без проверки на соответствие параметрам в вашей базе, отсюда могут появляться в вашей базе лишние и несовместимые параметры, php-код или лишняя разметка в скопированном тексте из Word/чужого сайта, вместо значений 1/0 для чекбоксов значения +/-, да/нет/? и прочее.

Может логичнее будет парсить их объекты с их сайтов, если у них имеется какой-то стандартный источник выгрузки в XML? Их выгрузкеу можно будет проверить валидатором и будет вероятность того, что она соответствует необходимым требованиям и не содержит ошибок, да и дубликаты они исходно отследят у себя.

[Realtor 47]

1 час назад, Chernetskiy сказал:

 

Может логичнее будет парсить их объекты с их сайтов, если у них имеется какой-то стандартный источник выгрузки в XML? Их выгрузкеу можно будет проверить валидатором и будет вероятность того, что она соответствует необходимым требованиям и не содержит ошибок, да и дубликаты они исходно отследят у себя.

Насчет формы и содержания ексел таблицы мы договорились , единый стандарт. Как дубли отсеять идущих например от разных агенств один и тот же объект? Или повторный дубль от одного и того же агентства ?

Например на 100% идентичный ?

[Chernetskiy 469]

59 минут назад, Realtor сказал:

Насчет формы и содержания ексел таблицы мы договорились , единый стандарт. Как дубли отсеять идущих например от разных агенств один и тот же объект? Или повторный дубль от одного и того же агентства ?

Например на 100% идентичный ?

А зачем его отсеивать, если этот объект продает несколько агентов/агентств? Вполне допускаю, что собственник мог обратиться в несколько агентств с заявкой продать. Даже допускаю, что в нескольких агентствах могут быть заключены договора с собственниками. Агентства добросовестно выгружают к вам свои объекты а вы ставите в приоритет одно из них и размещаете объект на своем портале, у остальных вы этот объект блокируете.

Каково будет в дальнейшем отношение к вашему сервису со стороны обделенных агентств, которые тратили время на составление файла Эксель, переслали вам его а в результате работа впустую, только потому, что вы предпочли первого, кто вам этот файл скинул. Загляните на крупные порталы недвижимости и вы найдете там немало дубликатов одного и того-же объекта от разных агентств. 

Ситауции с дубликатами бывают разные, начиная от пофигизма собственника и заканчивая выгодными условиями для агентов, необходимостью быстрой продажи и т.п., заканчивая банальным сотрудничеством агентств, когда агентство готово делиться своей комиссией с другим агентством лишь-бы продать по быстрому. Понятное дело, каждое агентство будет пиарить один и тот-же объект и хорошо, если с единой ценой, а-то и могут демпинговать, что приводит к застою продажи объекта, доп.накруткам к цене (на услуги), неразберихе - кто-же всётаки продает и в итоге к игнорироваю этого объекта потенциальными покупателями.

[Realtor 47]

11 час назад, Chernetskiy сказал:

А зачем его отсеивать, если этот объект продает несколько агентов/агентств? Вполне допускаю, что собственник мог обратиться в несколько агентств с заявкой продать. Даже допускаю, что в нескольких агентствах могут быть заключены договора с собственниками. Агентства добросовестно выгружают к вам свои объекты а вы ставите в приоритет одно из них и размещаете объект на своем портале, у остальных вы этот объект блокируете.

Каково будет в дальнейшем отношение к вашему сервису со стороны обделенных агентств, которые тратили время на составление файла Эксель, переслали вам его а в результате работа впустую, только потому, что вы предпочли первого, кто вам этот файл скинул. Загляните на крупные порталы недвижимости и вы найдете там немало дубликатов одного и того-же объекта от разных агентств. 

Ситауции с дубликатами бывают разные, начиная от пофигизма собственника и заканчивая выгодными условиями для агентов, необходимостью быстрой продажи и т.п., заканчивая банальным сотрудничеством агентств, когда агентство готово делиться своей комиссией с другим агентством лишь-бы продать по быстрому. Понятное дело, каждое агентство будет пиарить один и тот-же объект и хорошо, если с единой ценой, а-то и могут демпинговать, что приводит к застою продажи объекта, доп.накруткам к цене (на услуги), неразберихе - кто-же всётаки продает и в итоге к игнорироваю этого объекта потенциальными покупателями.

Необходимо отсеивать, хочу постепенно от доски объявлений перейти к млс