Программа для загрузки объявлений из АВИТО

[Дмитрий Кондин 690]

Перед любыми изменениями всегда делайте резервную копию сайта и базы данных!!!

Для того чтобы из кучи созданных новых разделов сделать упорядоченную структуру нужно сделать следующее.

1. Включите в настройках режим Использовать переключатель активности для категорий

Включить режим в настройках общих 

Включить переадресацию категорий (use_topic_linker)

http://wiki.sitebill.ru/index.php?title=Use_topic_linker

2. Отключить активность категорий, которые не нужно отображать и которые создались парсером в админке в Структуре. Эти ненужные категории удалять нельзя! так как они все-равно потом будут парсером создаваться. А устанавливая статус Неактивно, мы их не показываем на сайте.

3. Настроить правила линковки из ненужных разделов в нужные

И делаем линковку (установку ссылок с ненужных категорий на нужные)

Поле system.PARAMS нужно для того чтобы расписать логику перемещения объявления из одной категории, но с разным количеством комнат.

Вот пример

Тут оставляем связку с самой собой, она не будет действовать если указаны параметры.

А параметры выглядят так

{"23":[{"number":1}],"24":[{"number":2}],"25":[{"number":3}],"26":[{"number":4}]}

23 - это идентификатор категории, если у объявления количество комнат 1.

24 - ид категории, если количество комнат 2

...

25 - для количества 4 и более.

4. После того как вы настроили линкер, можно запускать скрипт линкера.

topic_linker.php

Как и другие скрипты его нужно распаковать и положить в корень и запускать.

Можно через крон - чтобы он регулярно перекидывал объявления в нужные категории.

*/5 * * * * /usr/bin/wget -O /dev/null -q http://ваш_сайт/topic_linker.php

 

[ReatEstate 13]

Переадресация категорий ?

http://prntscr.com/aczk54

 

[Дмитрий Кондин 690]

28 минуты назад, ReatEstate сказал:

Переадресация категорий ?

 

Извиняюсь, забыл еще про эту опцию написать

http://wiki.sitebill.ru/index.php?title=Use_topic_linker

Ее тоже включите.

[ReatEstate 13]

53 минуты назад, rumantic сказал:

Извиняюсь, забыл еще про эту опцию написать

http://wiki.sitebill.ru/index.php?title=Use_topic_linker

Ее тоже включите.

1)Нажмите в админке Структура - Переадресация категорий

Нет такой кнопки "Переадресация категорий" ,  а таблицу создали.

[Дмитрий Кондин 690]

4 минуты назад, ReatEstate сказал:

Нет такой кнопки "Переадресация категорий" ,  а таблицу создали.

Вы эту опцию активировали? 1 там поставить нужно.

[ReatEstate 13]

Семен Семеныч....
Точно, не была активирована...
По теме топика: Программа после запуска не останавливается, даже кнопочкой "esc"

[ReatEstate 13]

Колонка с Именем не грузится на сайт. Правда она есть, но пустая..
Можно подправить, чтобы колонка с данными Имен  подавших объявление также выгружалась на сайт с заголовком "Ваше Имя".
А то пока только номер телефона выгружается.

[SergeiMashkin 1]

В 08.03.2016в01:24, abushyk сказал:

По загрузке в "правильный" раздел могу сразу уточнить, что правильно загрузит только если ваше дерево категорий соответствует дереву источника. Добуквенно.

Отлов поля в котором лежит раздел в файле идет по имени колонки в шапке. Поэтому если в файле Раздел, а у вас поле называется Тип, то мимо кассы пойдет.

По геоданным определение адреса не происходит.

Это то, что я могу сказать сразу без тестовой вгрузки.

 

ПС. Мысль про настройку что куда класть согласно пришедшему типу - трезва и рациональна. Но до данного момента мы ее не использовали, поскольку источники были не определенными и никто не мог сказать какие цепочки разделов вообще прийдут в колонке Раздел. Но если пошла такая петрушка под авито, а у авито есть таки какая никакая структура, то тут уже можно колдовать.

вариант идеальный, когда раздел (колонка) соответствует название, а внутри поля - при стандартных однотипных загрузках использовать шаблон соответствий.
то есть настроить один раз соответствия полей внутри колонки: источник=получатель
и все. будет работать отлаженной )

 

[SergeiMashkin 1]

 

В 09.03.2016в07:49, rumantic сказал:

делаем линковку (установку ссылок с ненужных категорий на нужные)

после перелинковки (((((((((((

все по инструкции

указываем категории куда перекидывать

нажимаем кнопку сохранить

и..

ничего не сохраняет , а возвращается в первоначальный вид
после трех попаток и часа времени

итог "0"

кто сможет сделать?

 

[SergeiMashkin 1]

В 09.03.2016в07:49, rumantic сказал:

Перед любыми изменениями всегда делайте резервную копию сайта и базы данных!!!

Для того чтобы из кучи созданных новых разделов сделать упорядоченную структуру нужно сделать следующее.

1. Включите в настройках режим Использовать переключатель активности для категорий

Включить режим в настройках общих 

Включить переадресацию категорий (use_topic_linker)

http://wiki.sitebill.ru/index.php?title=Use_topic_linker

2. Отключить активность категорий, которые не нужно отображать и которые создались парсером в админке в Структуре. Эти ненужные категории удалять нельзя! так как они все-равно потом будут парсером создаваться. А устанавливая статус Неактивно, мы их не показываем на сайте.

3. Настроить правила линковки из ненужных разделов в нужные

И делаем линковку (установку ссылок с ненужных категорий на нужные)

Поле system.PARAMS нужно для того чтобы расписать логику перемещения объявления из одной категории, но с разным количеством комнат.

Вот пример

Тут оставляем связку с самой собой, она не будет действовать если указаны параметры.

А параметры выглядят так

{"23":[{"number":1}],"24":[{"number":2}],"25":[{"number":3}],"26":[{"number":4}]}

23 - это идентификатор категории, если у объявления количество комнат 1.

24 - ид категории, если количество комнат 2

...

25 - для количества 4 и более.

4. После того как вы настроили линкер, можно запускать скрипт линкера.

topic_linker.zip

Как и другие скрипты его нужно распаковать и положить в корень и запускать.

Можно через крон - чтобы он регулярно перекидывал объявления в нужные категории.

*/5 * * * * /usr/bin/wget -O /dev/null -q http://ваш_сайт/topic_linker.php

 

сделал все как здесь

кроме парамса

итог: 
переадресация не сохраняется

категории скрытые на сайте все равно отображаются

короче хрень (

[SergeiMashkin 1]

В 09.03.2016в07:20, rumantic сказал:

Если не можете настроить, можете сказать доступ к фтп на сайт, настроим вам.

кто возьмется?
Дмитрий жду отклик
и все же в ВК быстрее

[Дмитрий Кондин 690]

В 10.03.2016в03:27, SergeiMashkin сказал:

сделал все как здесь

кроме парамса

итог: 
переадресация не сохраняется

 

Пересоздайте таблицу так:

CREATE TABLE IF NOT EXISTS re_topic_links (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `topic_id` int(11) NOT NULL,
 `link_topic_id` int(11) NOT NULL,
 `params` text,
  PRIMARY KEY (`id`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

 

В 10.03.2016в03:27, SergeiMashkin сказал:

категории скрытые на сайте все равно отображаются

 

Если категории скрытые выводятся тогда в файле

/template/frontend/ваш_шаблон/main/main.php

Найдите строчку

		$structure=$SM->loadCategoryStructure();

И замените ее на эту

		$structure=$SM->loadCategoryStructure($this->getConfigValue('use_topic_publish_status'));

 

[daliol 1]

6 часов назад, rumantic сказал:

Найдите строчку

		$structure=$SM->loadCategoryStructure();

И замените ее на эту

		$structure=$SM->loadCategoryStructure($this->getConfigValue('use_topic_publish_status'));

нашел.. она составлена по другому ) сменил 
не помогло (

[daliol 1]

10 минуту назад, daliol сказал:

нашел.. она составлена по другому ) сменил 
не помогло (

нашел))) где исрпавить
/template/frontend/.../main/menu/purecssmenu.php
все случилось ))
прячутся )

[advreal 0]

Добрый день! Скажите почему такое происходит при загрузке? Хотя на главной все прекрасно отображается. 

[Дмитрий Кондин 690]

1 час назад, advreal сказал:

Добрый день! Скажите почему такое происходит при загрузке? Хотя на главной все прекрасно отображается. 

Зайдите в приложении - seo оптимизация, и нажмите обновить структуру каталогов.

У вас из парсера пришли новые категории.

[advreal 0]

Спасибо!

Помогло! 

[SergeiMashkin 1]

после крона (парсинг авито)

не первого и не второго ) а где-то двадцатого ))) раза
пропали имеющиеся в базе объекты с карты ((((

хотя перед этим некоторые добавлялись сами

что случилось?

[Дмитрий Кондин 690]

18 час назад, SergeiMashkin сказал:

после крона (парсинг авито)

не первого и не второго ) а где-то двадцатого ))) раза
пропали имеющиеся в базе объекты с карты ((((

хотя перед этим некоторые добавлялись сами

что случилось?

Объектов на карте стало слишком много, в результате хостинг не может обработать запрос.

Видимо для такого ресурса вам нужен свой выделенный сервер https://hosting.reg.ru/vps/?rid=312961

[SergeiMashkin 1]

1. результат парсинга вполне устраивает,
но требуется более точная раскладка по колонкам,
а именно, требуется дополнительно колонка "страна" - по умолчанию Россия, но могут произойти и варианты )
в моей базе получателя - "страна" обязательный параметр - соответственно не встает в часть ячеек.
2. город определяется практически всегда, определяются улица и дом
3. не вытаскивает в таблицу "регион" и "район", хотя в принципе колонки этих параметров парсит
4. требуется внести автозаполнение колонки - колонка пользователь - в нее не надо вытаскивать данные пользователя (автора объявления), так как на принимающем сайте - это другой человек (агент) и требуются его данные. Требуется сделать корректировку в загрузке эксель в приложении один раз - настройкой имени пользователя, по умолчанию = пользователь, который делает эксель загрузку (имя или логин, подставить в "пользователь" в загружаемом файле автоматически)

если что-то вызовет сложность, прошу доработать опции индивидуально, естественно взаимовыгодно.

Жду плодоторного общения ))))

[Дмитрий Кондин 690]

9 часов назад, SergeiMashkin сказал:

Жду плодоторного общения ))))

Файл XLS приложите, который выдал такие ошибки.

[SergeiMashkin 1]

42 минуты назад, rumantic сказал:

Файл XLS приложите, который выдал такие ошибки.

 

avito20032016_2350.xlsx

[Дмитрий Кондин 690]

9 минут назад, SergeiMashkin сказал:

avito20032016_2350.xlsx

У вас же в файле нет данных этих, поэтому и определяться нечему.

[DD-Base 5]

В программе перестало работать распознавание через яндекс.геокодер

исправлено и загружено сюда - https://yadi.sk/d/QCjlB1dok22eE

[SergeiMashkin 1]

да..  вот с нашим патнером такие получаются ((

с парсинга от DDbase

но вопрос не в этом, это ясно ))).....
раз на раз не приходится.
но нужна колонка "страна"
ее изначально нет, тоже с ним все решать?
+
нужно сделать чтобы автоматом "Пользователь" определялся как тот, который загружает файл эксель - к тому и прикрепляются карточки объектов.
а иначе приходится их руками привязывать - это долго 
простое решение - решит проблему

спасибо