metrpro

Cron для парсинга картинок

Recommended Posts

Добрый день. Запуск задачи по парсмигу картинок из объявлений, подгруженных через фид, выглядит из строки браузера как

Домен.ru/cron.php?parse_images=1

Какого вида д.б. запрос, если ставишь его как задачу через крон?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 13.07.2018 в 06:54, metrpro сказал:

Добрый день. Запуск задачи по парсмигу картинок из объявлений, подгруженных через фид, выглядит из строки браузера как


Домен.ru/cron.php?parse_images=1

Какого вида д.б. запрос, если ставишь его как задачу через крон?

/usr/bin/wget -O /dev/null -q http://вашсайт/cron.php?parse_images=1

http://wiki.sitebill.ru/index.php?title=Приложение_"Yandex.Realty_Parser"

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
27 минут назад, rumantic сказал:

/usr/bin/wget -O /dev/null -q http://вашсайт/cron.php?parse_images=1

http://wiki.sitebill.ru/index.php?title=Приложение_"Yandex.Realty_Parser"

А почему ссылка на пхп идет через папку wget, а не через папку php?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

/usr/bin/wget - это расположения исполняемого модуля который выполняет функцию запроса адреса "как будто-то кто-то в браузере смотрит этот адрес" (грубо говоря). Т.е. тут сервер не запускает непосредственно какой-то скрипт на сервере, а просто запрашивает страницу и сервер, отдающий эту страницу, выдает ее, выполняя все действия, которые бы он выполнил, если бы вы просто в браузере запросили эту страницу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 14.07.2018 в 13:02, abushyk сказал:

/usr/bin/wget - это расположения исполняемого модуля который выполняет функцию запроса адреса "как будто-то кто-то в браузере смотрит этот адрес" (грубо говоря). Т.е. тут сервер не запускает непосредственно какой-то скрипт на сервере, а просто запрашивает страницу и сервер, отдающий эту страницу, выдает ее, выполняя все действия, которые бы он выполнил, если бы вы просто в браузере запросили эту страницу.

Благодарю, будем пробовать

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 14.07.2018 в 09:40, rumantic сказал:

/usr/bin/wget -O /dev/null -q http://вашсайт/cron.php?parse_images=1

http://wiki.sitebill.ru/index.php?title=Приложение_"Yandex.Realty_Parser"

Работает отлично, спасибо!

Еще вопрос - после того, как функция именно самого cron'а по импорту объявлений, вызываемая командой ДОМЕН\cron.php, будет выполнена, я бы хотел автоматического запуска из самого cron.php нескольких функций работы с БД re_data, вида, примерно как:

UPDATE re_data SET topic_id=13 WHERE topic_id=6127

или

UPDATE re_data SET renttime=2 WHERE topic_id=13 AND price>=8000 AND user_id=4

Как это сделать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 час назад, metrpro сказал:

Работает отлично, спасибо!

Еще вопрос - после того, как функция именно самого cron'а по импорту объявлений, вызываемая командой ДОМЕН\cron.php, будет выполнена, я бы хотел автоматического запуска из самого cron.php нескольких функций работы с БД re_data, вида, примерно как:


UPDATE re_data SET topic_id=13 WHERE topic_id=6127

или


UPDATE re_data SET renttime=2 WHERE topic_id=13 AND price>=8000 AND user_id=4

Как это сделать?

а расшифруйте что это делает?
обновить таблицу ре-дата установить (что равное двум?) в определенном топике и цене больше 8000 и юзере 4

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
18 часов назад, doma сказал:

а расшифруйте что это делает?
обновить таблицу ре-дата установить (что равное двум?) в определенном топике и цене больше 8000 и юзере 4

Обновить в таблице data параметр rentime равный 2 где структура объекта равна 13 (например в структуре под номером 13 значится однокомнатные квартиры в аренду), в этой структуре все объекты имеют стоимость больше 800000 и пренадлежат категории пользователя с параметром 4 ( например агентства)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
3 часа назад, TopRaN сказал:

Обновить в таблице data параметр rentime равный 2 где структура объекта равна 13 (например в структуре под номером 13 значится однокомнатные квартиры в аренду), в этой структуре все объекты имеют стоимость больше 800000 и пренадлежат категории пользователя с параметром 4 ( например агентства)

Спасибо за разъяснние примерно так и понимали. но вопрос что обновляется?  Это стандартный параметр renttime или это параметр придуманный и добавленный пользователем?  renttime что это значит - аренда больше двух месяцев или что? (вопрос как бы не к вам лично а к пользователю)   :)) что там такое придумали ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
21 час назад, doma сказал:

Спасибо за разъяснние примерно так и понимали. но вопрос что обновляется?  Это стандартный параметр renttime или это параметр придуманный и добавленный пользователем?  renttime что это значит - аренда больше двух месяцев или что? (вопрос как бы не к вам лично а к пользователю)   :)) что там такое придумали ?

Renttime это параметр, добавленный вручную для разделения посуточной и помесячной аренды.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 час назад, metrpro сказал:

Renttime это параметр, добавленный вручную для разделения посуточной и помесячной аренды.

а почему например не разделами сделали ? и подскажите суть данного обновления. подетально

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
В 18.07.2018 в 20:37, metrpro сказал:

Работает отлично, спасибо!

Еще вопрос - после того, как функция именно самого cron'а по импорту объявлений, вызываемая командой ДОМЕН\cron.php, будет выполнена, я бы хотел автоматического запуска из самого cron.php нескольких функций работы с БД re_data, вида, примерно как:


UPDATE re_data SET topic_id=13 WHERE topic_id=6127

или


UPDATE re_data SET renttime=2 WHERE topic_id=13 AND price>=8000 AND user_id=4

Как это сделать?

Запрос выполняем как тут и лучше это делать отдельной задачей.

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Похожие публикации

    • Автор: Chernetskiy
      Есть тема, наверняка будет интересна многим. Начнем с рекламы...
      С недавних пор работает сервис SPN24 - сервис продаж новостроек. Это бесплатная и закрытая онлайн система подбора, бронирования и продаж квартир в новостройках Московского региона. Сервис предназначен для профессиональных участников – брокеров, девелоперов, застройщиков и агентств работающих на рынке недвижимости. Для застройщиков и девелоперов – комплекс услуг по дистрибуции и увеличению каналов продаж. Для подрядчиков и инвесторов – возможность эффективной реализации объема квартир и услуги по сопровождению сделки. Для всех участников рынка – открытые правила игры, как залог успешной работы.
      База сервиса пока предлагает 51 комплекс новостроек - более 10500 квартир и их число постоянно растет. Для работы с сервисом надо зарегистрироваться, скинуть регистрационные документы на ИП/ООО, которое представляет ваше агентство, после чего вам будет открыт доступ к базе. Предлагая объекты из базы своим клиентам и приводя их к сделке, вы сможете получить от 0,5 до 4% комиссионных перечислением на ваш расчетный счет (по каждому комплексу заранее оговорен % комиссии). В сервис не допускаются "черные риэлторы" и агентства, со сроком работы меньше 3 месяцев - исключаются случайные товарищи. Так-что welcome! 
      Теперь по делу...
      Поскольку вручную размещать хотябы сотню объектов из базы - дело муторное, разработчиком предусмотрена интеграция его базы с сайтом конечного агентства через API. Справочная информация по API находится здесь. Может есть смысл заморочиться с этим и централизованно разработать модуль обмена? Там есть возможность обмена объявлениями, шахматками, бронирования клиентов, получения информации из справочников и т.п.
      Пинки, вопросы и предложения в студию! Разработчиков могу зарегистрировать в качестве моих сотрудников, чтобы иметь доступ в базу и понимать что к чему.
    • Автор: DoobBY
      Кто нибудь использует парсер КЛАДР ?
       
      Можете поделиться опытом, прочёл wiki sitebill не смог вникнуть =)
       
       
      Возможно у кого-то есть свои хитрости и сторонние парсеры для наполнения сайта, если не жалко поделитесь информацией.
    • Автор: bunz
      Здравствуйте! Шаблон "Realia". 
      Как сделать так, чтобы контакты владельца объявления нельзя было спарсить? Вот пример контактов: http://prntscr.com/6827lu
      Например, чтобы они открывались при нажатии кнопки "Показать контакты".
      Какие вообще существуют надежные способы?
      Спасибо.