Миссия выпонима: парсер OLX и DOM.RIA. Быстрее риелторов

Всем привет! В этой статье хочу поделиться информацией о том, как я риелторов пытался обогнать.

Собственно, в чём заключается проблема? Те, кто сталкивался с рынком недвижимости в Украине могли заметить, что с явным отрывом превалируют объявления от посредников. Более того — одно предложение может повторяться по 10 раз и с ценой ниже чем у собственника (его объявление можно и вовсе упустить). Если вариант очень ликвидный — риелторы либо купят сами либо начнут обширную рекламу, из-за чего предложение может уйти до конца дня. И даже если вы проверяете сайт ежедневно, можете не успеть не то, что купить, а даже увидеть объявление.

Какие есть варианты для того, чтоб позвонить хозяину квартиры быстрее, чем к нему доберутся риелторы?

  1. Проводить сутками за мониторингом сайтов;
  2. Настроить оповещение (желательно на телефон) когда появляется новое предложение.

Очевидно, что второй вариант куда более привлекательный. Подписываемся на email-уведомления и оказывается, что OLX отправляет информацию о новых объявлениях раз в день! Так как данное решение совсем не устраивало, было решено реализовать собственное.

Парсер OLX

Платформой был выбран Google Spreadsheets в связке с Google Apps Script, а оповещения присылать на Gmail почту.

Для начала следовало определить какую информацию нужно вытягивать из объявления? Пришёл к следующим параметрам:

  • собственник / риелтор;
  • кол-во комнат;
  • квадратура;
  • цена;
  • этаж / этажность.

После определения данных перешёл к непосредственному написанию кода, алгоритм его работы следующий:

Окончательный алгоритм:

  1. каждые 5 минут парсер заходит на olx и собирает ссылки на новые объявления по заданным фильтрам;
  2. те, которые уже есть в базе (например, предложение переопубликовано либо прорекламированно) отфильтровываются;
  3. заходит по оставшимся, собирает указанные выше параметры;
  4. отправляется email с полученной информацией;
  5. добавляется в базу google spreadsheets.

База данных OLX

В результате, при добавлении новых объявлений на телефон приходит уведомление

Оповещение на телефон

В самом сообщении указаны все необходимые данные о недвижимости и ссылка на само объявление

Текст письма OLX

Не сложно догадаться, что данный парсер без проблем переделывается для других категорий на OLX и часто выручал меня, особенно при поиске чего-то редкого но с повышенным спросом.

Парсер DOM.RIA

Фактически механика работы полностью была передана. Единственное, что в DOM.RIA невозможно отсортировать предложения по новизне из-за собственной системы ранжирования, что создало некие сложности. Не вникая в подробности, проблему получилось побороть и результат полностью соответствовал (даже добавился материал стен) таковому у OLX.

Текст письма DOM.RIA

Результат: однажды во время совещания на работе пришло уведомление с очень заманчивым предложением, а сейчас я являюсь владельцем данного заманчивого предложения ?. Если бы не уведомление я бы, вероятно, вообще не успел, ибо квартира отставала на ~2к$ от своей рыночной цены.

Это лишь пример того, какие преимущества дают знания Google Apps Script и Google Spreadsheets, на самом деле возможности куда шире. Если у вас есть подобная проблема, вы можете смело обращаться ко используя контакты с главной страницы.