Следить за изменениями сайта?

19 апреля, 11:23 Работа 4061 4
В общем, я хочу создать javascript скрипт, чтобы следить за изменениями другого сайта, допустим сайта с новостями. Скрипт запускать через командную строку. Не через браузер.
Как это сделать ? Делать запросы на сайт каждые N секунд ? Или есть какой нибуть скрипт, который следит за сайтом ? Socket ы подходят для этого ? Прост я в сокетах 0
4 комментариев
Сортировка:
Добавить комментарий
Maks
Maks 2019, 19 апреля, 17:41
0
setInterval + cheerio + XMLHttp​Request
King Artur
King Artur 2019, 19 апреля, 16:25
0
Задача интересная и решаемая. Но есть несколько вариантов решений, зависящих от того, что это за сайт: 1 вариант. (самый лучший) Если это сайт новостей (а возможно и какой то крупный информационный портал), то у них есть RSS рассылка, подписавшись на которую вы будете узнавать все новости, публикуемые на сайте. 2. вариант. (приемлемый) Возможно у сайта есть webAPI, позволяющее Вам получать интересующую Вас информацию. Если это так, то написав клиент, использующий это webAPI вы достигните желаемого. 3. вариант. (нежелательный). Написать бота, который с определенной периодичностью будет производить скан всего сайта, выискивая изменения. Недостатки такого варианта в следующем: - если вы будете сканировать слишком часто - вам могут заблокировать доступ к сайту. - если сайт формирует интерфейс динамически, на стороне клиента, то Вам понадобится много поработать над ботом, чтобы он умел определять вносимые на сайт изменения. Результат такой работы не гарантирован, вполне может быть так, что Вы не сможете осилить эту задачу. - и т.п. и т.д.
Seroga Proga
Seroga Proga 2019, 19 апреля, 15:25
0
Веб-сокет это способ передать данные с клиента(сайт) на сервер и обратно. Вам, скорее всего, не пригодится и далеко не все сайты используют сокеты. Проще распарсить сам вебсайт, чем писать свой аналог их фронтенда. Намного.
Ivan
Ivan 2019, 19 апреля, 13:24
0
Другого варианта просто нет (или я не знаю такого), потому, что пока не отправишь новый HTTP запрос - перегенерации данных для тебя не будет. Не обязатально запускать каждые N секунд, хватит возможно и минут или даже часов, неужели там так часто постятся новости?

IT Новости

Смотреть все