Живи творчеством Автоматизация сбора информации с веб ресурсов3 сообщения
Киплер Телескоп 13 Ноября в 14:36
Cтолкнулся с необходимостью регулярно собирать ценовую информацию с нескольких десятков сайтов конкурентов. Ручной сбор занимает непозволительно много времени. Может, кто знает надежные решения для автоматизации этого процесса?
Shadi Shadi 13 Ноября в 14:44
Для таких задач как раз используют специальные инструменты, которые позволяют настроить парсинг данных с сайта, что то вроде такого https://datalopata.ru/ . Современные системы умеют обходить базовую защиту и собирать информацию в удобном формате. Важно только помнить о соблюдении правил использования сайтов и не создавать излишней нагрузки на серверы источников.
Eugene Gudvin 13 Ноября в 14:52
Стоит заранее продумать структуру хранения полученной информации. Без четкой системы организации данных эффективность сбора значительно снижается.