técnicas de Web Scraping

PerguntasCategoria: Laraveltécnicas de Web Scraping

Fala, galera!

Estou desenvolvendo uma aplicação em Laravel, onde tenho que utilizar técnicas de Web Scraping para extrair dados de alguns sites, e disponibilizar para o usuário.
Já programei os Spider-Scripts para minerar esses dados, e estão funcionando perfeitamente, porém, tem um custo bastante alto no quesito tempo/processamento.
Em média, as consultas duram em torno de 1min, o que é inviável para o usuário ficar esperando.

Então vi que é necessário utilizar Cron Jobs, para esses scripts ficarem rodando em Background, em tempos pré-estabelecidos (madrugada), fazendo a inserção dos valores no banco de dados, para quando o usuário acessar as informações, as mesmas já estarem devidamente filtradas e de fácil acesso.

* Gostaria de saber quais cuidados devo tomar para domínios os quais serão Ownados não suspeitarem de ataque DDOS, e qual a melhor forma de fazer essa extração?
Utilizando Cron Jobs ou outro serviço?

* Será um sistema Multi Tenancy, logo, terão centenas de usuários, e, consequentemente, centenas de consultas.

1 Respostas

Se sua preocupação é muitas conexões de uma vez em um serviço externo, vc pode usar uma queue para processar apenas 1 de cada vez de forma sequencial.