Monitorare i prezzi dei fornitori, raccogliere le offerte pubblicate su un portale, tenere traccia di normative o bandi, aggregare dati statistici pubblici: sono attività che a mano richiedono molto tempo. Un programma che visita le pagine e ne estrae le informazioni, chiamato scraper, può farlo in modo rapido e regolare. Prima di realizzarne uno, però, bisogna porsi alcune domande.

Le condizioni d’uso del sito

Molti siti indicano nelle proprie condizioni d’uso se e come i contenuti possono essere raccolti in automatico. Alcuni lo vietano, altri lo consentono entro certi limiti, altri ancora offrono API ufficiali proprio per evitare lo scraping. Quando esiste un’API o un servizio di dati ufficiale, è quasi sempre la strada migliore.

I dati personali

Raccogliere dati che riguardano persone, come nomi, contatti o profili, ricade nella normativa sulla protezione dei dati: il GDPR in Italia e nell’Unione europea, la legge federale sulla protezione dei dati in Svizzera. Il fatto che un dato sia visibile online non significa che possa essere raccolto e riutilizzato liberamente. Servono una base giuridica, finalità chiare e il rispetto dei diritti delle persone. Per molte finalità commerciali, come creare liste di contatti da usare per la promozione, non è lecito.

Diritti sui contenuti

Testi, immagini e banche dati possono essere protetti da diritti d’autore o da diritti specifici sulle banche dati. Raccogliere un dato fattuale, come un prezzo, è diverso dal copiare interi contenuti per ripubblicarli. Il riuso dei contenuti raccolti va valutato con attenzione.

Il principio guida

Lo scraping va realizzato solo secondo requisiti e autorizzazioni applicabili. In caso di dubbio, conviene una verifica legale prima di iniziare, non dopo.

Le buone pratiche tecniche

  • Rispettare il file robots.txt e i limiti indicati dal sito.
  • Fare poche richieste, distribuite nel tempo, per non sovraccaricare il server.
  • Identificare il proprio programma in modo trasparente.
  • Raccogliere solo i dati necessari allo scopo.
  • Conservare i dati in modo sicuro e per il tempo necessario.

Usi tipici e legittimi

Il monitoraggio dei prezzi pubblici dei propri prodotti presso i rivenditori, la raccolta di dati aperti pubblicati dalle amministrazioni, il controllo della correttezza delle informazioni aziendali su directory e portali sono esempi di usi generalmente compatibili, sempre da verificare caso per caso. Ne parliamo nell’articolo sul monitoraggio di prezzi e disponibilità.

Quando è fragile

Gli scraper dipendono dalla struttura delle pagine: se il sito cambia, lo scraper smette di funzionare. Per questo serve un sistema di avviso e una manutenzione periodica. Per esigenze critiche, una fonte ufficiale con API è più affidabile.

Domande frequenti

Se un dato è pubblico posso raccoglierlo?

Non sempre. Dipende da condizioni d’uso, natura del dato, finalità e normativa applicabile.

Posso raccogliere e-mail dai siti per fare marketing?

In generale no: l’invio di comunicazioni commerciali richiede il consenso o un’altra base giuridica valida.

Lo scraping rallenta il sito altrui?

Può farlo se fatto in modo aggressivo. Un approccio corretto limita la frequenza delle richieste.

Con CMXD SmartFlow realizziamo scraper web secondo i requisiti e le autorizzazioni applicabili, dopo un’analisi dello scopo e delle fonti. Per parlarne, scrivici.