Scaricare e indicizzare materiale da Internet è il compito di un web crawler. Spesso noto come spider o bot, è utilizzato dai motori di ricerca . Lo scopo del bot è acquisire familiarità con il contenuto di ogni sito web in modo da poter accedere alle informazioni rilevanti ogni volta che è necessario.
Vengono chiamati "web crawler" perché "crawling" è il termine tecnico per indicare la visita automatica di un sito web e l'acquisizione di dati tramite un'applicazione software.
Nella maggior parte dei casi, sono i motori di ricerca a gestire questi bot. I motori di ricerca possono fornire link appropriati in risposta alle query di ricerca degli utenti applicando un algoritmo di ricerca ai dati raccolti dai web crawler. Questo genera l'elenco dei siti web che vengono visualizzati quando un utente esegue una ricerca su Google o Bing (o un altro motore di ricerca).
L'organizzatore leggerà il titolo, la sinossi e parte del contenuto interno di ogni libro presente in biblioteca per determinarne l'argomento, in modo da poter organizzare i libri nelle categorie appropriate e ordinarli per argomento.
Come svolge i suoi compiti un crawler?
Un crawler è un programma che si muove attraverso una serie di fasi predeterminate in ordine sequenziale: per questo motivo, è necessario definire queste fasi prima di iniziare la scansione. Ad esempio, un crawler in genere visita ogni URL di un sito web uno alla volta e i risultati vengono salvati in un indice al termine dell'analisi.
L'algoritmo specifico determina il modo in cui questo indice viene presentato; ad esempio, l'algoritmo di Google determina l'ordine in cui vengono visualizzati i risultati in risposta a una specifica query di ricerca. Inoltre, l'algoritmo determina il formato di questo indice.
Quali altri tipi di crawler sono disponibili?
I crawler vengono utilizzati dagli sviluppatori per diversi scopi, tra cui:
Motori di ricerca
I crawler sono utilizzati da motori di ricerca come Google e Bing, e il loro utilizzo è particolarmente diffuso e noto. Questi motori di ricerca sarebbero in grado di funzionare solo con l'assistenza dei web crawler. Questo perché sono loro a creare un indice per fornire ai consumatori risultati di ricerca preparati.
Crawler concentrato
I "crawler focalizzati" sono l'equivalente tematico del motore di ricerca universale (USM). Si limitano a specifiche aree di Internet, come siti web dedicati a un'area tematica specifica o siti che forniscono report e notizie aggiornate. Quindi compilano un indice completo di questi contenuti.
Analisi del web
Gli amministratori web utilizzano anche i crawler per esaminare i siti web in termini di dati, come visite al sito o link. La maggior parte si avvale di soluzioni di analisi web specializzate.
Confronto dei prezzi
I prezzi di molti prodotti, inclusi i biglietti aerei e altri beni tecnologici, possono variare da un rivenditore all'altro. Pertanto, i siti web che confrontano i prezzi utilizzano i crawler per offrire ai consumatori una panoramica del mercato attuale.
Considerazioni finali
Un web crawler può essere considerato un individuo che smista i libri in una biblioteca non organizzata per compilare un catalogo a schede. Permette a chiunque visiti la biblioteca di trovare le informazioni desiderate in modo tempestivo ed efficiente.
Ci sono molti altri glossari, come web crawler, trattati nel Glossario SEO di Seahawk .
