Baixar e indexar material de toda a internet é a função de um rastreador web. Eles são frequentemente chamados de spiders ou bots, utilizados por mecanismos de busca. O objetivo de um bot é familiarizar-se com o conteúdo de todos os sites da internet para que as informações relevantes possam ser acessadas sempre que necessário.
Eles são chamados de "rastreadores web" porque "rastreamento" é o termo técnico para visitar um site automaticamente e adquirir dados por meio de um aplicativo de software.
Na maioria das vezes, os mecanismos de busca são os responsáveis por operar esses bots. Os mecanismos de busca podem fornecer links relevantes em resposta às consultas de pesquisa dos usuários, aplicando um algoritmo de busca aos dados coletados pelos rastreadores da web. Isso gera a lista de sites que aparecem quando um usuário realiza uma pesquisa no Google ou no Bing (ou em outro mecanismo de busca).
O organizador lerá o título, a sinopse e parte do conteúdo interno de cada livro na biblioteca para determinar sobre o que o livro trata, de modo que os livros possam ser organizados nas categorias apropriadas e classificados por assunto.
Como um rastreador executa suas tarefas?
Um rastreador é um programa que percorre uma série de etapas predeterminadas em ordem sequencial; por isso, é necessário definir essas fases antes de iniciar o rastreamento. Por exemplo, um rastreador normalmente visita cada URL de um site individualmente, e os resultados são salvos em um índice quando o rastreador termina.
O algoritmo específico determina como esse índice é apresentado; por exemplo, o algoritmo do Google determina a ordem em que os resultados aparecem em resposta a uma consulta de pesquisa específica. Além disso, o algoritmo determina o formato desse índice.
Que outros tipos de tratores de esteira estão disponíveis?
Os crawlers são utilizados para diversos fins pelos desenvolvedores, incluindo os seguintes:
Mecanismos de busca
Os mecanismos de busca, como o Google e o Bing, utilizam rastreadores, sendo seu uso particularmente difundido e conhecido. Esses mecanismos de busca só conseguem funcionar com a ajuda dos rastreadores da web, pois são eles que criam um índice para fornecer aos usuários resultados de busca relevantes.
rastreador focado
Os "rastreadores focados" são o equivalente temático dos mecanismos de busca universais (USM). Eles se restringem a regiões específicas da internet, como sites dedicados a um assunto específico ou sites que fornecem notícias e informações atualizadas. Em seguida, compilam um índice abrangente desse conteúdo.
Análises da web
Os administradores da web também usam rastreadores para examinar sites em termos de dados, como visitas ao site ou links. A maioria utiliza soluções especializadas de análise da web.
Comparação de preços
Os preços de muitos produtos, incluindo passagens aéreas e outros bens tecnológicos, podem variar bastante de um varejista para outro. Por isso, sites de comparação de preços utilizam mecanismos de busca (crawlers) para oferecer aos seus usuários uma visão geral do mercado atual.
Considerações finais
Um robô rastreador da web pode ser considerado um indivíduo que vasculha os livros em uma biblioteca desorganizada para compilar um catálogo de fichas. Isso possibilita que qualquer pessoa que visite a biblioteca encontre as informações que procura de forma rápida e eficiente.
Existem muitos outros glossários, como o de rastreador web, abordados no Glossário de SEO da Seahawk .
