Spiders

Colaboração: Rubens Queiroz de Almeida

Data de Publicação: 29 de Outubro de 1998

Hoje em dia é inegável o valor que se obtém da indexação da informação contida em vários Web sites. Na Unicamp utilizamos o software AltaVista para indexação do conteúdo do conjunto de bibliotecas. O serviço funciona baseado em uma estação de trabalho Digital/Alpha e o endereço é http://acervus.unicamp.br/.

Mas além da indexação do sistema de bibliotecas em si, faz-se necessária também a indexação do conteúdo de todos os servidores Web da Universidade. Nós fizemos uma experiência com o software da Infoseek, que por sinal é excelente. Rápido, eficiente e os índices não consomem muito espaço. O Infoseek descobriu que a Unicamp possui cerca de 200 servidores Web abrangendo 160.000 documentos (até o momento). Mas como é um software pago, continuamos pesquisando.

Descobrimos o software Compass Server, da Netscape. É também um software comercial, porém disponibilizado gratuitamente para instituições de ensino, através do programa educacional da Netscape. A Netscape, além do Compass Server, disponibiliza também gratuitamente para instituições sem fins lucrativos os seguintes softwares:

  	Netscape Navigator 
          Netscape Communicator Standard Edition 
          Netscape Client Configuration Kit (CCK) 
          Netscape Catalog Server 
          Netscape Collabra Server 
          Netscape Compass Server 
          Netscape Directory Server 
          Netscape Enterprise Server Standard Edition 
          Netscape FastTrack Server 
          Netscape Mail Server 
          Netscape Messaging Server 
          Netscape News Server 
          Netscape Proxy Server 

O programa educacional da Netscape é descrito em http://home.netscape.com/comprod/business_solutions/education/products_pricing/education_pricing.html.

O software Compass Server é o que estamos utilizando para indexar o conteúdo de todos os servidores Web públicos da Unicamp.

Para quem quiser testar o serviço o endereço é http://www.unicamp.br:1234/.

Existe também o software Webinator (http://www.thunderstone.com/webinator/). Este software, também comercial, possui a vantagem de ser disponibilizado gratuitamente para a indexação de coleções de até 10.000 documentos. Você pode entretanto criar vários índices. Desde que o limite não seja ultrapassado, você não precisa pagar pelo produto.

O preço também é bastante acessível. Para uma licença comercial paga-se U$ 799,00.

Adicionalmente, neste Web site é oferecido o serviço gratuito de indexação de seu site. A restrição é que se mais de cinco dias se passarem sem nenhum acesso ao índice o mesmo é apagado.

Tem mais. Vale a pena dar uma lida na página do produto para ver tudo o que é oferecido.

É bastante rápído e a relevância na apresentação dos documentos pesquisados, na minha opinião, é bastante boa.