Congreso Internacional INFO2004 Para acceder al web profundo: conceptos y herramientas Autores: Lourdes Vilaragut Llanes Juan R. Carro Surez Institucin: Consultora Biomundi / IDICT Calle 200 #1922 e/ 19 y21. Atabey. Playa. Ciudad de La Habana. Cuba carro@biomundi.inf.cu; lourdes@biomundi.inf.cu RESUMEN HoybuscarinformacinenInternetpuedellegaraconvertirseenunaexperienciapoco agradable, puede recuperarse gran cantidad de informacin irrelevante y no encontrar lo que necesita. No slo porque hay que saber cmo utilizar los llamados buscadores o mquinas de bsquedas tradicionales para obtener el mximo provecho, sino porque stos apenas indizan unapequeapartedetodoloquelaredpuedeofrecer.Buscarinformacinutilizandolos buscadorestradicionalespuedesercomparadoconarrastrarunaredenlasuperficiedeun ocano. No podr obtener muchos peces de aguas profundas. La empresa BrightPlanet sostiene, merced a un estudio basado en datos recogidos entre el 13 y el 30 de marzo de 2000, que la disponibilidad de informacin pblica en el llamado Deep Web oWeb Profundo es alrededor de 550 veces mayor que en elWeb Superficial(SurfaceWeb), lo que comnmente llamamos World Wide Web. El Web Profundo almacena pginas dinmicas que se obtienen en respuesta a interrogaciones directasa bases de datos; almacena documentos en formatos especficos diferentes de html, comoporejemplopdf,doc,software,audio,videos,entreotros.Lamayorpartedeesta informacin no se recupera utilizando los buscadores tradicionales. EnestetrabajosepretendedaraconocerqueselDeepWeboWebProfundoymostrar algunas de las herramientas que existen en la actualidad para acceder ala informacin que en l se encuentra. 1 Palabras claves : web profundo, buscadores, internet Para acceder al web profundo: conceptos y herramientas Autores: Lourdes Vilaragut Llanes Juan R. Carro Surez Lamayorpartedelosusuariosdeinternet,cuandonecesitabuscarinformacin,lo hace a travs de las mquinas de bsquedas o directorios tradicionales, a los cuales se les llamara en esta ponencia simplemente buscadores. Esta bsqueda puede llegar a convertirseenunaexperienciapocoagradableporquepuederecuperarsegran cantidad de informacin irrelevante y no encontrar lo que se necesita. No slo porque hayquesabercmoutilizarlosbuscadoresparaobtenerelmximoprovecho,sino porque stos apenas indizan una pequea parte de todo lo que la red puede ofrecer. Cada mquina de bsquedas utiliza su propio mecanismo de araa (robot o spider o rastreador) para recorrer la red siguiendo los enlaces o hipervnculos que se encuentran enlaspginasestticaspordondepasan,conformandounabasededatosconla informacinrecuperada.Loscaminosseguidosporlosdistintosbuscadoresnoson exactamente los mismos. A pesar de su pretendida exhaustividad, se calcula que las mayores mquinas de bsqueda (Google, AlltheWeb) indizan slo un 16% de toda la informacincontenidaeninternet.Segnestadsticasrealizadasporsitiosde reconocido prestigio internacional, se puede conocer que existe poco solapamiento en las bases de datos de los buscadores, lo cual tal vez justifica su proliferacin, ya que cada uno va cubriendo diferentes reas del espacio web, sin que por ahora sea posible tcnicamente que ninguno sea exhaustivo. Losbuscadoresarrojanresultadossobrelasbsquedasrealizadasensuspropias bases de datos y no sobre toda la web directamente. 2 Lapartedelawebqueesaccesibleatravsdelosbuscadorestradicionalessele conoce con el nombre de Web Superficial (Surface Web).De esta parte de internet se escapanmuchasvecescientosdemilesdebasesdedatosimportantes,entrelas cuales se encuentran catlogos de bibliotecas, bases de datos bibliogrficas, revistas electrnicasenlasqueesnecesariounregistroprevio,obrasdereferenciacomo enciclopedias, diccionarios y otras. Esta informacin slo puede ser accedida a travs debsquedasdirectasalossitiosdondeestnalmacenadas,quepuedentener sistemas de bsqueda y recuperacin propios y que como respuesta pueden conformar pginas que son creadas dinmicamente. La parte de la web formada estos sitios y fuentes de informacin se le conoce con el nombredeWebProfundooDeepWeb.Algunaspersonaslollaman,errneamente, WebInvisible.AlhablardelWebProfundoalgunosserefierenabasesdedatos especializadas,archivosenformatosnohtml,comosonpdf,doc,archivosdeaudio, video,imgenes,ascomotambinbibliotecasvirtuales,bibliotecasdigitalesyotros repositorios de informacin. En 1994 el Dr. J ill Ellsworth fue el primero en acuar la frase Web Invisible para referirse a la informacin que fuera invisible a las mquinas de bsquedas o directorios tradicionales. El trmino Web Invisiblese dice que es inexacto porque: Muchos usuarios asumen que la nica forma de acceder a la web es consultando un buscador. Algunainformacinpuedeserencontradamsfcilmentequeotra,perostono quiere decir que est invisible. La web contiene informacin de diversos tipos que es almacenada y recuperada en diferentes formas. Elcontenidoindizadoporlosbuscadoresdelawebesalmacenadotambinen bases de datos y disponible solamente a travs de las interrogaciones del usuario, por tanto no es correcto decir que la informacin almacenada en bases de datos es invisible. 3 Segn estudios realizados por la compaa BrightPlanet (comenz ahablar del Web Profundo en el ao 2000) se dice que: La informacin pblica del Web Profundo es actualmente alrededor de550 veces mayor que la del Web Superficial.ElWebProfundocontiene7,500terabytesdeinformacincomparadocon19 terabytes en el Web Superficial.El Web Profundotiene el mayor crecimiento de nueva informacin en Internet.MsdelamitaddelcontenidodelWebProfundoresideenbasesdedatos especficas.LacalidaddelcontenidodelWebProfundoesconsideradaporlomenos1,000o 2,000 veces mayor que la del Web Superficial.El 95% de la informacin del Web Profundo es informacin totalmente pblica, libre de subscripciones y tarifas. Grfico de BrightPlanet. El Web Profundo y el Surface Web EnelWebProfundooDeepWebpuedeencontrarseinformacinqueesvlidapara sistematizarenunabasededatos,ej:directoriostelefnicos,patentes,leyes, diccionarios,archivosgrficosymultimedia;informacinqueesnuevaycambia continuamente su contenido, ej: noticias, avisos de trabajos, programacin de viajes por avinotransporteterrestre,habitacioneslibresenhoteles,informacindelos 4 mercados,clasificados,etc.Tambinpuedenencontrarsesitiosdecompaas, empresas, instituciones, etc.; pginas blancas y pginas amarillas; pginas internas de sitios muy grandes que son creadas dinmicamente. ej: base de conocimientos en el sitio de Microsoft. Buscadores del Web Profundo Estas herramientas permiten acceder a una mayor porcin delweb ya que, adems de buscar en el Web Superficial, buscan en el Web Profundo, que resulta inaccesible para los buscadores tradicionales, en su mayor parte. CompletePlanet: www.completeplanet.com Pertenece a la compaa BrightPlanet. Algunos autores lo consideran el ms grande y completo directorio de la red, mantiene un crecimiento muy rpido. Fue creado como un servicio pblico y como banco de pruebas para el Deep Query Manager (DQM), que es unservicioparaabonadosyunapoderosaherramientaparadescubrirygestionarel contenidodeinternet(WebProfundoyWebSuperficial)deformasinprecedentes, flexible y potente. CompletePlanet cuenta con el ms completo listado disponible de todas las mquinas del Web Superficial y de las bases de datos del Web Profundo. Como caractersticas principales se pueden sealar adems: Tiene 103,000 sitios para buscar, organizados en ms de 4,000 temas. Permitebuscarensudirectorioohacerunabsquedacombinandodistintas temticas.Laestrategiadebsquedapuedeserunalistadetrminos,unafraseouna pregunta escrita en lenguaje natural. Permiteutilizarlossiguientesoperadores:AND(&,+),OR,NOT(-),ANDNOT, NEAR, BEFORE, AFTER, . Se pueden usar los parntesis para agrupar los operadores. 5 No limita el nivel de anidamiento en una estrategia de bsqueda. Al mostrar los resultados CompletePlanet da un grupo de indicadores sobre el sitio: Relevant: Relevancia para la estrategia de bsqueda. Popular: Frecuencia con que el sitio es solicitado. New: Indica si el sitio ha sido recientemente incorporado. Link: Presentan los enlaces externos desde el sitio recuperado. In DQM: Indica si el sitio es controlado por el DQM. Pantalla principal del sitio de CompletePlanet Profusion: www.profusion.com Este sitio fue adquirido por la compaa de bsquedas Intelliseek en abril del 2000. Se apoyaformalmenteenlaUniversidaddeKansas.Buscaenalgunasdelasmayores mquinas de bsqueda del Web Superficial y en un gran nmero de fuentes en el Web Profundo. 6 Pantalla principal del sitio de Profusion Otras herramientas de bsqueda para el Web Profundo www.fossick.com: Contiene ms de 3,000 bases de datos especializadas y mquinas de bsquedas, muchas de disciplinas acadmicas y tpicos populares. infomine.ucr.edu: Mquina de bsqueda acadmica, con revistas electrnicas, libros, catlogos de bibliotecas en lnea, directorios cientficos, entre otros. dir.lycos.com: Lista de bases de datos referenciales en tpicos cientficos y populares. www.thebighub.com:Indicedemsde3,000temasdebasesdedatosespecficas agrupadas en ms de300 categoras. www.webdata.com/webdata.htm: Portal de bases de datos especializado en encontrar, categorizar y organizar bases de datos en lnea y proveer enlaces de inters. Copernic Agent Pro.Es un agente inteligente disponible comercialmente, que consulta simultneamente las ms importantes mquinas de bsquedas de Internet. Tiene la versin Copernic Agent Basic, que es gratuita. 7 Copernic AGENT Pro rene sus bsquedas en ms de 120 categoras especializadas, agrupadas entre otras en: Favoritos Negocios y economa Computadoras e internet Enciclopedias y referencias Gobierno y leyes Noticias Telemercado (shopping) La web Entre sus principales caractersticas podemos citar: Facilita la definicin de la bsqueda. Los documentos son listados de acuerdo a su relevanciaResalta en los resultados las palabras buscadas. Los resultados duplicados son depurados. Lasbsquedaspuedenserrefinadasusandolosoperadores:AND,OR, EXCEPT, NEAR sobre los resultados. Ofrece una breve descripcin de los documentos. Lasexpresionesdebsquedasonalmacenadasconlosresultados correspondientes. Permite diferentes niveles de anlisis de los resultados. Puede extraer conceptos de las pginas recuperadas. Puedeconsultarmsde1000mquinasdebsquedaentrelasquese destacan:Google,FastAlltheweb,MSNWebSearch,Yahoo,Altavista, Euroseek, AOL.com Search, HotBot, Teoma, Wisenut, Lycos, LookSmart, etc. Losreportesdelasbsquedaspuedensergeneradosenformatodepginas web, lo que facilita el filtrado, clasificacin y revisin de los documentos. Suprime los enlaces muertos de los resultados. 8 Copernic Agent Pro LexiBot Es un agente de bsquedas para el Web Profundo. Es capaz de identificar, recuperar, calificar y organizar contenidos del Web Superficial y del Web Profundo, a partir de una estrategiadebsquedadada.Actualmentesoporta4,300fuentes,categorizadasen ms de 180 tpicos, permitiendo seleccionar las fuentes donde se va a buscar. Como otras caractersticas se pueden citar: Elimina los duplicados y los enlaces muertos. Indiza hasta1000 documentos entre los resultados. Clasifica los documentos por orden de relevancia, por omisin. Losresultadosobtenidospuedenseragrupadosyconsultadosposteriormente por esta misma herramienta. Los resultados pueden ser exportados a un archivo texto con delimitador (coma) ocomohtml.Posteriormenteestosarchivospuedenserimportadosaotras bases de datos o a Microsoft Excel. 9 Lexibot Conclusiones El desarrollo de las herramientas del Web Superficial (con ms de 10 aos de trabajo) est muy avanzado en sus capacidades de bsqueda y de cobertura de los contenidos. LasherramientasdebsquedadelWebProfundo(con3aosdetrabajo)tratande resolver los problemas tcnicos que limitan la cobertura y accesibilidad a las fuentes de informacin que all se encuentran. Actualmentenoesposibleestablecerunacomparacinentrelascapacidadesde recuperacin que ofrecen el Web Superficial y el Web Profundo porque los diferencian, sensiblemente, sus estados de desarrollo. 10 Referencias bibliogrficas 1.The Deep Web; Consultada en Enero 2004. Disponible en: http://library.albany.edu/internet/deepweb.html. University at Albany Libraries. Internet tutorials 2.Searching the Deep Web, Consultada en Enero 2004. Disponible en: http://www.dlib.org/dlib/january01/warnick/01warnick.html 3.Deep Web Technologies, Consultada en Enero 2004. Disponible en: http://www.deepwebtech.com/ 4.The Invisible Web, Consultada en Enero 2004. Disponible en: http://www.weblens.org/invisible.html 5.How to Choose a Search Engine or Directory; Consultada en Enero 2004. Disponible en: http://library.albany.edu/internet/choose.html 6.Technology white papers: The Deep Web: Surfacing Hidden Value; Consultada en Enero 2004. Disponible en: http://www.brightplanet.com/technology/deepweb.asp 7.Sitio Completeplanet: Consultada en Enero 2004. Disponible en http://www.completeplanet.com/ 8.The Invisible or Deep Web: What is Really Out There!; Consultada en Enero 2004. Disponible en: http://library.trinity.wa.edu.au/library/invis/default.htm 9.Searching the Deep Web. Directed Query Engine Applications at the Department of Energy; Consultada en Enero 2004. Disponible en: http://www.dlib.org/dlib/january01/warnick/01warnick.html. 11