Google agregó hace poco la billonésina dirección a la lista de páginas web entre las cuales realiza sus búsquedas.
Un día del verano pasado, el motor de búsqueda de Google estableció calladamente una marca histórica: agregó la billonésina dirección a la lista de páginas web entre las cuales realiza sus búsquedas. Pero aunque parezca imposiblemente grande, ese número representa apenas una fracción de la totalidad de la red.
Más allá de ese billón de páginas yace una red incluso más vasta de datos escondidos: información financiera, catálogos de compras, horarios de vuelos, investigación médica y toda clase de material almacenado en bases de datos que permanecen en buena medida invisibles a los motores de búsqueda.
Los retos que los principales motores de búsqueda enfrentan para penetrar esta llamada Red Profunda explican en buena medida por qué aún no pueden proporcionar respuestas satisfactorias a preguntas como “¿cuál es la mejor tarifa de Nueva York a Londres el próximo jueves?” o “¿cuándo jugarán los Yanquis contra los Medias Rojas este año?” Las respuestas estarían fácilmente disponibles… si los motores de búsqueda supieran encontrarlas.
Actualmente está tomando forma una nueva generación de tecnologías que extenderá el alcance de los motores de búsqueda a los “rincones escondidos” de la red. Cuando eso suceda, hará más que mejorar la calidad de los resultados de las búsquedas; podría en última instancia transformar la manera en que las compañías hacen negocios en línea.
Los motores de búsqueda se basan en programas conocidos como “crawlers” (o “spiders”) que reúnen información siguiendo el rastro de los “hiperlinks” que entrelazan a la red. Aunque ese método funciona bien para las páginas que componen la red superficial, es más difícil penetrar las bases de datos configuradas para responder a búsquedas tipografiadas.
“La porción de red en la que se puede buscar mediante ‘crawling’ es apenas la punta del iceberg”, señaló Anand Rajaraman, cofundador de Kosmix (www.kosmix.com), una compañía nueva dedicada a la Red Profunda (Deep Web) entre cuyos inversionistas está Jeffrey P. Bezos, director general de Amazon.com. Kosmix ha desarrollado software que vincula las búsquedas con las bases de datos con más probabilidades de arrojar información relevante y luego ofrece un panorama general sobre el tópico obtenido de múltiples fuentes.
“La mayoría de los motores de búsqueda intentan ayudar a la persona a encontrar una aguja en un pajar”, indicó Rajaraman. “Lo que intentamos hacer es ayudarle a explorar el pajar”.
Ese pajar es infinitamente grande. Con millones de bases de datos conectadas a la red, y un número interminable de permutaciones posibles en los términos de las búsquedas, simplemente no hay forma de que ningún motor de búsqueda –no importa cuán poderoso– analice toda combinación posible de datos de inmediato.
Para obtener datos significativos de la Red Profunda, los motores de búsqueda tienen que analizar los términos de búsqueda de los usuarios y determinar cómo dirigir las búsquedas a bases de datos particulares. Por ejemplo, si un usuario escribe “Rembrandt” el motor de búsqueda debe saber qué bases de datos tienen más probabilidades de contener información sobre bellas artes (como, digamos, catálogos de museos o casas de subastas) y qué clase de búsquedas aceptan esas bases de datos.
Esa tarea podría sonar bastante sencilla en teoría, pero en la práctica la amplia diversidad de estructuras de bases de datos y de posibles términos de búsqueda plantean un espinoso reto computacional.
Más allá de las búsquedas de consumidores, las tecnologías de Red Profunda podrían con el tiempo permitir que las compañías usen los datos en nuevas formas. Por ejemplo, un sitio de salud podría interrelacionar los datos de las compañías farmacéuticas con los últimos hallazgos de investigadores médicos, o un sitio de noticias local podría extender su cobertura permitiendo a los usuarios acceder a registros públicos almacenados en bases de datos del gobierno.