Non sono solamente le profondità oceaniche nel mirino di Google. Il famoso motore di ricerca è infatti impegnato nello sviluppo di nuove soluzioni tecnologiche tese a esplorare il "Deep Web", quella porzione profonda di Internet a oggi invisibile ai sistemi per le ricerche online. Un obiettivo ambizioso, cui lavorano ormai da tempo diversi atenei e società, determinati a rendere più efficaci le procedure di catalogazione dei contenuti online.

Al momento, infatti, i programmi cui è affidato il compito di scandagliare la Rete, i crawler, traggono la maggior parte delle informazioni seguendo i percorsi creati dai link tra le diverse pagine presenti online. Questa procedura si rivela molto efficace per catalogare la parte più superficiale del Web, mentre si rivela poco adatta per penetrare le strutture più profonde della Rete come i database che soggiaciono all'organizzazione dei siti. I motori di ricerca sono così in grado di vedere la punta dell'iceberg, ma non riescono a catalogare con altrettanta efficacia le informazioni nascoste al di sotto del pelo dell'acqua.

Per scalfire la superficie e raggiungere le strutture più profonde, come i database, occorrono dunque crawler differenti e maggiormente specializzati nella lettura di contenuti assemblati e aggregati sul momento e non sempre presenti tra le pagine della Rete. Indagare questo genere di contenuti non è però semplice poiché occorre che il motore di ricerca agisca sui database, formulando specifiche richieste per scoprire e catalogare correttamente i contenuti delle basi di dati.

 

Alcuni motori di ricerca sperimentali concepiti per interagire con i database esistono già, ma non sono ancora in grado di svolgere un corretto e affidabile lavoro di catalogazione. Come sottolinea Alex Wright in un recente articolo del New York Times, uno degli esempi più promettenti sembra essere al momento il motore di ricerca Kosmix. All'interno della startup che si occupa del progetto figurano, inoltre, alcuni protagonisti di spicco del Web come Jeffrey P. Bezos, noto per essere il CEO del servizio di shopping online Amazon.com. I risultati forniti da Kosmix sono ancora parziali e poco accurati, ma forniscono un buon esempio di ciò che potrà essere un giorno la ricerca nelle profondità del Web.