Tweet

0

Google graaft het onzichtbare web op

Indexrobots trainen op invullen HTML-formulieren

De zoekrobots van Google hebben er een berg werk bij gekregen. Ze moeten op zoek naar de miljoenen webpagina’s die verborgen liggen in het onzichtbare web, om de zoekresultaten te verbeteren.

In een blogposting op de Google Webmaster Central Blog leggen zoekexperts Jayant Madhavan en Alon Halevy uit dat de zoekmachine start met een ontdekkingstocht in een onbekend gedeelte van het web. De zoekrobots zullen de taak krijgen om HTML-formulieren in te vullen waarachter pagina’s verborgen liggen die niet kunnen worden geïndexeerd. Het gaat daarbij om onderdelen van bibliotheekcatalogussen en artikelverzamelingen die pas tevoorschijn komen na een gerichte zoekopdracht.

“Dit experiment is onderdeel van Googles pogingen om zijn bereik op het web te vergroten. HTML-formulieren worden sinds lange tijd beschouwd als een doorgang tot grote hoeveelheden data die buiten het bereik van reguliere zoekmachines liggen”, schrijven de twee. Blogger Anand Rajaraman, die in het verleden met Halevy samenwerkte, denkt dat Googles plan te maken heeft met het bedrijf Transformic, dat de zoekmachine in het verleden aanschafte.

Volgens Rajaraman is de techniek die Transformic ontwikkelde in staat om uit te vogelen welke schatkamers het waard zijn voor zijn gebruikers om te openen. Daarnaast weet zij om te gaan met de vele neerklapbalken, tekstvelden en andere obstakels die het de zoekrobots moeilijk maken bij het invullen van HMTL-formulieren.

bron: ZDNet