V tej objavi na blogu bomo raziskali načela, ki iskalnikom omogočajo hitro iskanje želenih informacij med ogromnim morjem spletnih dokumentov, ter ključne tehnologije, ki izboljšujejo kakovost iskanja.
Pogosto slišimo, da živimo v »poplavi informacij«. Informacije, o katerih govorimo tukaj, večinoma pomenijo podatke, dostopne prek interneta, in ko ljudje objavljajo vsebine na različnih platformah, kot so družbena omrežja (SNS), blogi in wikiji, se vsak dan ustvari ogromna količina novih informacij. Danes Google – največji iskalnik na svetu – indeksira več kot 100 milijard spletnih strani in iskanje želenih informacij v tako obsežni zbirki dokumentov nikakor ni enostavno. Če bi bili vsi ti dokumenti naključno shranjeni v velikanski knjižnici, bi morda trajalo celo življenje, da bi našli en sam dokument, ki ga iščete. Vendar pa lahko z iskalniki, kot so Naver, Google in Bing, najdemo želene informacije v le nekaj sekundah, preprosto tako, da vnesemo ključno besedo. To je mogoče, ker iskalniki uporabljajo različne tehnologije za sistematično zbiranje in organiziranje ogromnih količin informacij ter hitro zagotavljajo najustreznejše rezultate. V tem članku si bomo ogledali načela, na katerih temeljijo iskalniki, ki izvajajo ta »čarobni« podvig.
Prvič, kako iskalniki zbirajo informacije iz toliko spletnih dokumentov? Še danes se vsak dan ustvarijo milijoni novih spletnih strani, zaradi česar je ljudem praktično nemogoče, da bi vsako posebej ročno registrirali v iskalniku. Zato iskalniki avtomatizirajo postopek zbiranja spletnih strani, programi, ki opravljajo to nalogo, pa se imenujejo spletni pajki ali spletni iskalniki.
Spletni pajki prečkajo internet, da bi odkrili nove spletne strani in zbirali informacije. Za začetek tega postopka potrebujejo izhodišče, znano kot »semenski« URL. Spletni pajki začnejo na semenskem URL-ju, sledijo hiperpovezavam na tej strani, da se premaknejo na druge strani, in nadaljujejo z navigacijo po spletu tako, da sledijo povezavam na teh straneh. S ponavljanjem tega postopka najdejo novo ustvarjene ali posodobljene spletne strani in jih dodajo v indeksno bazo podatkov iskalnika.
Da bi iskalnik med velikim številom dokumentov hitro našel dokumente, povezane z uporabnikovimi iskalnimi izrazi, potrebuje učinkovito podatkovno strukturo, ki povezuje besede z dokumenti. To se imenuje obrnjen indeks.
Inverzni indeks je podatkovna struktura, ki shranjuje seznam dokumentov, ki vsebujejo določene besede. Tako kot indeks v tipični knjigi pove, na kateri strani se pojavi določena beseda ali tema, je inverzni indeks zasnovan tako, da takoj poišče dokumente, ki vsebujejo vneseni iskalni izraz. Če na primer v inverzni indeks iskalnika vnesete iskalni izraz »Seulska nacionalna univerza«, lahko iskalnik hitro najde vse zbrane dokumente, ki vsebujejo besedno zvezo »Seulska nacionalna univerza«. Z drugimi besedami, funkcijo preprostega iskanja dokumentov, ki vsebujejo določene besede, je mogoče izvesti samo z obratnim indeksom.
Vendar je težko zagotoviti visokokakovostne rezultate iskanja samo z obratnim indeksom. To pa zato, ker jedro iskalne storitve ni zgolj v prikazu velikega števila ustreznih dokumentov, temveč v razvrščanju dokumentov, ki jih uporabniki najbolj želijo.
Do poznih devetdesetih let prejšnjega stoletja so iskalniki, ki so prevladovali na ameriškem iskalnem trgu, trpeli zaradi padajoče kakovosti iskanja zaradi neželenih strani, ki so pretirano polnile določene ključne besede. Nekatera komercialna spletna mesta so manipulirala s svojimi uvrstitvami tako, da so v besedilo, ki ga uporabniki ne vidijo, večkrat vstavljala priljubljene iskalne izraze, s čimer so zagotavljala, da so se prikazali na vrhu rezultatov iskanja.
PageRank je algoritem, ki sta ga razvila soustanovitelja Googla Larry Page in Sergey Brin, da bi rešila to težavo. Osrednji koncept PageRanka je, da »več povezav, ki jih stran prejme z drugih strani, večja je verjetnost, da je pomembna stran«. Tako kot raziskovalni članek, ki je pogosto citiran v akademskih revijah, velja za vplivnega, tudi spletna stran prejme višjo uvrstitev, več povezav, ki jih prejme z drugih zaupanja vrednih strani, prejme. PageRank je znatno izboljšal kakovost iskanja in igral ključno vlogo pri rasti Googla v globalni iskalnik.
Seveda današnji iskalniki ne določajo uvrstitev v rezultatih iskanja samo na podlagi PageRanka. Sodobni iskalniki celovito analizirajo na stotine različnih signalov, da določijo rezultate iskanja. Čeprav PageRank ostaja pomemben koncept pri analizi povezav, se upoštevajo tudi različni drugi dejavniki, kot so kakovost vsebine, namen iskanja uporabnika, verodostojnost dokumenta, nedavnost in uporabniška izkušnja.
Tehnike iskanja informacij, kot je TF-IDF (Term Frequency-Inverse Document Frequency), se prav tako pogosto uporabljajo pri določanju uvrstitve rezultatov iskanja. TF se nanaša na to, kako pogosto se iskalni izraz pojavi v določenem dokumentu, medtem ko je IDF vrednost, ki označuje, kako redek je ta izraz v vseh dokumentih. Pogosteje ko se beseda pojavi v določenem dokumentu, hkrati pa ostane redka v vseh dokumentih, večja je verjetnost, da ima v tem dokumentu pomemben pomen.
Na primer, predpostavimo, da ste iskali »Seoul National University Jahayeon«. Če bi upoštevali samo TF, bi dokumenti, v katerih se izraz »Seoul National University« pojavlja pogosto, prejeli visoke ocene. Ker pa je izraz »Seoul National University« zelo pogost, medtem ko je »Jaha-yeon« relativno redek, uporaba IDF pomeni, da bodo dokumenti, ki vsebujejo »Jaha-yeon«, obravnavani kot ustreznejši. To iskalnikom omogoča, da prikažejo rezultate, ki se bolj ujemajo z uporabnikovo namero.
Iskalniki v zadnjem času aktivno uporabljajo ne le te tradicionalne tehnike iskanja informacij, temveč tudi tehnologije umetne inteligence in obdelave naravnega jezika (NLP) za nenehno izboljševanje kakovosti iskanja. Obdelava naravnega jezika je tehnologija, ki natančneje razume pomen stavkov s procesi, kot sta morfološka analiza – ki razdeli iskalne izraze na morfeme – in označevanje besednih vrst, ki prepozna slovnično kategorijo vsake besede. To iskalnikom omogoča, da gredo dlje od preprostega ujemanja besed in dejansko razumejo, kaj uporabnik išče.
Iskanje sinonimov je še ena ključna tehnologija, ki izboljšuje kakovost iskanja. Če uporabnik na primer išče »Pristojbina«, lahko iskalnik v rezultate iskanja vključi dokumente, ki vsebujejo besede s podobnim pomenom – kot so »Tarifa«, »Strošek«, »Cena« in »Račun«. V zadnjem času se je natančnost iskanja znatno izboljšala z napredkom semantičnega iskanja, ki presega takšno širjenje sinonimov, da bi razumel kontekst in pomen.
Iskalnik ni zgolj program, ki išče spletne strani. Je kompleksen sistem za iskanje informacij, ki se nenehno razvija, da samodejno zbira ogromne količine spletne vsebine, jo učinkovito indeksira, analizira iskalni namen uporabnikov in daje prednost najbolj zanesljivim informacijam.
Danes iskalniki aktivno uporabljajo tehnologije umetne inteligence za natančnejše razumevanje človeškega jezika in namere ter nenehno izboljšujejo svoje algoritme za filtriranje neželenih dokumentov in zagotavljanje zanesljivih informacij. Iskalniki se bodo v prihodnje še naprej razvijali kot odziv na spreminjajoče se spletno okolje in potrebe uporabnikov, kar nam bo pomagalo lažje in natančneje najti znanje, ki ga iščemo, v ogromnem oceanu informacij.
