A videó keresőmotorokat gyakran egy-egy videó rangsorolása alapján értékelik ki. Az adott anyagot rövid leírás kíséri a tesztsorban. Ez a feltétel viszont nem biztos, hogy pontos képet ad a rendszer valódi környezetben játszott szerepéről, hogy mennyire hasznos olyankor, amikor nem egy, hanem sok videó felel meg a keresési kritériumoknak.
A Bristol Egyetem kutatóinak munkája, az új mércének, szintnek javasolt Szemantikus hasonlóság-alapú videokinyerés (SVR) megoldhatja a problémát. Az SVR sok hasonló videó rangsorolása alapján értékeli ki a keresőket. A kutatók maguk is fejlesztettek egyet, amely egyébként nagyon jól teljesített.
A hasonlóság-alapú kiértékeléshez magához a leírások és a videók közötti hasonlósághoz kell nagyon pontos mértéket találni. Az összehasonlításhoz nincs automatikus módszer, a leírások viszont többféleképpen összehasonlíthatók.
A kutatók először a rendelkezésükre álló leírások közötti hasonlóságokat értékelték ki, hogy aztán egyáltalán belekezdhessenek a leírások és a videók összehasonlításába. Így vált lehetővé rendszerük gyakoroltatása, amely több videóhoz társított szöveget rangsorolt, majd a keresési eredményeket is kiértékelte.
A leírásokhoz és a videókhoz külön reprezentációkat generálva, a kutatók tovább finomították a hasonlóságokat. Felirat alapján a rendszer megtanulta a pontosabb rangsorolást, hogy mely anyagoknál passzol leginkább a videó- és a szöveges reprezentáció (és persze fordítva is: a szöveg mikor kapcsolódik a mozgóképanyaghoz).
Film-, híradó- és más forrásokkal végezték a teszteket. Ha a hasonlóság meghaladta a megadott küszöbértéket, akkor a leírás megfelelt a videónak. A rendszer a leírások reprezentációját létrehozó nyelvi modellel és videóreprezentációkat generáló ideghálóval dolgozott együtt. A hasonlóságokat és az eltéréseket egyaránt jól kezelte, és a videókat is pontosabban rangsorolta, mint a korábbiak.
A kutatók azzal is újítottak, hogy egy, már bevált tesztet sikeresen elvégző rendszer helyett, az ezekhez a rendszerekhez jobban passzoló tesztet dolgoztak ki. Megközelítésük a jövőben hasznosabb rendszereket eredményezhet.
A kutatás tanulsága, hogy a gépi tanulás fejlődésével egyre több új mércére lesz szükség, mert különben nem tudjuk pontosan követni és mérni az állandó újításokat.
