Vektorsoektog lewer effektief semantiese ooreenkomste vir herwinning verhoogde generasie, maar dit vaar swak met kort sleutelwoordsoektogte of buite-domein soekterme. Die aanvulling van vektorherwinning met sleutelwoordsoektogte soos BM25 en die kombinasie van die resultate met 'n herranger word die standaard manier om die beste van albei wêrelde te kry.  Herrangers is ML-modelle wat 'n stel soekresultate neem en hulle herrangskik om relevansie te verbeter. Hulle ondersoek die navraag gepaard met elke kandidaatresultaat in detail, wat rekenkundig duur is, maar meer akkurate resultate lewer as eenvoudige herwinningsmetodes alleen. Dit kan gedoen word as 'n tweede fase bo-op 'n enkele soektog (trek 100 resultate uit vektorsoektog, vra dan die herranger om die top 10 te identifiseer) of, meer dikwels, om resultate van verskillende soorte soektogte te kombineer; in hierdie geval, vektorsoektog en sleutelwoordsoektog.  Maar hoe goed is rerankers van die rak af? Om uit te vind, het ek ses rerankers getoets op die teks van die  , met behulp van Gemini Flash om teks uit die beelde te onttrek. Besonderhede oor die datastelle kan gevind word in afdeling 3.1 van  . Veral TabFQuAD en Shift Project bronne is in Frans; die res is in Engels.   ViDoRe maatstaf   die ColPali-vraestel  Ons het hierdie herrangers getoets:  (RRF), 'n formule om resultate uit veelvuldige bronne te kombineer sonder om iets van die navrae of dokumente te weet; dit hang suiwer af van relatiewe ordening binne elke bron. RRF word onder meer in Elastic en LlamaIndex gebruik.   Wederkerige Rangsamesmelting  en  , waarskynlik die gewildste modelle wat aangebied word.   Cohere Rerank v3   Jina Reranker v2  , die oopbronmodel met die hoogste telling (Apache-gelisensieer).   BGE-herranger-v2-m3  en herrangskik-2-lite, nuut vrygestel (  ) deur 'n stewige maatskappy.   Reis herrangskik-2   in September  Die herrangers is gevoer met die top 20 resultate van beide DPR en BM25, en die herrangskik NDCG@5 is geëvalueer.  In die resultate word rou vektorsoektog (met inbeddings van die bge-m3 model) gemerk dpr (digte deurgang herwinning). BGE-m3 is gekies om inbeddings te bereken omdat dit is wat die ColPali-outeurs as 'n basislyn gebruik het.  Hier is die data oor relevansie (NDCG@5):   En hier is hoe vinnig hulle is om soektogte in die arxiv-datastel te herrangskik; latensie is eweredig aan dokumentlengte. Dit is grafiese latensie, so laer is beter. Die self-gasheer bge-model is op beide 'n NVIDIA 3090 gebruik met die eenvoudigste moontlike kode wat reguit opgehef is  .    die Hugging Face-modelkaart  Ten slotte, hier is hoeveel dit met elke model gekos het om die byna 3 000 soektogte van al ses datastelle te herrangskik. Hou pryse per soektog saam (met bykomende fooie vir lang dokumente), terwyl die ander prys per teken.   Ontleding  Al die modelle vaar ongeveer net so goed op die Franse datastelle as wat hulle op die Engelse doen.  Cohere is aansienlik duurder en bied effens (maar konsekwent) slegter relevansie as die ander ML-herrangers – maar dit is 3x vinniger as die naasvinnigste dienste. Daarbenewens,  is die vrygewigste.   Cohere se standaardtarieflimiete  Voyage Rerank-2 is die koning van herrangskikkingsrelevansie in alle datastelle, vir 'n bykomende treffer tot latensie. Dit is veral die enigste model wat nie slegter vaar as DPR alleen in die arxiv-datastel nie, wat blykbaar besonder moeilik is.  Voyage rerank-2-lite en jina reranker v2 is baie, baie soortgelyk: hulle is dieselfde spoed, aangebied teen dieselfde prys, en naby aan dieselfde relevansie (met 'n effense voorsprong vir Voyage). Maar  is dubbel  , en met Voyage kry jy 'n "regte"  in plaas daarvan om rou http-versoeke te maak.   Voyage se standaardtarieflimiet   jin se   Python kliënt  BGE-reranker-v2-m3 is so 'n liggewig model (onder 600M parameters) dat dit selfs op 'n ouer verbruiker GPU bruikbaar vinnig is.  Gevolgtrekking  RRF voeg min tot geen waarde by tot hibriede soekscenario's; op die helfte van die datastelle het dit swakker gevaar as óf BM25 óf DPR alleen. Daarteenoor het alle ML-gebaseerde herrangskikkings wat getoets is, betekenisvolle verbeterings gelewer bo suiwer vektor- of sleutelwoordsoektog, met Voyage-herrangskik-2 wat die maatstaf vir relevansie gestel het.  Afwykings is steeds teenwoordig: voortreflike akkuraatheid van Voyage-herrang-2, vinniger verwerking vanaf Cohere, of soliede middelgrondprestasie van Jina of Voyage se lite-model. Selfs die oopbron-BGE-herranger, terwyl dit kommersiële opsies agtervolg, voeg aansienlike waarde toe vir spanne wat kies om self aan te bied.  Namate grondslagmodelle aanhou vorder, kan ons selfs beter prestasie verwag. Maar vandag se ML-herrangers is reeds volwasse genoeg om met selfvertroue oor veeltalige inhoud te ontplooi.  Deur Jonathan Ellis, DataStax

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Hierdie oudio word in die oorspronklike taal van die storie vervaardig!

Vektorsoektog: 'n Reranker Algorithm Showdown

About Author

KOMMENTAAR

HANG TAGS

HIERDIE ARTIKEL IS AANGEBIED IN

Related Stories

Startups of The Year: Meet the Business Industry

Thrilled to be Recognized as Startup of the Year in New York City

Uber Still Can't Turn a Profit

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Startups of The Year: Meet the Business Industry

Thrilled to be Recognized as Startup of the Year in New York City

Uber Still Can't Turn a Profit

How to Vote in the HackerNoon 2021 Noonies Awards #Noonies2021

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps