Cohere Rerank 5 laat AI-agents minder tekst lezen
Cohere heeft op 21 oktober Rerank 5 uitgebracht, een nieuwe versie van het model dat zoekresultaten herordent voordat een taalmodel ze leest. Opvallend is een functie die Cohere Context Focus noemt: het model wijst binnen elk document de passages aan die de vraag echt beantwoorden. Volgens Cohere scheelt dat een zoekagent tot 41 procent aan tokens.
Wat een reranker doet
Wie een chatbot op eigen bedrijfsdocumenten loslaat, werkt meestal met retrieval-augmented generation (RAG). Een zoeksysteem haalt eerst kandidaat-documenten op, met trefwoorden, vectoren of een mix. Een reranker zet die lijst daarna op volgorde van bruikbaarheid. Pas dan gaat de tekst naar het taalmodel. Embeddingmodellen zoals EmbeddingGemma 2 van Google doen dat eerste zoekwerk, de reranker komt daarna.
Rerank 5 komt in twee varianten. Pro is gebouwd voor zo hoog mogelijke kwaliteit, Fast voor snelheid en lage kosten. Cohere rekent 0,05 dollar per miljoen tokens voor Pro en 0,02 dollar voor Fast. Het model draait achter bestaande zoeksystemen, dus opnieuw indexeren is niet nodig. Wie Rerank al gebruikt, hoeft volgens MarkTechPost alleen de modelnaam aan te passen.
Minder tekst, betere antwoorden
Context Focus geeft per document een relevantiescore plus de stukken tekst die ertoe doen. Ontwikkelaars stellen zelf een drempel in voor hoeveel tekst blijft staan. “Every token your LLM reads is a token you pay for”, schrijft Cohere in de aankondiging.
De cijfers komen van Cohere zelf. Op zes zware zoekbenchmarks gebruikte een zoekagent met Rerank 5 Pro en Context Focus 41 procent minder tokens dan met alleen klassiek trefwoordzoeken (BM25), terwijl de nauwkeurigheid steeg van 39 naar 52 procent. Over alle zeventien geteste datasets daalde het tokengebruik met 35 procent en ging de score van 46 naar 58 procent. AlphaSignal meldt dat Pro op de BRIGHT-benchmark 82,2 haalt, 5,8 punten boven Voyage AI Rerank 3 en 12,4 punten boven de eigen voorganger Rerank 4 Pro.
Fast verwerkt op een NVIDIA A100 volgens Cohere ongeveer 187 documenten van duizend tokens per seconde, bijna drie keer zoveel als Pro.
Scores die je kunt lezen
Een minder zichtbare wijziging is de kalibratie. Een score van 0,5 betekent bij Rerank 5 ongeveer: grotere kans dat het document bruikbaar is dan niet. Bij Pro ligt die grens op 0,50, bij Fast op 0,45. Bij veel andere rerankers zegt zo’n getal weinig. AlphaSignal noemt het voorbeeld van Voyage Rerank 3, waar documenten met een score rond 0,55 maar in 24 procent van de gevallen nuttig bleken. Een betrouwbare drempel maakt het makkelijker om automatisch te bepalen wat een agent wel en niet leest.
Pro scoorde in Coheres eigen meertalige test als beste op 14 van 19 niet-Engelse talen. Nederlands staat niet in het rijtje prioriteitstalen; Cohere noemt Spaans, Frans, Duits, Arabisch, Japans en Koreaans.
Wat betekent dit
Voor bedrijven die een interne kennisbank aan een chatbot of agent koppelen, zit de rekening vaak in de hoeveelheid tekst die het model moet lezen. Een reranker die irrelevante alinea’s wegfiltert, verlaagt die kosten zonder dat het zoeksysteem op de schop hoeft. Dat telt zwaarder nu agents langer zelfstandig doorwerken, zoals de agents van Notion die meer dan een dag aan één taak zitten.
Wel een kanttekening: alle benchmarks komen uit Coheres eigen evaluatie. Onafhankelijke vergelijkingen ontbreken nog. Voor Europese klanten is Cohere sowieso een naam om te volgen sinds de fusie met het Duitse Aleph Alpha, dat eerder Kolibri als open model uitbracht. Rerank 5 is beschikbaar via de Cohere API, Microsoft Foundry, Amazon SageMaker en in eigen datacenters.
