Lokale Recall-schaalbenchmark

De tabellen combineren standaardprestatiematen met scenarionamen uit de LTM-benchmark. Hieronder staat hoe je deze begrippen kunt interpreteren.

Patterns

Het aantal Patterns in de benchmarkdataset. Dit is een telling van LTM-geheugeneenheden, niet van gebruikers, agents, tokens of queries. 1K betekent 1.000; 1M betekent 1.000.000.

Open (s)

De gemeten tijd om een bestaande LTM-dataset te openen, uitgedrukt in seconden. Dit staat los van de Recall-querylatentie. De resultaten in stabiele toestand voor 1M en 10M zijn gemeten na Posting Compaction.

Peak Managed

De gerapporteerde piek in beheerd geheugen tijdens de benchmarkrun. Dit geheugen wordt beheerd door de .NET-runtime en omvat niet al het geheugen dat het proces gebruikt.

Peak Working Set

De gerapporteerde piek van het procesgeheugen dat tijdens de benchmarkrun in het fysieke RAM aanwezig was. Dit omvat meer dan alleen beheerd geheugen en staat los van het ingestelde LTM-geheugenbudget.

P50 / P95 / P99

Percentielen van de querylatentie. P50 is de mediaan; P95 en P99 beschrijven het tragere deel van de gemeten verdeling. Ongeveer 95% van de gemeten queries is voltooid binnen de P95-tijd en 99% binnen de P99-tijd. De waarden staan in milliseconden; lagere waarden betekenen een kortere latentie.

Hot / Context

Hot en Context zijn namen van benchmarkscenario's. Hot verwijst naar de Hot-querywerklast; Context naar de contextgebaseerde querywerklast. Hot betekent op zichzelf niet dat het queryresultaat in de cache staat. Hot Cold-first is bijvoorbeeld het Hot-scenario onder de cold-first-omstandigheden van de benchmark.

Cold-first / Warm

Cold-first en Warm onderscheiden cacheomstandigheden in de benchmark. Cold-first verwijst naar de eerste querymetingen; Warm naar de daaropvolgende werklastmetingen. Warm garandeert geen cache-hit. Deze namen bewijzen op zichzelf niet dat de bestandscache van het besturingssysteem is geleegd.

Physical Reads

De fysieke-readteller die de benchmark voor het betreffende scenario rapporteert. Dit is niet automatisch een gemiddelde per query of een telling van bewerkingen op het schijfapparaat. Vergelijk deze tellers alleen wanneer de meetomvang en de werklast vergelijkbaar zijn.

Throughput (qps)

Het aantal gemeten queries dat tijdens het scenario per seconde wordt voltooid. De doorvoer hangt af van de werklast en het aantal gelijktijdige queries en is niet noodzakelijk het omgekeerde van de P50-latentie.

Cache Hit / Miss

De gerapporteerde aantallen cache-hits en cache-misses voor het scenario, weergegeven als Hit / Miss. Deze tellers beschrijven de gemeten cache, niet alle caches in het systeem. Het hitpercentage van 100% voor de resultaatcache geldt voor de gerapporteerde HotWarm- en ContextWarm-metingen.

Posting Compaction

Een onderhoudsbewerking die postinggegevens herschrijft naar een compactere indeling. De tabellen vergelijken metingen vóór deze bewerking met metingen in stabiele toestand erna. De kosten van de eerste uitvoering worden apart vermeld van latere Open-tijden in stabiele toestand.

Deze metingen betreffen lokale Storage- en Recall-prestaties. Ze omvatten geen LLM-responsgeneratie en vormen geen garantie voor productieprestaties of de kwaliteit van het redeneren van een agent. De exacte queryopbouw, cachevoorbereiding en tellergrenzen moeten samen met de benchmarkcode en testmethode worden gelezen.