Recursive Language Models – när modellen arbetar utanför sitt eget minne

En av de tydligaste begränsningarna i dagens språkmodeller är kontextfönstret. Dessa har expanderats kraftigt de senaste åren men problemet kvarstår. När inputen blir tillräckligt lång försämras kvaliteten. Modellen tappar struktur, missar samband eller börjar väga början och slutet tyngre än mitten.

För att förstå varför detta händer kan det vara hjälpsamt att reducera en språkmodell till sin enklaste form. I grunden är en LLM, något förenklat, en funktion som tar emot text, och som producerar text baserat på denna. Man kan beskriva den som

f(t) → t

All funktionalitet vi ser i praktiken; verktygsanrop, minne, agenter och komplexa arbetsflöden, bygger på denna grund. Själva modellen exponeras alltid bara för en sekvens av tokens och producerar nästa token. Data som hämtas ur externa källor genom tekniker såsom RAG (Retrieval Augmented Generation) läggs till kontexten. Modellen har ingen direkt åtkomst till något därutöver.

Context window är alltså mängden text modellen kan ta in vid ett enskilt anrop. När gränsen nås finns ingen dold bakdörr till resten av dokumentet. All förståelse måste rymmas inom den givna strängen.

En ny forskningsartikel, Recursive Language Models, föreslår ett annat sätt att hantera detta. Författarna beskriver det som ett generellt inference-paradigm där en basmodell används tillsammans med en persistent extern miljö. I deras implementation ligger hela prompten i en Python-REPL som ett objekt. Modellen kan generera kod som söker i texten, delar upp den, analyserar delar separat och anropar sig själv (alltså rekursivt) på dessa delar.

Varje enskilt anrop är fortfarande f(t) → t. Skillnaden ligger i hur dessa anrop organiseras.

Genom att strukturera dem rekursivt kan modellen arbeta över input som är upp till två storleksordningar större än dess kontextfönster, utan att trycka in allt i minnet samtidigt. I artikeln visar författarna att denna metod kan ge bättre kvalitet än traditionella lång-kontextstrategier, och de demonstrerar även en post-tränad variant som är optimerad för detta arbetssätt.

Man kan tänka på det som som en människa som hanterar ett omfattande arkiv. Man läser inte allt i ett svep. Man söker, markerar, jämför och återvänder till relevanta delar.

Helheten skapas genom en serie kontrollerade steg.

I verksamheter som hanterar stora dokumentmängder, juridiska texter eller tekniska manualer påverkar kontextgränsen direkt hur användbar modellen är. En rekursiv strategi gör det möjligt att analysera betydligt större material utan att kostnaderna för minne och beräkning växer i samma takt.

Under flera år har framsteg i AI ofta kopplats till större modeller och högre träningskostnader. Recursive Language Models pekar mot en utveckling där hur vi organiserar inferensen runt modellen kan vara lika avgörande som hur många parametrar den innehåller.

Mvh

Emil