Lokala modeller bara nio månader efter GPT5

AI-modeller som går att köra lokalt på konsumenthårdvara för ca 25 000 kr ligger bara nio månader efter de allra senaste toppmodellerna, mätt på GPQA-Diamond*. Det är anmärkningsvärt kort "lagg" från betalvägg med data i USA till lokal konsumenthårdvara (Källa: Epoch AI, https://lnkd.in/duwXPzE3).

Det här gäller lokal inferens (träningen sker fortsatt centralt på superdatorer/moln), men det räcker långt för en hel del tillämpningar där latens och datakontroll spelar roll.

Om vi tar dagens ‘frontlinje’ som exempel betyder det att vi till våren 2026 har lokalt körbara modeller med förmågor motsvarande Grok 4 (lanserad 9 juli 2025) och GPT-5 (presenterad 7 augusti 2025).

Det matchar min egen upplevelse i vår lokala miljö där vi testat modeller som gpt-oss, deepseek-r1, gemma3, qwen3 med flera. I många fall ger de tillräckligt bra kvalitet när de är kvantiserade och körs på en högpresterande konsument-GPU. Trivselfaktorn i att kunna iterera utan API-token/credits är påtaglig.

Varför är avståndet inte större? Dels blir hårdvara hela tiden bättre men framför allt är det tekniker som modell-distillation (lärare → elev) och kvantisering som gör mindre modeller snabbare och mer minnes-effektiva med högst begränsad kvalitetsförlust (i rätt use-case).

Något jag saknar i Epoch AI:s rapport är varför trendlinjerna närmar sig varandra och försprånget ser ut att krympa.

Någon som har en teori? Eller som är intresserad av en diskussion kring vilka modellalternativ som är bäst för era behov? Bara att höra av sig.

(*): Lite mer tekniskt: siffrorna bygger på GPQA‑Diamond och på antaganden som 4‑bitars kvantisering, 8k kontext och att modellen ryms helt i VRAM. Att mäta hur bra AI‑modeller är är i sig svårt; GPQA‑Diamond fångar inte alla aspekter av verklig användning. Mindre, optimerade modeller kan ibland specialisera sig på enskilda benchmark och se välpresterande ut, men prestera sämre i bredare och mer oförutsedda arbetsflöden. Ta därför 9‑månader som en tumregel och inte som en garanti.