llama.cpp bereikt versie 1.0 met een stabiele API
llama.cpp, de opensourcesoftware waarmee je taalmodellen op je eigen computer kunt draaien, is na ruim drieënhalf jaar aan versie 1.0 toe. Op 13 november verschenen llama.cpp 1.0.0 en de onderliggende rekenbibliotheek ggml 1.0.0 tegelijkertijd. Dat meldt het ggml-team van Georgi Gerganov in een blogpost op Hugging Face, waar het team sinds februari 2026 onderdeel van is.
Wat verandert er met versie 1.0
De grootste verandering is een belofte aan ontwikkelaars: vanaf nu werkt het project met semantische versienummers. Breekt de publieke C-API, dan volgt een nieuw hoofdversienummer. Nieuwe functies, backends of ondersteuning voor extra modellen tellen als minor-versie en pure bugfixes als patch. Volgens Pasquale Pillitteri geldt die afspraak ook voor de binaire interface van libllama en libggml.
Voor een schone start ruimt de release 35 verouderde functies op. Ook de instellingen voor warmup en de drempel voor defragmentatie verdwijnen. De API voor speculatieve decodering (NextN) is verplaatst naar het hoofdbestand llama.h. Wie alleen een kant-en-klare app gebruikt, hoeft zelf niets te doen. Ontwikkelaars die rechtstreeks tegen de bibliotheek compileren, moeten hun aanroepen wel even nalopen.
Gerganov schrijft dat elke nieuwe integratie meer ontwikkelaars afhankelijk maakt van de interfaces van de bibliotheek. Een vaste API moet die groep houvast bieden.

Nieuwe functies en modellen
Onder de motorkap is er wel degelijk nieuws. De KV-cache kan voortaan in FP8 worden opgeslagen, wat geheugen scheelt bij lange gesprekken. Een aparte cache houdt veelgebruikte experts van mixture-of-experts-modellen in het werkgeheugen en laat een deel van het werk aan de processor over. De releasenotes bevatten volgens Pillitteri geen metingen van snelheid of kwaliteit.
llama-server krijgt een OpenAI-compatibel endpoint voor spraak (/v1/audio/speech) en is beter beschermd tegen SSRF, CORS-problemen en DNS-rebinding. Dat is geen overbodige luxe: eerder dit jaar kaapten hackers open Ollama-servers voor hun eigen doeleinden. De webinterface kreeg een nieuwe look.
Aan de modelkant voegt de release drie nieuwe tekstarchitecturen toe, waaronder Kimi K3.1 Pro, waarvan Moonshot vorige week de gewichten online zette. In totaal ondersteunt llama.cpp volgens MLQ.ai ruim 150 architectuurvarianten. Bij de release telde het project zo’n 135.000 sterren op GitHub.
Breed gedragen project
NVIDIA, AMD, Qualcomm, Arm, IBM en Intel leveren hardware voor de testservers die elke wijziging controleren. De software is te installeren via onder andere Docker, Homebrew, Debian, conda-forge en Winget. Veel bekende apps voor lokale AI, zoals Ollama en LM Studio, bouwen voort op llama.cpp of ggml.
Wat betekent dit
Voor de gewone gebruiker verandert er niet zo veel. Wie een programma als Ollama gebruikt, merkt hooguit later iets van de nieuwe functies. De echte winst ligt bij softwaremakers. Tot nu toe kon een update van llama.cpp zomaar hun code breken, waardoor veel apps achterbleven bij de nieuwste versie. Met vaste spelregels wordt het eenvoudiger om lokale AI in producten te verwerken, van agents op je eigen pc tot grote modellen op een laptop. Voor bedrijven die hun data niet naar de cloud willen sturen, wordt het er daardoor ook wat minder riskant om op te bouwen.
