MoE
Xiaomi geeft MiMo-Flash en 7.000 RL-omgevingen vrij
Xiaomi zette MiMo-V2.6-Flash onder MIT-licentie op Hugging Face, samen met ruim 7.000 reinforcement-learningomgevingen. 309 miljard parameters, 15 miljard actief, context van een miljoen tokens.
StepFun zet Step 5 Preview online, gewichten volgen
StepFun lanceert Step 5 Preview: 600 miljard parameters, 1 miljoen tokens context en 1 dollar per miljoen invoertokens. De gewichten komen op 15 oktober vrij.
Kimi K3: grootste open-weight model tot nu toe
Moonshot AI geeft de gewichten van Kimi K3 vrij: een MoE-model met 2,8 biljoen parameters, een miljoen tokens context en scherpe prijzen dat de gesloten frontier-labs op de hielen zit.
Moonshot lanceert Kimi K3, grootste open AI-model
Het Chinese Moonshot bracht Kimi K3 uit, een open model met 2,8 biljoen parameters en een context van 1 miljoen tokens dat de frontier van OpenAI en Anthropic benadert.
AllenAI’s EMO maakt Mixture-of-Experts eindelijk écht modulair (en dus goedkoper te draaien)
AllenAI introduceert EMO: een Mixture-of-Experts-model waarbij expert-groepen vanzelf per domein ontstaan. Daardoor kun je bij inferentie een kleine subset experts laden met bijna dezelfde prestaties — interessant voor kosten, latency en on-prem deployments.