Mixture of Experts
Qwen3.8-Flash-Next geeft alvast een blik op Qwen4
Alibaba brengt Qwen3.8-Flash-Next uit: 125 miljard parameters, 6 miljard actief per token en een contextvenster van 262.144 tokens. Het model is vooral een preview van de Qwen4-architectuur.
AMD traint Instella-MoE volledig op eigen GPU’s
AMD bracht Instella-MoE-16B uit, een volledig open mixture-of-experts-model dat het van begin tot eind op eigen Instinct-GPU’s trainde.
Mistral zet open-weight model in tegen OpenAI
Mistral gaat begin juli in early access met een nieuwe open-weight mixture-of-experts, terwijl goedkope Chinese modellen de prijsdruk opvoeren.
Cohere brengt Command A+ uit: open model gericht op enterprise (en waarom dat opvalt)
Cohere heeft Command A+ aangekondigd: een open model dat expliciet mikt op enterprise-usecases. Wat zegt dit over de verschuiving naar ‘open’ modellen voor productie?
AllenAI’s EMO maakt Mixture-of-Experts eindelijk écht modulair (en dus goedkoper te draaien)
AllenAI introduceert EMO: een Mixture-of-Experts-model waarbij expert-groepen vanzelf per domein ontstaan. Daardoor kun je bij inferentie een kleine subset experts laden met bijna dezelfde prestaties — interessant voor kosten, latency en on-prem deployments.