AllenAI
AllenAI’s EMO maakt Mixture-of-Experts eindelijk écht modulair (en dus goedkoper te draaien)
AllenAI introduceert EMO: een Mixture-of-Experts-model waarbij expert-groepen vanzelf per domein ontstaan. Daardoor kun je bij inferentie een kleine subset experts laden met bijna dezelfde prestaties — interessant voor kosten, latency en on-prem deployments.