„Wir freuen uns, einige der besten Flugbegleiter der Branche in unseren Diensten zu haben. Zu unserem größten Bedauern ist niemand von ihnen auf diesem Flug.”
heise+ | Machine Learning: Mixture of Experts-Strategie erklärt
« am: 03.09.2024, 14:18:43 »
Damit LLMs nicht bei jeder Anfrage alle Parameter verschiedener Wissensbereiche durchlaufen, setzt die Mixture-of-Experts-Architektur auf Spezialistenmodelle.