Newsparadies: heise+ | Komprimierte KI: Wie Quantisierung große Sprachmodelle verkleinert

News => Welt-Ticker => Thema gestartet von: heise am 04.02.2025, 18:18:29


Titel: heise+ | Komprimierte KI: Wie Quantisierung große Sprachmodelle verkleinert
Beitrag von: heise am 04.02.2025, 18:18:29
(http://newsparadies.de/images/board/x31.gif) Wir erklären die wichtigsten Quantisierungsmethoden, mit denen Sprachmodelle wie ChatGPT Energie und Kosten sparen und sogar lokal auf Smartphones laufen.
Quelle: https://www.heise.de/hintergrund/Komprimierte-KI-Wie-Quantisierung-grosse-Sprachmodelle-verkleinert-10206033.html?wt_mc=rss.red.ho.ho.rdf.beitrag_plus.beitrag_plus 		(http://www.netzausfall.de/wp-content/heise.jpg)

Stichworte: AWQ, Benchmarks, CUDA, FP8, GGUF, GPTQ, Hugging Face, Künstliche Intelligenz, LLM, Machine Learning, Nachhaltigkeit, Nvidia, Quantisierte Modelle, Quantisierung, Software, Sprachverarbeitung


Newsparadies | Impressum | Datenschutz | Powered by SMF 1.0.7.
© 2001-2005, Lewis Media. Alle Rechte vorbehalten.