Kommentar |
Unter dem Begriff «Deep Learning» fasst man einen Teilbereich des maschinellen Lernens zusammen, bei dem die zugrundeliegenden Algorithmen durch die Struktur von neuronalen Netzen inspiriert sind. In letzter Zeit sind Deep-Learning-Verfahren besonders stark in den Mittelpunkt des Interesses getreten, da sie maschinelles Lernen im Vergleich zu anderen Verfahren nicht nur besonders einfach benutzbar machen, sondern auch verbesserte Ergebnisse erzielen können. In diesem Anwendungsbereich hat man festgestellt, dass neuronale Netze bei weitem sensitiver bezüglich der Größe des Wertebereichs der Exponenten sind als bezüglich der Genauigkeit der Mantisse. Rechnerhersteller wie Intel, NVIDIA und Google sind daher dazu übergegangen, neue Zahlenformate einzuführen, die den Wertebereich von Exponenten zu Lasten der Mantisse vergrößern. Bfloat16 ist beispielsweise eine Format zur Darstellung von Fließkommazahlen, das von Google vorgeschlagen wurde. Der Name steht für «Brain Floating Point Format». Im Vergleich zu dem eher traditionellen Format IEEE fp16 erhöht bfloat16 die Anzahl der Bits zur Darstellung des Exponenten von 5 auf 8. (Dabei wird gleichzeitig die Bitanzahl zur Darstellung der Mantisse von 10 auf 7 Bits reduziert.) Diese Änderungen besitzen starke Auswirkungen auf Algorithmik und Performance, die in diesem Seminar genauer untersucht werden.
Details: https://www.ac.uni-jena.de/teaching/seminar/IN0093_Brainfloat
am 11.2.21 um 11 Uhr, Vorbesprechung via: https://bbb.fmi.uni-jena.de/b/han-adm-ttx
ab 12.4.21 um 11 Uhr, regelmäßige Veranstaltungen via: https://bbb.fmi.uni-jena.de/b/han-adm-ttx
|