| Kommentar |
Ein probabilistisches Modell ist eine multivariate Wahrscheinlichkeitsverteilung, d.h. eine Wahrscheinlichkeitsverteilung auf einem multidimensionalen Sample Space. Mithilfe des Modells möchte man verschiedene Inferenzanfragen bedienen. Eine erste Inferenzanfrage ist, dass man die Wahrscheinlichkeitsverteilung an einem Punkt aus dem Sample Space auswerten will. Diese Anfrage wird auch probability of evidence (PoE) genannt. Eine weitere Anfrage ist Marginalisieren, d.h. eine Projektion der Wahrscheinlichkeitsverteilung auf ausgewählte Komponenten des Sample Spaces. Die Projektion wird auf Prior Marginal genannt. Manchmal möchte man auch einen Teil der Komponenten auf feste Werte setzen. In diesem Fall spricht man von einem Posterior-Marginal. In jedem Fall ist das Ergebnis einer Marginalisierungsanfrage ist wieder eine Wahrscheinlichkeitsverteilung. Ein dritter Typ von Anfrage fixiert auch wieder einen Teil der Komponenten und fragt nach der Belegung der restlichen Komponenten, die das entsprechende Posterior-Marginal maximieren. Eine solche Anfrage wird maximum a posteriori Hypothese (MAP) genannt. Im Spezialfall, dass für keine Komponente Werte fixiert werden, spricht man auch von der maximal probable explanation (MEP).
Im Allgemeinen sind alle drei Typen von Anfragen schwierig, d.h. es gibt keine effizienten Algorithmen für sie. Deshalb spielen Approximationsalgorithmen eine wichtige Rolle in der Inferenz. Eine wichtige Klasse von Approximationsalgorithmen sind Sampling basiert, d.h. die Algorithmen samplen aus der Wahrscheinlichkeitsverteilung und beantworten die Anfrage mithilfe des Samples. Eine andere Klasse von Approximationsalgorithmen sucht nach einer besten Approximation an die Antwort der Inferenzanfrage in einer parametrisierten Klasse von Wahrscheinlichkeitsverteilungen. Damit wird das approximative Inferenzproblem auf ein (Parameter-)Optimierungsproblem reduziert.
In der Vorlesung sollen exakte Inferenzmethoden, Sampling-basierte Methoden (Markov Chain Monte Carlo Methoden) und Optimierungsmethoden (Variationsinferenz) besprochen werden. Die Vorlesung gliedert sich also in die drei Teile exakte Methoden, Sampling und Variationsinferenz, die von verschiedenen Dozenten gehalten werden. Joachim Giesen startet mit einer Einführung und exakten Methoden. Danach übernimmt Michael Habeck für den Teil über Sampling. Den Abschluss macht Soeren Laue, der Variationsinferenz besprechen wird. |
