Referenzlabel sind jedoch selten und werden weitestgehend für das Training benötigt. Besonders Deep Learning Ansätze sind datenhungrige Verfahren, die eine große Menge an gelabelten Beispieldaten benötigen.
In diesem Projekt untersuchen wir die Möglichkeit, mittels Unsicherheitsmessungen aus Monte-Carlo Dropout [1] die modellverursachten Fehlklassifikationen zu identifizieren. Genauer gesagt, bestimmen wir Unsicherheitsmaße aus mehrfachen Inferenzen durch das Monte-Carlo Dropout. Des weiteren untersuchen wir, wie eine Markov Random Field Optimierung die Anzahl von Fehlklassifikationen reduzieren und die Identifikation verbessern kann. Zusätzlich wird bewertet, inwieweit Unsicherheiten Informationen über Fehlklassifikationen liefern.
Unsere ersten Ergebnisse ermöglichen eine Erkennung von 51 % der Fehlklassifikationen unter Verwendung einer Konfidenzberechnung. Die Anwendung der Makov Random Field Optimierung führt zu einer Verringerung des Anteils Fehlklassifikationen bei gleichzeitiger Erkennung von 0,4 % mehr Klassifikationen als ohne.
[1] Gal, Y., Ghahramani, Z., 2016. Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning. ArXiv, abs/1506.02142.