AnnotationGUI/schriftlich/kapitel/5ergebnis.tex

Um den Nutzen der oben vorgestellten GUI zu belegen, wurde im Verlauf dieser Arbeit eine Untersuchung durchgeführt.
Die Untersuchung verglich die GUI mit einem internen Werkzeug zur Annotation von Bildsequenzen. 
Das interne Werkzeug wurde bis zur Fertigstellung dieser Arbeit für die Annotation von Bildsequenzen verwendet, 
und soll nun durch die vorgestellte GUI abgelöst werden.

Das interne Werkzeug besteht aus verschiedenen Python Scripten, welche aufwendig per Hand über die Konsole gestartet werden müssen.
Es ist dabei darauf beschränkt Packete zu annotieren und lässt keine weiteren Objektklassen zu. 
Außerdem ist es nicht möglich bereits annotierte Objekte nachträglich zu verändern.
Dieses interne Werkzeug zeigt dem Nutzer immer ein Bild, welches er in verschiedenen Modis bearbeiten kann.
Dabei muss der Nutzer viele Tastenbefehle auswendig kennen, da keine GUI mit Knöpfen vorhanden ist.

In diesem Kapitel werden der Ablauf und die Auswertung der Tests, sowie die Reaktion auf die Tests beschrieben.

\section{Ablauf der Tests}\label{sec:ablauf}
Um zu belegen, dass mit der neuen GUI bessere Ergebnisse erzielt werden können,
wurden 12 freiwillige Testpersonen (Studenten) herangezogen. 
Diese wurden zunächst in beide Anwendungen eingeführt, 
dann annotierten sie zehn Minuten lang eine Bildsequenz mit dem internen Werkzeug.
Daraufhin annotierten sie dieselbe Bildsequenz zehn Minuten lang mit der in dieser Arbeit vorgestellten GUI. 
Die Bildsequenzen, die für die Tests verwendet wurden, bestanden jeweils aus einer Kamera mit 50 Bildern.
Dies wurde so gewählt, weil für das Annotieren einer Sequenz mit mehreren Kameras mehr Zeit benötigt wird als für das Annotieren einer Sequenz mit nur einer Kamera.
Die Tests sollten aber nicht zu viel Zeit in Anspruch nehmen, da sich sonst weniger Testpersonen freiwillig gemeldet hätten.

Am Ende erhielten die Testpersonen einen Fragebogen zur Bewertung der beiden Anwendungen.
Während die Testpersonen die Bildsequenzen annotierten wurde gemessen, wie viele Objekte sie mit der GUI und wie viele sie mit dem internen Tool in der Zeit annotieren konnten.
Bei der GUI wurde auch die Nutzung der unterschiedlichen Werkzeuge protokolliert, so dass sich feststellen lässt welche Werkzeuge am häufigsten genutzt wurden.

\section{Fragebogen}\label{sec:fragebogen}
Mit Hilfe eines Fragebogens sollte bei der Untersuchung die persönliche Meinung der Testpersonen ermittelt werden.
Dies war notwendig, weil die persönliche Meinung nicht automatisch gemessen werden kann, wie zum Beispiel die Annotationsgeschwindigkeit.
Der Fragebogen enthielt sowohl Fragen zum direkten Vergleich der beiden Anwendungen, 
als auch Fragen zur Bewertung von Funktionen, welche nur in der hier vorgestellten GUI vorhanden waren. Dazu gehört zum Beispiel das Benutzen von verschiedenen Objektklassen.
Des Weiteren gab es Freitextfelder, wo die Testpersonen die vorhandenen Features loben oder kritisieren konnten und Vorschläge für weitere Features liefern konnten.
Der vollständige Fragebogen befindet sich im Anhang.

\section{Auswertung}\label{sec:auswertung}
Im Folgenden werden die Untersuchungsergebnisse beschrieben. Außerdem werden die Ergebnisse, die mit der GUI erzielt wurden, mit denen des internen Werkzeugs verglichen.

\subsection{Anzahl annotierter Objekte}\label{subsec:annotierteObjekte}
In Abbildung \ref{fig:annotierteObjekte} wird die Anzahl der im Durchschnitt von den Testpersonen annotierten Objekte verglichen.
Dabei wird zwischen annotierten Objekten mit zugewiesener Objekt-ID und zwischen annotierten Objekten ohne Objekt-ID unterschieden.
Es hat sich herausgestellt, dass mit der GUI insgesamt etwa doppelt so viele Objekte annotiert wurden wie mit dem internen Werkzeug.
Dies lässt sich auch bei der durchschnittlichen Anzahl annotierter Bilder beobachten.
Es wurde aber nur etwa der Hälfte der in der GUI annotierten Objekte eine ID zugewiesen. 
Die Anzahl der annotierten Objekte ohne ID ist bei dem internen Werkzeug geringer, 
da hier alle Objekte per Hand annotiert werden mussten. 
Bei der GUI wurden die Objekte als Vorabannotation automatisch erkannt, 
so dass nur noch eine ID zugewiesen werden musste.

Aus dem Ergebnis lässt sich schließen, 
dass das Zuweisen der Objekt-ID in der GUI noch verbessert werden kann, 
da es vermutlich mehr Zeit in Anspruch genommen hat als das Zuweisen der Objekt-ID im internen Werkzeug.
Dennoch wurden in der GUI auch mehr Objekte mit ID annotiert als mit dem internen Werkzeug, 
da die Nutzer hier mehr Zeit für das Zuweisen der Objekt-IDs hatten als beim internen Werkzeug.
Bei dem Annotieren einer großen Sequenz lohnt es sich also die GUI zu benutzen.
\begin{figure}
  \centering
  \subfigure[Anzahl der annotierten Objekte]{\includegraphics[height=200px]{bilder/anzahl_objekte.png}}
  \subfigure[Anzahl der annotierten Bilder]{\includegraphics[height=200px]{bilder/anzahl_bilder.png}}
  \caption{Vergleich der annotierten Bilder und Objekte zwischen GUI und internem Werkzeug}
  \label{fig:annotierteObjekte}
\end{figure}

\subsection{Bewertung durch die Testpersonen}\label{subsec:bewertung}
In dem Fragebogen wurden die Testpersonen gebeten, das Annotieren von neuen Objekten und das Zuweisen der Objekt-ID auf einer Skala von 1 bis 10 zu bewerten.
Dabei stand 1 für sehr umständlich und 10 für überhaupt nicht umständlich. 
Ein Vergleich der durchschnittlichen Bewertung für die GUI und für das interne Werkzeug befindet sich in Abbildung \ref{fig:bewertungVergleich}.
In diesem Vergleich schneidet die GUI insgesamt besser ab als das interne Werkzeug.

Bei der Annotation neuer Objekte schneidet die GUI mit einer Bewertung von 8,5 am besten ab und liegt hier mit 2,5 Punkten vor der Bewertung des internen Werkzeug.
Dies liegt vermutlich daran, dass den Testpersonen hier durch die Vorabannotationen viel Arbeit erspart wurde.
Auch das Zuweisen der Objekt-ID hat mit 8,1 um 2,7 Punkte besser abgeschnitten als das interne Werkzeug.

Zu der GUI sollten die Testpersonen auch noch das Korrigieren von Vorabannotationen und das Zuweisen der Objektklasse bewerten.
Bei den Tests hat sich dann jedoch herausgestellt, dass das Zuweisen der Objektklasse in den für die Tests verwendeten Sequenzen nicht benötigt wurde.
Daher wurde die Frage von den Testpersonen nicht beantwortet und kann somit auch nicht ausgewertet werden.
Das Korrigieren der Vorabannotationen bekam von den Testpersonen eine durchschnittliche Bewertung von 8,4.

Von den Features, die von der GUI mit dem Fragebogen bewertet wurden, 
hat das Zuweisen der Objekt-ID etwas schlechter abgeschnitten als das Annotieren neuer Objekte oder das Korrigieren von Vorabannotationen. 
Das könnte daran liegen, dass für das Zuweisen der Objekt-ID mehrere Bilder angesehen werden mussten, um festzustellen, welche ID ein Objekt hat.
Außerdem werden die Objekt-IDs in der GUI erst angezeigt, wenn der Nutzer mit der Maus auf das Objekt zeigt, was vermutlich als zu umständlich angesehen wurde.

\graphicsfigure{bilder/nutzer_bewertung}{Auswertung der ersten beiden Fragen des Fragebogens}{fig:bewertungVergleich}{0.75\textwidth}

\subsection{Bevorzugte Anwendung}\label{subsec:bevorzugt}
In dem Fragebogen haben die Testpersonen außerdem angegeben, welche Anwendung sie für eine große Sequenz von Bildern lieber verwenden würden.
Das Ergebnis ist in Abbildung \ref{fig:bevorzugt} dargestellt. Von den 12 Testpersonen würden 11 Personen lieber die hier vorgestellte GUI verwenden.
Dies wurde von den Testpersonen in einem Freitextfeld des Fragebogens unterschiedlich begründet. Die am häufigsten vorkommenden Begründungen waren, 
dass durch die Grafische Benutzeroberfläche das Bedienen einfacher ist und dass durch die Vorabannotationen und durch die Kopierfunktion von Objekten 
viel Zeit gespart werden kann.

Eine Testperson gab an lieber das interne Werkzeug zu benutzen, mit der Begründung, dass es einfacher zu bedienen ist, weil es weniger Features hat.
Dies ist aber vermutlich eine Sache der Gewöhnung. Hinzu kommt, 
dass den Testpersonen für jede Anwendung nur zehn Minuten Zeit zur Verfügung standen und sie sich nicht länger damit beschäftigen konnten. 
Für ein simples Programm wie das interne Werkzeug reicht diese Zeit aus, um alle Funktionen zu verstehen und zu benutzen.
Bei der GUI wird mehr Zeit benötigt um ein Gefühl dafür zu bekommen, wie man am effizientesten damit arbeiten kann.

Dennoch zeigt das Ergebnis, dass die GUI aufgrund der vielen Features für unerfahrene Benutzer nicht so leicht zu bedienen ist 
und eventuell mehr Zeit benötigt wird um sich einzuarbeiten.
\graphicsfigure{bilder/bevorzugt}{Bevorzugte Anwendung der Testpersonen}{fig:bevorzugt}{0.50\textwidth}

\subsection{Weitere Angaben}\label{subsec:angaben}
Die Testpersonen wurden im Fragebogen auch nach fehlenden oder besonders hilfreichen Features gefragt. An dieser Stelle wurde bemängelt, 
dass bei der GUI die Vergabe von neuen Objekt-IDs nicht komfortabel genug sei und dass die Objekt-IDs in der Arbeitsfläche nicht gut genug sichtbar seien.

Es wurde vorgeschlagen die Objekt-IDs in der Arbeitsfläche anzeigen zu lassen, so dass es für den Nutzer einfacher ist die ID eines Objektes zu sehen.
Dieser Vorschlag wurde nachträglich in die GUI integriert, wie es in Abschnitt \ref{sec:reaktion} beschrieben wird. 
Des Weiteren gab es den Vorschlag das Kopieren von mehreren Objekten gleichzeitig zuzulassen, so dass der Nutzer nicht so oft zwischen den Bildern springen muss.
Dieser Vorschlag wurde mangels Zeit noch nicht umgesetzt, da eine vorschnelle Umsetzung eine Verringerung der Intuitivität zufolge haben könnte.

Bei den besonders hilfreichen Features wurde noch einmal betont, was als Begründung für die bevorzugte Nutzung der GUI angegeben wurde:
\begin{enumerate}
  \item die Grafische Benutzeroberfläche
  \item die Vorabannotationen
  \item die Kopierfunktion von Objekten 
\end{enumerate}

\subsection{Nutzung einzelner GUI Features}
\graphicsfigure{bilder/nutzung}{Prozentuale Nutzung der einzelnen GUI Funktionen nach Zeit}{fig:nutzung}{0.75\textwidth}
Wie oben bereits erwähnt, wurde während der Tests analysiert, welche Werkzeuge und Funktionen der GUI von den Testpersonen hauptsächlich benutzt wurden.
Mit den Ergebnissen kann analysiert werden, welche Funktionen für eine GUI zur Annotation von Bildsequenzen am wichtigsten sind.
In Abbildung \ref{fig:nutzung} wird die Zeit, die die Testpersonen mit den einzelnen Features verbracht haben, verglichen.
Das \glq Objekt zerteilen\grq{ } Werkzeug wird hier nicht betrachtet, da es nur in dem Sonderfall benötigt wird, 
wo in den Vorabannotationen zwei Objekte als eins erkannt werden. Dieser Sonderfall ist während der Tests nur sehr selten aufgetreten.

Insgesamt haben die Testpersonen 30\% der Zeit mit dem \glq Kopieren und Einfügen\grq{ } Werkzeug gearbeitet. 
Zusammen mit den obigen Daten lässt sich hiermit der hohe Nutzen dieses Werkzeugs beim Annotieren von Bildsequenzen belegen.
Bemerkenswert ist außerdem, dass die Testpersonen über fünf mal mehr Zeit damit verbracht haben Objekte einzufügen, 
als sie Zeit benötigten, diese zu kopieren. Hieraus lässt sich folgern, dass ein kopiertes Objekt viele Mahle eingefügt wurde.

Die hohe Nutzung des \glq Kopieren und Einfügen\grq{ } Werkzeugs lässt sich vermutlich darauf zurückführen, 
dass mit dem Werkzeug, neben dem Kopieren und Einfügen von Objekten, auch das Zuweisen der Objekt-IDs bewältigt werden kann.
Dabei kopiert der Nutzer ein Objekt mit ID und weist diese dann beim Einfügen anderen Objekten mit nur einem Klick zu.

24\% der Zeit wurde von den Testpersonen dafür verwendet neue Objekte manuell zu annotieren, welche von den Vorabannotationen nicht automatisch erkannt wurden. 
Dies zeigt, dass die Vorabannotationen zusammen mit dem \glq Kopieren und Einfügen\grq{ } Werkzeug
alleine noch nicht für eine voll funktionsfähige GUI zum Annotieren von Bildsequenzen ausreichen würden.

22\% der Zeit verbrachten die Testpersonen damit Eckpunkte von Objekten zu verschieben. 
Dabei handelte es sich mit großer Wahrscheinlichkeit um nicht ganz korrekte Vorabannotationen, 
welche durch das Verschieben von Ecken angepasst werden können. 
Dies zeigt, dass durch die Vorabannotationen zwar viel Zeit gespart werden kann, 
die sonst benötigt werden würde um die Objekte einzeln zu annotieren.
Andererseits muss aber auch etwas Zeit dafür verwendet werden um die Vorabannotationen zu korrigieren.

Das Bearbeiten der Maske benötigt nur wenig Zeit, da es nur einmal zu Beginn gemacht werden muss. 
Daher mussten die Testpersonen nur 7\% der Zeit dafür verwenden.

Ebenfalls 7\% der Zeit hat das Zuweisen von Objekt-IDs über die Objekt\hyp{}Zuweisungsoberfläche aus Abschnitt \ref{sec:objektZuweisungsansicht} gekostet.
Hierbei muss beachtet werden, dass dies nur ein Teil der Zeit ist, die mit dem Zuweisen von Objekt-IDs verbracht wurde, 
da man die Objekt-IDs auch mit dem \glq Kopieren und Einfügen\grq{ } Werkzeug zuweisen kann.

Die Werkzeuge Vergrößern, Löschen und Verstecken wurden nur wenig verwendet. 
Dies zeigt, dass sie nur in Sonderfällen benötigt werden und für eine voll funktionsfähige GUI 
zum Annotieren von Bildsequenzen nicht unbedingt notwendig sind.
Dabei muss beachtet werden, dass in der GUI neben dem Löschen Werkzeug ein Objekt auch mittels Rechtsklick gelöscht werden kann 
und das Löschen Werkzeug nur für das Löschen einzelner Eckpunkte benötigt wird.

\section{Integration der Testergebnisse in die GUI}\label{sec:reaktion}
\graphicsfigure{bilder/gui_mit_ids}{Die angepasste GUI mit angezeigten Objekt-IDs}{fig:guiMitIds}{0.75\textwidth}
Als Reaktion auf die Testergebnisse wurden einzelne GUI Funktionen etwas angepasst, 
so dass die Hauptkritikpunkte der Testpersonen behoben sind.

Ein Hauptkritikpunkt an der GUI war, dass die Objekt-IDs in der Arbeitsfläche nicht gut genug sichtbar waren.
Um dieses Problem zu beheben, wurde die Option hinzugefügt, sich die Objekt-IDs in der Arbeitsfläche anzeigen zu lassen.
Ein Bild hiervon befindet sich in Abbildung \ref{fig:guiMitIds}.

Ein weiterer Kritikpunkt war das Zuweisen von neuen Objekt-IDs über die Objekt-Zuweisungsoberfläche. 
Diese war den Testpersonen zu umständlich gestaltet.
Hier wurde die Bedienung vereinfacht, indem zum Beispiel die Objekt-ID des ausgewählten Vergleichsobjektes direkt im ID Textfeld übernommen wird.
Sobald der Nutzer das richtige Vergleichobjekt gefunden hat, braucht er also nur noch auf Speichern zu klicken. 
Auch wird nun bei der Eingabe einer ID direkt ein Vergleichsobjekt mit dieser ID angezeigt.
Des Weiteren lässt sich die ID jetzt auch mit den Pfeiltasten um eins erhöhen oder verringern. 
Je nach Nutzervorliebe kann das Vergleichsobjekt und somit die korrekte Objekt-ID also jetzt auch nur mit der Tastatur gefunden und zugewiesen werden.