grammis 2.0
das grammatische informationssystem des instituts für deutsche sprache (ids)
                                                                                              Mitarbeiter Literatur
Korpusgrammatik Grammatik in
Fragen und Antworten
Systematische
Grammatik
Grammatische
Fachbegriffe
Grammatisches
Wörterbuch
Grammatische
Bibliografie
                                                                             
                                   
Datenbasis für Untersuchungen zur grammatischen Variabilität im Standarddeutschen Statistische Methoden der Korpusgrammatik Verlässlichkeit grammatischer Annotationen Vorhersage von Fugenelementen in nominalen Komposita Variation der starken Genitivmarkierung AcI-Konstruktionen und Wie-Komplementsätze Ressource: GenitivDB

[Impressum] [Datenschutzerklärung]

                                                                           
Schlagwörter: Annotation Tagger Wort Wortart

Annotationsüberprüfung aus grammatischer Sicht

Will man als Grammatiker die Leistungsfähigkeit eines Taggers überprüfen, muss man sich zunächst darüber klar werden, nach welchen Kriterien diese erfolgen sollte. Durchaus verfehlt wäre etwa der Anspruch, der Tagger habe den in einem Korpus auftretenden Wortformen genau die Kategorien zuzuordnen, die man ihnen bei manueller Annotation auf der Basis der eigenen Grammatiktheorie zuordnete, denn Tagger verhalten sich in dieser Hinsicht nicht anders als die lieben Kollegen, die oft genug auch andere Wortklassen mit anderen Extensionen ansetzen als man selbst. Ob ein Tagger brauchbare und vor allem verlässliche Ergebnisse liefert, hängt nur bedingt davon ab, welche Basiskategorien er verwendet und welche Aufteilungen er dabei vornimmt. So führt etwa der am Institut für Maschinelle Sprachverarbeitung (IMS) der Universität Stuttgart entwickelte TreeTagger Ausdrücke wie meine, deine, seine, die man auf der Grundlage der Grammatik der deutschen Sprache (GDS) als Possessivartikel bezeichnen würde, unter der Bezeichnung PPOSAT (attribuierendes Possessivpronomen). Sind derartige Unterschiede erst einmal erkannt, beeinträchtigen sie geplante Recherchen nicht weiter.

Selbst wenn ein Tagger eine Klasse von Wortformen, die man selbst derselben Wortklasse zurechnen würde, auf mehrere Klassen aufteilt oder umgekehrt mehrere solcher Klassen zu einer zusammenfasst, macht ihn dies nicht unbedingt unbrauchbar für Recherchen, die an sich von einer anderen Kategorisierung ausgehen. Solang der Tagger Zuordnungen vornimmt, die in die erwünschten Zuordnungen umgerechnet werden können, bleiben Recherchen möglich, die immer noch weit weniger mühsam sind, als solche, die sich nur auf reguläre Ausdrücke stützen können, weil er zusätzliche Variablen bereitstellt, die kombiniert werden können, um gezielt nach Ausdruckssequenzen bestimmter formaler Strukturen zu suchen.

Reguläre Ausdrücke (Abschnitt ein-/ausblenden)

Ein regulärer Ausdruck (engl. regular expression, Abk. RegExp oder Regex) ist eine Zeichenkette, mit der sich Mengen bzw. Untermengen von Zeichenketten über bestimmte syntaktische Regeln erfassen lassen.

Im Rahmen einer Evaluation grammatischer Regelhypothesen ist die Leistung eines Taggers deshalb allein danach zu bewerten, ob dieser - direkt, aber auch über so genannte "Workarounds" - erlaubt, eindeutig, effizient und möglichst vollständig die Phänomene aufzuspüren, deren Auftreten bzw. Ausbleiben man untersuchen will. Kritisch zu bewerten ist die Leistung eines Taggers erst, wenn er

  • signifikant viele falsche Zuordnungen für ein gesuchtes Phänomen vornimmt (so genannte false positives)
  • zahllose Zuordnungen nicht vornimmt, die er hätte vornehmen müssen, wenn die Annotation korrekt erfolgt wäre (so genannte false negatives)

Ob ein Tagger in der einen oder anderen Weise fehlerhaft arbeitet, ist freilich immer nur relativ zu traditionellen Formen der Wortartbestimmung zu beurteilen, denn der Tagger arbeitet so, wie er eben arbeitet. Erkennt er etwa eine Wortform als Präposition, dann ist sie nach seinen Kriterien eine Präposition. Sind wir mit seinem Ergebnis nicht zufrieden, so allein deshalb, weil wir dieses abgleichen mit Ergebnissen einer von erfahrenen Grammatikern vorgenommen Analyse. Ein solcher Vergleich ist, sofern man berücksichtigt hat, was bereits als tolerable Abweichung von eigenen Klassifikationen genannt wurde, durchaus angebracht, denn man kann – etwa im Fall der Präpositionen – sehr wohl davon ausgehen, dass deren vollständige und korrekte Erkennung – ganz im Sinn einer klassisch grammatischen Definition – beabsichtigt war und deshalb Zuordnungen, die dieser Definition nicht genügen, nicht einfach als alternative Kategorisierungen hinzunehmen sind.

Gerade im Fall der Präpositionen sind die Kriterien für deren korrekte Bestimmung so klar, dass sie selbst von Studenten im ersten Semester nach kurzer Einführung korrekt anzuwenden sind. Gelingt es einem Tagger nicht – und bei den im Folgenden betrachteten Taggern ist dies, wie zu zeigen sein wird, der Fall – Präpositionen mit sehr hoher Wahrscheinlichkeit als solche zu erkennen, so ist davon auszugehen, dass sein Erkennungsverfahren zumindest unter diesem Aspekt (noch) nicht hinreichend weit entwickelt ist. Bei aller berechtigten Kritik ist dabei Häme übrigens völlig unangebracht. Gerade eine Überprüfung der Akkuratesse dieser Tagger kann zeigen, welch enorme Leistung die Entwickler bereits erbracht haben, denn dabei wird schnell deutlich, wie überaus schwer es fallen muss, diese Aufgabe zu bewältigen.

Ausgewählte Tagger (Abschnitt ein-/ausblenden)

Dabei handelt es sich um die bereits erwähnten TreeTagger und Connexor. Beide wurden hier ausgewählt, weil es sich dabei um zwei Produkte handelt, die sowohl den den OpenSource- als auch den kommerziellen Sprachtechnologiebereich repräsentieren und uns für unsere korpusgrammatischen Untersuchungen am Institut für Deutsche Sprache zur Verfügung stehen.

Da an eine umfassende Überprüfung der Verlässlichkeit der uns zur Verfügung stehenden Tagger selbst schon ein ebenso langwieriges wie aufwendiges Forschungsprojekt erforderlich machen müsste, konnten hier nur exemplarisch einige Auswertungen vorgenommen werden. Im Einzelnen sind dies Untersuchungen zu:

© IDS Mannheim. Zuletzt geändert am 05.05.2017 14:56.