Einsatz von Machine Learning für die Suche nach Namen

Eine Suche nur nach Namen bringt im Kontext bei bestimmten Namen falsche Treffer.

Beispiel 1: Monat August „August hat im August Geburtstag“ Hier muss das neuronale Netz den Namen August vom Monat August unterscheiden können. Dies ist nur anhand der Bewertung des ganzen Satzes möglich, das neuronale Netz muss diesen interpretieren können.

Beispiel 2: Programmiersprache „Ruby on Rails“ vs. Name Ruby „Konrad interessiert sich für Ruby on Rails.“ Hier darf Ruby nicht als Treffer ausgewertet werden, da es sich um die Programmiersprache handelt.

Ablauf Machine Learning

1.) Auswahl geeigneter Datenbestände mit syntaktischer Auszeichnung von Zeitungsberichten oder Literaturtexten - mind. 10.000 Datensätzen

2.) Aufbereitung der Trainingsdaten

• Sentence Detection
  • Jeder Satz in einer Zeile.
• Tokenization
  • Zerlegung des Textes (Beistriche, -, ..)
• Part of Speech Tagging (POS)
  • Erkennung der Satzstruktur (z.B. Substantive, Verben, Adjektive etc.)
• Name Finder
  • Erkennen von Namen

3.) Trainieren & Testen eines Modells

4.) Verwenden des trainierten Modells

5.) Evaluieren des Modells

Weitere Details zu Machine Learning können Sie hier lesen