Die Verarbeitung natürlicher Sprache kommt heute in einer Vielzahl von unterschiedlichen Softwaresystemen zum Einsatz. Zu den populären Beispielen zählen unter anderen Apples Siri oder Suchmaschinen wie Microsofts Bing.

Bevor eine inhaltliche Analyse der Texte beispielsweise mit Hilfe von Machine-Learning-Algorithmen vorgenommen werden kann, müssen diese zuvor normalisiert werden.

Die Kurzpräsentation stellt vor wie mit Hilfe der von Google entwickelten Programmiersprache Go effizient Texte “entrauscht” werden können. Dazu zählt unter anderem das Entfernen von Emojis, URLs und das Stripping. Es wird gezeigt, wie sich eine kleine und effiziente Pipeline in Form eines Kommandozeilen-Tools gestalten lässt, die Betriebssystem unabhängig läuft und in unterschiedlichen Umgebungen eingesetzt werden kann. Das Hauptaugenmerk liegt in der Komposition der einzelnen Normalisierungs-Schritte.

Zuletzt wird diskutiert wie sich der Prozess parallelisieren lässt um große Textmengen effizient verarbeiten zu können.

Das vorgestellte Verfahren und die dazu gehörige Implementierung wird im Forschungsprojekt DataFlex an der Charité Berlin produktiv eingesetzt. Als Beispiel werden vom Projekt DataFlex aggregierte Tweets zum Thema Diabetes zum Einsatz gebracht.