Analyze German Text Data

This example shows how to import, prepare, and analyze German text data using a topic model.

German text data can be large and can contain lots of noise that negatively affects statistical analysis. For example, the text data can contain the following:

  • Variations in word forms. For example, „rot, „rote, and „roten.

  • Words that add noise. For example, stop words such as „der, „die, and „das.

  • Punctuation and special characters.

These word clouds illustrate word frequency analysis applied to some raw text data and a preprocessed version of the same text data.

This example first shows how to import and prepare German text data, and then it shows how to analyze the text data using a Latent Dirichlet Allocation (LDA) model. An LDA model is a topic model that discovers underlying topics in a collection of documents and infers the word probabilities in topics. Use these steps in preparing the text data and fitting the model:

  • Import the text data from a CSV file and extract the relevant data.

  • Prepare the text data for analysis using standard preprocessing techniques.

  • Fit a topic model and visualize the results.

Import Data

Download the data vorhaben.csv from https://opendata.bonn.de/dataset/vorhabenliste-b%C3%BCrgerbeteiligungen-planungen-und-projekte. This file can change over time, so the results in the example can vary.

Use detectImportOptions to determine the format of the CSV file and set the text type to string. Set the 'Encoding' option to 'ISO-8859-15'. Read the data using the readtable function and view the first few rows.

filename = "vorhaben.csv";
options = detectImportOptions(filename,'TextType','string','Encoding','ISO-8859-15');
data = readtable(filename,options);
head(data)
ans=8×19 table
                                                          Titel                                                                                        Adresse                                                                                                                       AktuellerBearbeitungsstand                                                                                                                                                                                        Ansprechpartnerin_Ansprechpartner                                                                                                           ArtDerB_rgerbeteiligung                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      BeschreibungDesVerfahrensBzw_Begr_ndung_WennKeineB_rgerb                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           InhaltlicheBeschreibungUndZielsetzung                                                                                                                                                                                                                                                                                                                                                                                                                                  Kategorie                      KostenB_rgerbeteiligung_soweitBezifferbar_                                                                                                                        KostenDesGesamtvorhabens                                                                                                                           LetzterPolitischerBeschlussZumVorhaben_Projekt                                                         N_chsteSchritte_geplanterZeitpunktDerUmsetzung                                  Latitude    Longitude    Schwerpunktm__igBetroffeneThemen          Stadtbezirk          VoraussichtlicheBearbeitungsdauer    Vorhabennummer         WeitereInformationen     
    _________________________________________________________________________________________________________________    ___________________________________________________________________    ____________________________________________________________________________________________________________________________________________________________________________________________________    _______________________________________________________________________________________________________________________________________________________________________________________________________________________________    ________________________________________    __________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________    _________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________    _________    _______________________________________________________________________________    __________________________________________________________________________________________________________________________________________________________________________________________________________________________    ___________________________________________________________________________________________    __________________________________________________________________________________________________________    ________    _________    ________________________________    _______________________    _________________________________    ______________    ______________________________

    "Bauleitplanverfahren zur Aufstellung des vorhabenbezogenen↵Bebauungsplans Nr. 6620-1 ?Bundeskanzlerplatz?↵"         "Bundeskanzlerplatz 2-10, 53113 Bonn"                                  "Die Offenlage hat stattgefunden. Die politische Beratung und der  Satzungsbeschlusses sind erfolgt. DSN: 1810045↵"                                                                                     "Hr. Koch, Tel. 0228-77 2205, Amt 61-4,↵ Email: rainer.koch@bonn.de↵"                                                                                                                                                              "standardisiertes Beteiligungsverfahren"    "Der Bebauungsplanentwurf wird mit der Begründung und den vorliegenden umweltbezogenen Stellungnahmen und Gutachten für die Dauer eines Monats öffentlich ausgelegt. Parallel hierzu werden die Planunterlagen im Internet zur Einsichtnahme bereitgestellt. Ort und Dauer der Auslegung sowie Angaben dazu, welche Arten umweltbezogener Informationen verfügbar sind, werden mindestens eine Woche vorher ortsüblich bekanntgemacht. Die abgegebenen Stellungnahmen werden durch die Verwaltung geprüft und den zuständigen politischen Gremien mit einem Abwägungsvorschlag der Verwaltung zur Beratung und Beschlussfassung vorgelegt. Das Ergebnis wird den Verfassern/Verfasserinnen der Stellungnahmen mitgeteilt.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   "Für das Gebiet zwischen Reuterstraße, Bundeskanzlerplatz, Willy-Brandt-Allee, Eduard-Pflüger-Straße und Straßburger Weg ist der Bebauungsplan Nr. 6620-1 aufzustellen, mit dem Ziel, nach Abriss des Bonn-Centers ein Gebäudeensemble aus einem Bürohochhaus mit maximal 28 Geschossen und zwei weiteren 6 ? 7 geschossigen Bürogebäuden zu realisieren.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             ""        "Nur interne Kosten↵"                                                              "-↵"                                                                                                                                                                                                                          "Bezirksvertretung Bonn 21.04.2015 Drucksachennummer 1511116EB6↵"                              "-↵"                                                                                                           50.719      7.1169                     ""                   "Bonn"                         "Beendet↵"                         1.612e+06       "-↵"                          
    "Bauleitplanverfahren zur Aufstellung des vorhabenbezogenen↵Bebauungsplans Nr. 6522-1 "Didinkirica""                 "Graurheindorfer Straße 2-16, 53117 Bonn"                              "Vorhaben beendet↵"                                                                                                                                                                                     "Hr. Koch, Tel. 0228-77 2205,↵Amt 61-4↵E-Mail: rainer.koch@bonn.de↵"                                                                                                                                                               "standardisiertes Beteiligungsverfahren"    "Der Bebauungsplanentwurf wird mit der Begründung und den vorliegenden umweltbezogenen Stellungnahmen und Gutachten für die Dauer eines Monats öffentlich ausgelegt. Parallel hierzu werden die Planunterlagen im Internet zur Einsichtnahme bereitgestellt. Ort und Dauer der Auslegung sowie Angaben dazu, welche Arten umweltbezogener Informationen verfügbar sind, werden mindestens eine Woche vorher ortsüblich bekanntgemacht. Die abgegebenen Stellungnahmen werden durch die Verwaltung geprüft und den zuständigen politischen Gremien mit einem Abwägungsvorschlag der Verwaltung zur Beratung und Beschlussfassung vorgelegt. Das Ergebnis wird den Verfassern/Verfasserinnen der Stellungnahmen mitgeteilt.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   "Für den vorhabenbezogenen Bebauungsplan Nr. 6522-1 ?Didinkirica? der Bundesstadt Bonn, Stadtbezirk Bonn, Ortsteil Bonn-Castell, an der Graurheindorfer Straße 2-16 und der Straße Rosental ist ein Bebauungsplan aufzustellen mit der Zielsetzung, Wohnungsbau mit insgesamt rund 55 Wohneinheiten zu schaffen.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      ""        "nur interne Kosten↵"                                                              "-↵"                                                                                                                                                                                                                          "BV Bonn: 01.12.2015/Planungsausschuss 09.12.2015 Drucksachennummer 1513541 sowie 1711124↵"    "-↵"                                                                                                           50.742      7.0973                     ""                   "Bonn"                         "ca. 1 Jahr↵"                      1.612e+06       "-↵"                          
    "Bauleitplanverfahren zur Aufstellung des Bebauungsplans↵Nr. 7621-56 ?Sebastianstraße?↵"                             "Sebastianstraße 180-182, 53115 Bonn"                                  "Die Bekanntmachung des Bebauungsplanes gemäß § 10 BauGB ist im Amtsblatt Nr.25 der Bundesstadt Bonn, am 23.05.2018 erfolgt. Der Bebauungsplan ist somit in Kraft getreten.↵"                           "Hr. Koch, Tel. 0228-77 2205, Amt 61-4,↵ Email: rainer.koch@bonn.de↵"                                                                                                                                                              "standardisiertes Beteiligungsverfahren"    "Der Bebauungsplanentwurf wird mit der Begründung und den vorliegenden umweltbezogenen Stellungnahmen und Gutachten für die Dauer eines Monats öffentlich ausgelegt. Parallel hierzu werden die Planunterlagen im Internet zur Einsichtnahme bereitgestellt. Ort und Dauer der Auslegung sowie Angaben dazu, welche Arten umweltbezogener Informationen verfügbar sind, werden mindestens eine Woche vorher ortsüblich bekanntgemacht. Die abgegebenen Stellungnahmen werden durch die Verwaltung geprüft und den zuständigen politischen Gremien mit einem Abwägungsvorschlag der Verwaltung zur Beratung und Beschlussfassung vorgelegt. Das Ergebnis wird den Verfassern/Verfasserinnen der Stellungnahmen mitgeteilt.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   "Für das Gebiet zwischen Alfred-Bucherer-Straße, Sebastianstraße und dem Fußweg zwischen Röckumstraße und Endenicher Allee ist der Bebauungsplan Nr. 7621-56 aufzustellen, mit dem Ziel, das Grundstück für Wohnbauzwecke zu entwickeln unter besonderer Berücksichtigung altengerechter Wohnformen und Pflege.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       ""        "Nur interne Kosten↵"                                                              "-↵"                                                                                                                                                                                                                          "Bezirksvertretung Bonn 01.03.2016, Drucksachennummer 1610497B3↵"                              "-↵"                                                                                                           50.724      7.0779                     ""                   "Bonn"                         "Beendet↵"                         1.612e+06       "-↵"                          
    "EPICURO - European Partnership for Innovative Cities within and Urban Resilience Outlook"                           ""                                                                     "Die einzelnen Aktivitäten des Projekts wurden in einem Abschlussbericht beschrieben. Dieser Abschlussbericht wurde veröffentlicht und ist u.a. auf der städtischen Website www.bonn.de aufrufbar.↵"    "Referat Stadtförderung, Lutz Udally, Tel. 0228?77 4007,↵Email: lutz.udally@bonn.de, ↵Koordinierungsstelle Bürgerbeteiligung, Dirk Lahmann, Tel. 0228 -77 4974,↵Email: buergerbeteiligung@bonn.de↵"                                "komplexes Beteiligungsverfahren"           "Lokale Akteure sowie aus dem Zufallspanel der Bürgerbeteiligung an der Themenstellung interessierte Bürgerinnen und Bürger wurden eingeladen, sich an der Konferenz zu beteiligen.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         "In den vergangenen Jahren führte der Klimawandel zu einer Vielzahl von Folgen für die Umwelt, die Wirtschaft und die Menschen. Städte und Gemeinden sind aufgefordert sich diesen Folgen anzupassen und auf mögliche zukünftige Szenarios, bezogen auf den Klimawandel, vorzubereiten. Um diesen Anpassungsprozess zu fördern, unterstützt die EU Kommission Aktivitäten in den EU-Mitgliedsstaaten, um Europas ?Klima-Resilienz? zu stärken und die Kapazitäten, auf die Folgen des Klimawandels reagieren zu können, auszubauen. EPICURO bildet ein Netzwerk aus 11 europäischen Kommunen und öffentlichen Institutionen, das zwei Jahre lang gemeinsam an dem Ziel arbeitet, Strategien für die urbane Resilienz zu entwickeln und zu fördern. Dabei liegt ein besonderer Schwerpunkt auf der Einbindung von Bürgerinnen und Bürgern, die unmittelbar an den Projektaktivitäten teilnehmen.↵"       ""        "Nur interne Kosten↵"                                                              "Keine, da das Projekt durch EU-Fördermittel finanziert wird.↵"                                                                                                                                                               "-↵"                                                                                           "-↵"                                                                                                              NaN         NaN                     ""                   "Bonn, gesamtstädtisch"        "Im März 2018 beendet.↵"           1.701e+06       "-↵"                          
    "Bauleitplanverfahren zur Aufstellung des Bebauungsplanes Nr. 6719-3 "Schwimmbad Wasserland""                        "Christian-Miesen-Straße"                                              "Der Bebauungsplan wurde im Zeitraum vom 19.07.2018 bis zum 20.08.2018 öffentlich ausgelegt.↵"                                                                                                          "Fr. Müller, Tel. 0228-77 4473,↵ Amt 61-22 ,↵Email: bettina.mueller@bonn.de↵"                                                                                                                                                      "standardisiertes Beteiligungsverfahren"    "Öffentlicher Aushang der Planung für zwei Wochen im Stadthaus und Durchführung einer Bürgerinformationsveranstaltung zum Vorhaben und der weiteren Verfahrensschritte vor Ort.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             "Schaffung von Planungsrecht für den Bau eines neuen Familien-, Schul- und Sportschwimmbades auf den Flächen nördlich des Heizkraftwerkes in Bonn-Dottendorf.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         ""        "Vom Vorhabenträger zu tragen.↵"                                                   "Aktuell nicht bezifferbar↵"                                                                                                                                                                                                  "Beschluss des Rates vom 22.09.2016 (DS-Nr. 1612541 EB5) sowie 1710085↵"                       "Das Vorhaben wird aufgrund des erfolgreichen Bürgerentscheids vom 04.08.2018 nicht durchgeführt.↵"            50.707      7.1217                     ""                   "Bonn"                         "Bis Anfang 2018↵"                 1.701e+06       "-↵"                          
    "Bürgerbeteiligung an der Konzepterstellung für den Neubau eines Schwimmbades in Bonn-Dottendorf"                    "Christian-Miesen-Straße"                                              "In einem Bürgerbescheid haben sich die Bonnerinnen und Bonner gegen einen Neubau entschieden. Das Vorhaben ist damit abgeschlossen.↵"                                                                  "Stadtwerke Bonn ? Energie und Wasser, Peter Weckenbrock, Tel. 0228-7111, Email: kontakt@unserneuesschwimmbad.de;  ↵Koordinierungsstelle Bürgerbeteiligung Dirk Lahmann, Tel. 0228-77 4974,↵Email: buergerbeteiligung@bonn.de↵"    "komplexes Beteiligungsverfahren"           "Im Folgenden wird exemplarisch der Prozess des nächsten Schrittes ?Dialog Architektur? erläutert: Auf der Basis der Ergebnisse des Architekturwettbewerbs werden die Arbeiten in einem größeren Raum über längere Zeit (2-4 Wochen) öffentlich ausgestellt. Die Beteiligung erfolgt in Form eines Dialogs zwischen den planenden Architekten und der interessierten Öffentlichkeit. Diese wird über die Medien informiert und eingeladen. An dem Beteiligungstermin werden zunächst das Wettbewerbsverfahren sowie alle platzierten Planungen vorgestellt. Die Gründe für die Festlegung der Rangfolge der Arbeiten werden erläutert und die Planungen detailliert vorgestellt. Die Erörterung der Architektur wird in kleineren Gruppen fortgesetzt. Die Anregungen und Hinweise werden festgehalten und ausgewertet. Abschließend werden sie im Plenum unter Beteiligung des Architekten erörtert. Die Ergebnisse des Dialogs werden dem Planungsteam für die weitere Bearbeitung übergeben. Die Resultate des Dialogs sowie daraus folgende Anpassungen der Planung werden auf der Homepage veröffentlicht. Die weitere Ausgestaltung des Prozesses der Beteiligung wird im Laufe der Projektentwicklung schrittweise ausgearbeitet.↵"    "Für die begleitende Bürgerbeteiligung bei der Konzepterstellung für das neue Schwimmbad soll es zu folgenden Themen eine Beteiligung geben: Dialog Architektur, Schule und Sportbad, Barrierefreiheit, Sauna / Wellness / Spa, Rutschen / Attraktionen, Erschließung sowie dem Betrieb. Der erste Schritt der Beteiligung, die ?Bürgerwerkstatt im Zelt? hat bereits im November 2016 stattgefunden. Die weiteren Schritte der Bürgerbeteiligung erfolgen zeitlich nach dem Bürgerentscheid zum Erhalt/Weiterbetrieb des Kurfürstenbades.↵"                                                                                                                                                                                                                                                                                                                                                            ""        "Kann noch nicht beziffert werden↵"                                                "Kann noch nicht beziffert werden↵"                                                                                                                                                                                           "DS-Nr. 1613528AA4 sowie 1713161↵"                                                             "-↵"                                                                                                           50.707      7.1217                     ""                   "Bonn"                         "-↵"                               1.701e+06       "www.unserneuesschwimmbad.de↵"
    "Integriertes Handlungskonzept Grüne Infrastruktur (InHK GI) zur↵zukünftigen Freiraumsicherung im Bonner Norden↵"    "Siedlungsränder nördlich Beuel, Bonn; Gebietskulisse des Grünen C"    "Der zugrunde liegende Förderantrag wurde abgelehnt. Für die Maßnahmen aus dem IHK GI werden interkommunal in den kommenden Jahren Umsetzungsmöglichkeiten erarbeitet.↵"                                "Hr. Michels, Tel. 0228-77 4401, E-Mail: jonas.michels@bonn.de↵"                                                                                                                                                                   "komplexes Beteiligungsverfahren"           "Im Rahmen des Förderaufrufes wird ein komplexes Beteiligungsverfahren gefordert. Dieses wird mit der Erstellung des IHK durchgeführt und steht kurz vor dem Abschluss.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     "In der Gebietskulisse des Grünen C sollen die Freiräume auch zukünftig im Sinne von Naherholung, Landwirtschaft und Naturschutz gesichert und weiterentwickelt werden. Hierzu ist ein interkommunales Integriertes Handlungskonzept (InHK) notwendig, welches die zukünftige Weiterentwicklung der Freiräume regelt.Aufbauend auf dem InHK wurden über die Landesförderung "Grüne Infrastruktur" Förderanträge zur Umsetzung gestellt.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                               ""        "Nicht einzeln erfasst: Im Gesamtvolumen der Erstellung des IHKs eingebettet.↵"    "Das IHK GI enthält über 20 Maßnahmen in allen acht teilnehmenden Kommunen mit einem interkommunalen Gesamtfinanzrahmen von 6,15 Mio. ?. Der Finanzrahmen für die Maßnahmen der Bundesstadt Bonn beträgt rund 447.850 ?.↵"    "DS-NR. 1710990, 1811383↵"                                                                     "Zum jeweiligen Sachstand informiert die Verwaltung und wird entsprechende Beschlussvorlagen erarbeiten.↵"        NaN         NaN                     ""                   "Beuel"                        "ca. 5 Jahre↵"                     1.612e+06       "-↵"                          
    "Verlängerung des Teufelsbachweges bis zur L 83n"                                                                    "Teufelsbachweg zwischen Am Weidenbach und L 83n"                      "Die Vorplanung wird erarbeitet.↵"                                                                                                                                                                      "Fr. Schneider, Tel. 0228-77 4481,↵Amt 61-32 ,↵Email: ulrike.schneider@bonn.de↵"                                                                                                                                                   "standardisiertes Beteiligungsverfahren"    "Es ist eine Bürgerversammlung vorgesehen. Die Bürgerversammlung stellt eine wichtige Möglichkeit zur Beteiligung der Bürger dar. Das unmittelbar Ziel ist, die Kommunikation zu verbessern und die Förderung von Transparenz bei öffentlichen Belangen. Insofern trägt die diskursive Versammlung mittelfristig zur Konfliktprävention bei.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                "Zur Entlastung von Pützchen/Bechlinghoven vor Durchgangsverkehr und in Verbindung mit der geplanten Anschlussstelle Maarstraße bzw. Schließung der Anschlussstelle Pützchen ist vorgesehen, den Teufelsbachweg bis zur L 83n zu verlängern und als Umgehungsstraße auszubauen. Somit hätte man eine durchgängige Verbindungsstraße zwischen Pützchens Chaussee und L 83n.↵"                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                            ""        "-↵"                                                                               "-↵"                                                                                                                                                                                                                          "-↵"                                                                                           "Verwaltungsinterne Abstimmung der Planung, ca. im Jahr 2020↵"                                                 50.742      7.1614                     ""                   "Beuel"                        "-↵"                               1.701e+06       "-↵"                          

Extract the text data from the variable InhaltlicheBeschreibungUndZielsetzung (the description of the content and the goal).

textData = data.InhaltlicheBeschreibungUndZielsetzung;

Visualize the text data in a word cloud.

figure
wordcloud(textData);

Tokenize Text Data

Create an array of tokenized documents using the tokenizedDocument function.

documents = tokenizedDocument(textData);
documents(1:10)
ans = 
  10×1 tokenizedDocument:

     50 tokens: Für das Gebiet zwischen Reuterstraße , Bundeskanzlerplatz , Willy-Brandt-Allee , Eduard-Pflüger-Straße und Straßburger Weg ist der Bebauungsplan Nr . 6620-1 aufzustellen , mit dem Ziel , nach Abriss des Bonn-Centers ein Gebäudeensemble aus einem Bürohochhaus mit maximal 28 Geschossen und zwei weiteren 6 ? 7 geschossigen Bürogebäuden zu realisieren .
     46 tokens: Für den vorhabenbezogenen Bebauungsplan Nr . 6522-1 ? Didinkirica ? der Bundesstadt Bonn , Stadtbezirk Bonn , Ortsteil Bonn-Castell , an der Graurheindorfer Straße 2-16 und der Straße Rosental ist ein Bebauungsplan aufzustellen mit der Zielsetzung , Wohnungsbau mit insgesamt rund 55 Wohneinheiten zu schaffen .
     41 tokens: Für das Gebiet zwischen Alfred-Bucherer-Straße , Sebastianstraße und dem Fußweg zwischen Röckumstraße und Endenicher Allee ist der Bebauungsplan Nr . 7621-56 aufzustellen , mit dem Ziel , das Grundstück für Wohnbauzwecke zu entwickeln unter besonderer Berücksichtigung altengerechter Wohnformen und Pflege .
    134 tokens: In den vergangenen Jahren führte der Klimawandel zu einer Vielzahl von Folgen für die Umwelt , die Wirtschaft und die Menschen . Städte und Gemeinden sind aufgefordert sich diesen Folgen anzupassen und auf mögliche zukünftige Szenarios , bezogen auf den Klimawandel , vorzubereiten . Um diesen Anpassungsprozess zu fördern , unterstützt die EU Kommission Aktivitäten in den EU-Mitgliedsstaaten , um Europas ? Klima-Resilienz ? zu stärken und die Kapazitäten , auf die Folgen des Klimawandels reagieren zu können , auszubauen . EPICURO bildet ein Netzwerk aus 11 europäischen Kommunen und öffentlichen Institutionen , das zwei Jahre lang gemeinsam an dem Ziel arbeitet , Strategien für die urbane Resilienz zu entwickeln und zu fördern . Dabei liegt ein besonderer Schwerpunkt auf der Einbindung von Bürgerinnen und Bürgern , die unmittelbar an den Projektaktivitäten teilnehmen .
     24 tokens: Schaffung von Planungsrecht für den Bau eines neuen Familien - , Schul - und Sportschwimmbades auf den Flächen nördlich des Heizkraftwerkes in Bonn-Dottendorf .
     80 tokens: Für die begleitende Bürgerbeteiligung bei der Konzepterstellung für das neue Schwimmbad soll es zu folgenden Themen eine Beteiligung geben : Dialog Architektur , Schule und Sportbad , Barrierefreiheit , Sauna / Wellness / Spa , Rutschen / Attraktionen , Erschließung sowie dem Betrieb . Der erste Schritt der Beteiligung , die ? Bürgerwerkstatt im Zelt ? hat bereits im November 2016 stattgefunden . Die weiteren Schritte der Bürgerbeteiligung erfolgen zeitlich nach dem Bürgerentscheid zum Erhalt / Weiterbetrieb des Kurfürstenbades .
     60 tokens: In der Gebietskulisse des Grünen C sollen die Freiräume auch zukünftig im Sinne von Naherholung , Landwirtschaft und Naturschutz gesichert und weiterentwickelt werden . Hierzu ist ein interkommunales Integriertes Handlungskonzept ( InHK ) notwendig , welches die zukünftige Weiterentwicklung der Freiräume regelt . Aufbauend auf dem InHK wurden über die Landesförderung " Grüne Infrastruktur " Förderanträge zur Umsetzung gestellt .
     51 tokens: Zur Entlastung von Pützchen / Bechlinghoven vor Durchgangsverkehr und in Verbindung mit der geplanten Anschlussstelle Maarstraße bzw . Schließung der Anschlussstelle Pützchen ist vorgesehen , den Teufelsbachweg bis zur L 83n zu verlängern und als Umgehungsstraße auszubauen . Somit hätte man eine durchgängige Verbindungsstraße zwischen Pützchens Chaussee und L 83n .
     29 tokens: Für das Areal der ehemaligen Landwirtschaftskammer sowie einer angrenzenden städtischen Fläche im Stadtbezirk Beuel , Ortsteil Hoholz-Roleber soll die Möglichkeit einer Umnutzung der landwirtschaftlichen Flächen für Wohnnutzung geprüft werden
     37 tokens: Für das Areal Herbert-Rabius-Straße im Stadtbezirk Beuel , Ortsteil Beuel-Mitte soll der vorhabenbezogene Bebauungsplan Nr . 6722-2 aufgestellt werden , mit dem Ziel , hier Planungsrecht für die Errichtung eines Büro - und Verwaltungsgebäudes zu schaffen .

Get Part-of-Speech Tags

Add the part of speech details using the addPartOfSpeechDetails function.

documents = addPartOfSpeechDetails(documents);

Get the token details and then view the details of the first few tokens.

tdetails = tokenDetails(documents);
head(tdetails)
ans=8×7 table
           Token            DocumentNumber    SentenceNumber    LineNumber       Type        Language    PartOfSpeech
    ____________________    ______________    ______________    __________    ___________    ________    ____________

    "Für"                         1                 1               1         letters           de       adposition  
    "das"                         1                 1               1         letters           de       determiner  
    "Gebiet"                      1                 1               1         letters           de       noun        
    "zwischen"                    1                 1               1         letters           de       adposition  
    "Reuterstraße"                1                 1               1         letters           de       proper-noun 
    ","                           1                 1               1         punctuation       de       punctuation 
    "Bundeskanzlerplatz"          1                 1               1         letters           de       noun        
    ","                           1                 1               1         punctuation       de       punctuation 

The PartOfSpeech variable in the table contains the part-of-speech tags of the tokens. Create word clouds of all the nouns and adjectives, respectively.

figure
idx = tdetails.PartOfSpeech == "noun";
tokens = tdetails.Token(idx);
subplot(1,2,1)
wordcloud(tokens);
title("Nouns")

idx = tdetails.PartOfSpeech == "adjective";
tokens = tdetails.Token(idx);
subplot(1,2,2)
wordcloud(tokens);
title("Adjectives")

Prepare Text Data for Analysis

Tokenize the text using tokenizedDocument and view the first few documents.

documentsRaw = tokenizedDocument(textData);
documents = documentsRaw;
documents(1:10)
ans = 
  10×1 tokenizedDocument:

     50 tokens: Für das Gebiet zwischen Reuterstraße , Bundeskanzlerplatz , Willy-Brandt-Allee , Eduard-Pflüger-Straße und Straßburger Weg ist der Bebauungsplan Nr . 6620-1 aufzustellen , mit dem Ziel , nach Abriss des Bonn-Centers ein Gebäudeensemble aus einem Bürohochhaus mit maximal 28 Geschossen und zwei weiteren 6 ? 7 geschossigen Bürogebäuden zu realisieren .
     46 tokens: Für den vorhabenbezogenen Bebauungsplan Nr . 6522-1 ? Didinkirica ? der Bundesstadt Bonn , Stadtbezirk Bonn , Ortsteil Bonn-Castell , an der Graurheindorfer Straße 2-16 und der Straße Rosental ist ein Bebauungsplan aufzustellen mit der Zielsetzung , Wohnungsbau mit insgesamt rund 55 Wohneinheiten zu schaffen .
     41 tokens: Für das Gebiet zwischen Alfred-Bucherer-Straße , Sebastianstraße und dem Fußweg zwischen Röckumstraße und Endenicher Allee ist der Bebauungsplan Nr . 7621-56 aufzustellen , mit dem Ziel , das Grundstück für Wohnbauzwecke zu entwickeln unter besonderer Berücksichtigung altengerechter Wohnformen und Pflege .
    134 tokens: In den vergangenen Jahren führte der Klimawandel zu einer Vielzahl von Folgen für die Umwelt , die Wirtschaft und die Menschen . Städte und Gemeinden sind aufgefordert sich diesen Folgen anzupassen und auf mögliche zukünftige Szenarios , bezogen auf den Klimawandel , vorzubereiten . Um diesen Anpassungsprozess zu fördern , unterstützt die EU Kommission Aktivitäten in den EU-Mitgliedsstaaten , um Europas ? Klima-Resilienz ? zu stärken und die Kapazitäten , auf die Folgen des Klimawandels reagieren zu können , auszubauen . EPICURO bildet ein Netzwerk aus 11 europäischen Kommunen und öffentlichen Institutionen , das zwei Jahre lang gemeinsam an dem Ziel arbeitet , Strategien für die urbane Resilienz zu entwickeln und zu fördern . Dabei liegt ein besonderer Schwerpunkt auf der Einbindung von Bürgerinnen und Bürgern , die unmittelbar an den Projektaktivitäten teilnehmen .
     24 tokens: Schaffung von Planungsrecht für den Bau eines neuen Familien - , Schul - und Sportschwimmbades auf den Flächen nördlich des Heizkraftwerkes in Bonn-Dottendorf .
     80 tokens: Für die begleitende Bürgerbeteiligung bei der Konzepterstellung für das neue Schwimmbad soll es zu folgenden Themen eine Beteiligung geben : Dialog Architektur , Schule und Sportbad , Barrierefreiheit , Sauna / Wellness / Spa , Rutschen / Attraktionen , Erschließung sowie dem Betrieb . Der erste Schritt der Beteiligung , die ? Bürgerwerkstatt im Zelt ? hat bereits im November 2016 stattgefunden . Die weiteren Schritte der Bürgerbeteiligung erfolgen zeitlich nach dem Bürgerentscheid zum Erhalt / Weiterbetrieb des Kurfürstenbades .
     60 tokens: In der Gebietskulisse des Grünen C sollen die Freiräume auch zukünftig im Sinne von Naherholung , Landwirtschaft und Naturschutz gesichert und weiterentwickelt werden . Hierzu ist ein interkommunales Integriertes Handlungskonzept ( InHK ) notwendig , welches die zukünftige Weiterentwicklung der Freiräume regelt . Aufbauend auf dem InHK wurden über die Landesförderung " Grüne Infrastruktur " Förderanträge zur Umsetzung gestellt .
     51 tokens: Zur Entlastung von Pützchen / Bechlinghoven vor Durchgangsverkehr und in Verbindung mit der geplanten Anschlussstelle Maarstraße bzw . Schließung der Anschlussstelle Pützchen ist vorgesehen , den Teufelsbachweg bis zur L 83n zu verlängern und als Umgehungsstraße auszubauen . Somit hätte man eine durchgängige Verbindungsstraße zwischen Pützchens Chaussee und L 83n .
     29 tokens: Für das Areal der ehemaligen Landwirtschaftskammer sowie einer angrenzenden städtischen Fläche im Stadtbezirk Beuel , Ortsteil Hoholz-Roleber soll die Möglichkeit einer Umnutzung der landwirtschaftlichen Flächen für Wohnnutzung geprüft werden
     37 tokens: Für das Areal Herbert-Rabius-Straße im Stadtbezirk Beuel , Ortsteil Beuel-Mitte soll der vorhabenbezogene Bebauungsplan Nr . 6722-2 aufgestellt werden , mit dem Ziel , hier Planungsrecht für die Errichtung eines Büro - und Verwaltungsgebäudes zu schaffen .

Replace common phrases (n-grams) with a single token and remove the stop words.

old = ["Bad" "Godesberg"];
new = "Bad Godesberg";
documents = replaceNgrams(documents,old,new);
documents = removeStopWords(documents);
documents(1:10)
ans = 
  10×1 tokenizedDocument:

    35 tokens: Gebiet zwischen Reuterstraße , Bundeskanzlerplatz , Willy-Brandt-Allee , Eduard-Pflüger-Straße Straßburger Weg Bebauungsplan Nr . 6620-1 aufzustellen , Ziel , Abriss Bonn-Centers Gebäudeensemble Bürohochhaus maximal 28 Geschossen zwei weiteren 6 ? 7 geschossigen Bürogebäuden realisieren .
    33 tokens: vorhabenbezogenen Bebauungsplan Nr . 6522-1 ? Didinkirica ? Bundesstadt Bonn , Stadtbezirk Bonn , Ortsteil Bonn-Castell , Graurheindorfer Straße 2-16 Straße Rosental Bebauungsplan aufzustellen Zielsetzung , Wohnungsbau insgesamt rund 55 Wohneinheiten schaffen .
    27 tokens: Gebiet zwischen Alfred-Bucherer-Straße , Sebastianstraße Fußweg zwischen Röckumstraße Endenicher Allee Bebauungsplan Nr . 7621-56 aufzustellen , Ziel , Grundstück Wohnbauzwecke entwickeln besonderer Berücksichtigung altengerechter Wohnformen Pflege .
    81 tokens: vergangenen Jahren führte Klimawandel Vielzahl Folgen Umwelt , Wirtschaft Menschen . Städte Gemeinden aufgefordert Folgen anzupassen mögliche zukünftige Szenarios , bezogen Klimawandel , vorzubereiten . Anpassungsprozess fördern , unterstützt EU Kommission Aktivitäten EU-Mitgliedsstaaten , Europas ? Klima-Resilienz ? stärken Kapazitäten , Folgen Klimawandels reagieren , auszubauen . EPICURO bildet Netzwerk 11 europäischen Kommunen öffentlichen Institutionen , zwei Jahre lang gemeinsam Ziel arbeitet , Strategien urbane Resilienz entwickeln fördern . Dabei liegt besonderer Schwerpunkt Einbindung Bürgerinnen Bürgern , unmittelbar Projektaktivitäten teilnehmen .
    15 tokens: Schaffung Planungsrecht Bau neuen Familien - , Schul - Sportschwimmbades Flächen nördlich Heizkraftwerkes Bonn-Dottendorf .
    57 tokens: begleitende Bürgerbeteiligung Konzepterstellung neue Schwimmbad soll folgenden Themen Beteiligung geben : Dialog Architektur , Schule Sportbad , Barrierefreiheit , Sauna / Wellness / Spa , Rutschen / Attraktionen , Erschließung sowie Betrieb . erste Schritt Beteiligung , ? Bürgerwerkstatt Zelt ? bereits November 2016 stattgefunden . weiteren Schritte Bürgerbeteiligung erfolgen zeitlich Bürgerentscheid Erhalt / Weiterbetrieb Kurfürstenbades .
    40 tokens: Gebietskulisse Grünen C sollen Freiräume zukünftig Sinne Naherholung , Landwirtschaft Naturschutz gesichert weiterentwickelt . Hierzu interkommunales Integriertes Handlungskonzept ( InHK ) notwendig , zukünftige Weiterentwicklung Freiräume regelt . Aufbauend InHK wurden Landesförderung " Grüne Infrastruktur " Förderanträge Umsetzung gestellt .
    32 tokens: Entlastung Pützchen / Bechlinghoven Durchgangsverkehr Verbindung geplanten Anschlussstelle Maarstraße bzw . Schließung Anschlussstelle Pützchen vorgesehen , Teufelsbachweg L 83n verlängern Umgehungsstraße auszubauen . Somit durchgängige Verbindungsstraße zwischen Pützchens Chaussee L 83n .
    19 tokens: Areal ehemaligen Landwirtschaftskammer sowie angrenzenden städtischen Fläche Stadtbezirk Beuel , Ortsteil Hoholz-Roleber soll Möglichkeit Umnutzung landwirtschaftlichen Flächen Wohnnutzung geprüft
    25 tokens: Areal Herbert-Rabius-Straße Stadtbezirk Beuel , Ortsteil Beuel-Mitte soll vorhabenbezogene Bebauungsplan Nr . 6722-2 aufgestellt , Ziel , hier Planungsrecht Errichtung Büro - Verwaltungsgebäudes schaffen .

Normalize the text using the normalizeWords function.

documents = normalizeWords(documents);
documents(1:10)
ans = 
  10×1 tokenizedDocument:

    35 tokens: gebiet zwisch reuterstrass , bundeskanzlerplatz , willy-brandt-alle , eduard-pfluger-strass strassburg weg bebauungsplan nr . 6620-1 aufzustell , ziel , abriss bonn-cent gebaudeensembl burohochhaus maximal 28 geschoss zwei weit 6 ? 7 geschoss burogebaud realisi .
    33 tokens: vorhabenbezog bebauungsplan nr . 6522-1 ? didinkirica ? bundesstadt bonn , stadtbezirk bonn , ortsteil bonn-castell , graurheindorf strass 2-16 strass rosental bebauungsplan aufzustell zielsetz , wohnungsbau insgesamt rund 55 wohnein schaff .
    27 tokens: gebiet zwisch alfred-bucherer-strass , sebastianstrass fussweg zwisch rockumstrass endenich alle bebauungsplan nr . 7621-56 aufzustell , ziel , grundstuck wohnbauzweck entwickeln besond berucksicht altengerecht wohnform pfleg .
    81 tokens: vergang jahr fuhrt klimawandel vielzahl folg umwelt , wirtschaft mensch . stadt gemeind aufgefordert folg anzupass moglich zukunft szenarios , bezog klimawandel , vorzubereit . anpassungsprozess ford , unterstutzt eu kommission aktivitat eu-mitgliedsstaat , europas ? klima-resilienz ? stark kapazitat , folg klimawandel reagi , auszubau . epicuro bildet netzwerk 11 europa kommun offent institution , zwei jahr lang gemeinsam ziel arbeitet , strategi urban resilienz entwickeln ford . dabei liegt besond schwerpunkt einbind burgerinn burg , unmittelbar projektaktivitat teilnehm .
    15 tokens: schaffung planungsrecht bau neu famili - , schul - sportschwimmbad flach nordlich heizkraftwerk bonn-dottendorf .
    57 tokens: begleit burgerbeteil konzepterstell neu schwimmbad soll folgend them beteil geb : dialog architektur , schul sportbad , barrierefrei , sauna / wellness / spa , rutsch / attraktion , erschliess sowi betrieb . erst schritt beteil , ? burgerwerkstatt zelt ? bereit novemb 2016 stattgefund . weit schritt burgerbeteil erfolg zeitlich burgerentscheid erhalt / weiterbetrieb kurfurstenbad .
    40 tokens: gebietskuliss grun c soll freiraum zukunft sinn naherhol , landwirtschaft naturschutz gesichert weiterentwickelt . hierzu interkommunal integriert handlungskonzept ( inhk ) notwend , zukunft weiterentwickl freiraum regelt . aufbau inhk wurd landesforder " grun infrastruktur " forderantrag umsetz gestellt .
    32 tokens: entlast putzch / bechlinghov durchgangsverkehr verbind geplant anschlussstell maarstrass bzw . schliessung anschlussstell putzch vorgeseh , teufelsbachweg l 83n verlang umgehungsstrass auszubau . somit durchgang verbindungsstrass zwisch putzch chausse l 83n .
    19 tokens: areal ehemal landwirtschaftskamm sowi angrenz stadtisch flach stadtbezirk beuel , ortsteil hoholz-roleb soll moglich umnutz landwirtschaft flach wohnnutz gepruft
    25 tokens: areal herbert-rabius-strass stadtbezirk beuel , ortsteil beuel-mitt soll vorhabenbezog bebauungsplan nr . 6722-2 aufgestellt , ziel , hier planungsrecht erricht buro - verwaltungsgebaud schaff .

Erase the punctuation using the erasePunctuation function.

documents = erasePunctuation(documents);
documents(1:10)
ans = 
  10×1 tokenizedDocument:

    27 tokens: gebiet zwisch reuterstrass bundeskanzlerplatz willybrandtalle eduardpflugerstrass strassburg weg bebauungsplan nr 66201 aufzustell ziel abriss bonncent gebaudeensembl burohochhaus maximal 28 geschoss zwei weit 6 7 geschoss burogebaud realisi
    25 tokens: vorhabenbezog bebauungsplan nr 65221 didinkirica bundesstadt bonn stadtbezirk bonn ortsteil bonncastell graurheindorf strass 216 strass rosental bebauungsplan aufzustell zielsetz wohnungsbau insgesamt rund 55 wohnein schaff
    22 tokens: gebiet zwisch alfredbuchererstrass sebastianstrass fussweg zwisch rockumstrass endenich alle bebauungsplan nr 762156 aufzustell ziel grundstuck wohnbauzweck entwickeln besond berucksicht altengerecht wohnform pfleg
    64 tokens: vergang jahr fuhrt klimawandel vielzahl folg umwelt wirtschaft mensch stadt gemeind aufgefordert folg anzupass moglich zukunft szenarios bezog klimawandel vorzubereit anpassungsprozess ford unterstutzt eu kommission aktivitat eumitgliedsstaat europas klimaresilienz stark kapazitat folg klimawandel reagi auszubau epicuro bildet netzwerk 11 europa kommun offent institution zwei jahr lang gemeinsam ziel arbeitet strategi urban resilienz entwickeln ford dabei liegt besond schwerpunkt einbind burgerinn burg unmittelbar projektaktivitat teilnehm
    11 tokens: schaffung planungsrecht bau neu famili schul sportschwimmbad flach nordlich heizkraftwerk bonndottendorf
    41 tokens: begleit burgerbeteil konzepterstell neu schwimmbad soll folgend them beteil geb dialog architektur schul sportbad barrierefrei sauna wellness spa rutsch attraktion erschliess sowi betrieb erst schritt beteil burgerwerkstatt zelt bereit novemb 2016 stattgefund weit schritt burgerbeteil erfolg zeitlich burgerentscheid erhalt weiterbetrieb kurfurstenbad
    31 tokens: gebietskuliss grun c soll freiraum zukunft sinn naherhol landwirtschaft naturschutz gesichert weiterentwickelt hierzu interkommunal integriert handlungskonzept inhk notwend zukunft weiterentwickl freiraum regelt aufbau inhk wurd landesforder grun infrastruktur forderantrag umsetz gestellt
    27 tokens: entlast putzch bechlinghov durchgangsverkehr verbind geplant anschlussstell maarstrass bzw schliessung anschlussstell putzch vorgeseh teufelsbachweg l 83n verlang umgehungsstrass auszubau somit durchgang verbindungsstrass zwisch putzch chausse l 83n
    18 tokens: areal ehemal landwirtschaftskamm sowi angrenz stadtisch flach stadtbezirk beuel ortsteil hoholzroleb soll moglich umnutz landwirtschaft flach wohnnutz gepruft
    19 tokens: areal herbertrabiusstrass stadtbezirk beuel ortsteil beuelmitt soll vorhabenbezog bebauungsplan nr 67222 aufgestellt ziel hier planungsrecht erricht buro verwaltungsgebaud schaff

Visualize the raw and cleaned data in word clouds.

figure
subplot(1,2,1)
wordcloud(documentsRaw);
title("Raw Data")

subplot(1,2,2)
wordcloud(documents);
title("Cleaned Data")

Create Preprocessing Function

Creating a function that performs preprocessing can be useful to prepare different collections of text data in the same way. For example, you can use a function to preprocess new data using the same steps as the training data.

Create a function which tokenizes and preprocesses the text data to use for analysis. The function preprocessGermanText, listed at the end of the example, performs these steps:

  1. Tokenize the text using tokenizedDocument.

  2. Replace the multiword phrase ["Bad" "Godesberg"] with "Bad Godesberg".

  3. Remove a list of stop words (such as „der, „die, and „das) using removeStopWords.

  4. Normalize the words using normalizeWords.

  5. Erase punctuation using erasePunctuation.

Remove the empty documents after preprocessing using the removeEmptyDocuments function. Removing documents after using a preprocessing function makes it easier to remove corresponding data such as labels from other sources.

In this example, use the preprocessing function preprocessGermanText, listed at the end of the example, to prepare the text data.

documents = preprocessGermanText(textData);
documents(1:5)
ans = 
  5×1 tokenizedDocument:

    27 tokens: gebiet zwisch reuterstrass bundeskanzlerplatz willybrandtalle eduardpflugerstrass strassburg weg bebauungsplan nr 66201 aufzustell ziel abriss bonncent gebaudeensembl burohochhaus maximal 28 geschoss zwei weit 6 7 geschoss burogebaud realisi
    25 tokens: vorhabenbezog bebauungsplan nr 65221 didinkirica bundesstadt bonn stadtbezirk bonn ortsteil bonncastell graurheindorf strass 216 strass rosental bebauungsplan aufzustell zielsetz wohnungsbau insgesamt rund 55 wohnein schaff
    22 tokens: gebiet zwisch alfredbuchererstrass sebastianstrass fussweg zwisch rockumstrass endenich alle bebauungsplan nr 762156 aufzustell ziel grundstuck wohnbauzweck entwickeln besond berucksicht altengerecht wohnform pfleg
    64 tokens: vergang jahr fuhrt klimawandel vielzahl folg umwelt wirtschaft mensch stadt gemeind aufgefordert folg anzupass moglich zukunft szenarios bezog klimawandel vorzubereit anpassungsprozess ford unterstutzt eu kommission aktivitat eumitgliedsstaat europas klimaresilienz stark kapazitat folg klimawandel reagi auszubau epicuro bildet netzwerk 11 europa kommun offent institution zwei jahr lang gemeinsam ziel arbeitet strategi urban resilienz entwickeln ford dabei liegt besond schwerpunkt einbind burgerinn burg unmittelbar projektaktivitat teilnehm
    11 tokens: schaffung planungsrecht bau neu famili schul sportschwimmbad flach nordlich heizkraftwerk bonndottendorf

Remove the empty documents using the removeEmptyDocuments function.

documents = removeEmptyDocuments(documents);

Fit Topic Model

Fit a latent Dirichlet allocation (LDA) topic model to the data. An LDA model discovers underlying topics in a collection of documents and infers word probabilities in topics.

To fit an LDA model to the data, you first must create a bag-of-words model. A bag-of-words model (also known as a term-frequency counter) records the number of times that words appear in each document of a collection. Create a bag-of-words model using bagOfWords.

bag = bagOfWords(documents);

Remove the empty documents from the bag-of-words model.

bag = removeEmptyDocuments(bag);

Fit an LDA model with seven topics using fitlda. To suppress the verbose output, set 'Verbose' to 0.

numTopics = 7;
mdl = fitlda(bag,numTopics,'Verbose',0);

Visualize the first four topics using word clouds.

figure
for i = 1:4
    subplot(2,2,i)
    wordcloud(mdl,i);
    title("Topic " + i)
end

Visualize multiple topic mixtures using stacked bar charts. View five input documents at random and visualize the corresponding topic mixtures.

numDocuments = numel(documents);
idx = randperm(numDocuments,5);
documents(idx)
ans = 
  5×1 tokenizedDocument:

      4 tokens: gastronom angebot sollt verbessert
     82 tokens: grunflach dietrichglaunerstrass rand dorfplatz entlang fussweg mehlem bach entlang rheinpromenad gesaumt hundehauf je witter verschlagt gestank mitunt atem weiss einig hundebesitz hinterlassenschaft kumm fast jederman schaut weg hundebesitz ohn anstand eben kehricht kumm grunflach sollt spiel picknick freud genuss hundeklo dien jetzt empfind zumut burg vergess mitarbeit grunamt grunpfleg regelrecht exkrement herumschlag hundesteu sollt empfind erhoht zusatz reinigungsgebuhr flankiert einnahm sollt ordnungskraft eingestellt verstoss geg sorgfaltspflicht hundehalt konsequent ahnd zud sollt zusatzeinnahm ausreich bemess kostendeck reinig offent grunflach hundekot stadtisch kraft refinanzi
    116 tokens: sportplatz plittersdorf kommt leid regelmass unschon vorfall einsehbar umfeld heruntergekomm gesichert ca jahr wurd flutlichtscheinwerf waff kaputt geschoss reparatur dauert mehr woch kostet stadt 5000 euro netz tor regelmass kaputt geschnitt schon mindest 34 tor gestang mindest 2 tor rad zerbroch wahrschein unsachgemass behandelt wurd abgeholt geschweisst kost dafur unerheb platz regelmass chipstut flasch zigarett hundehauf verdreckt obwohl hund ausfuhr eigent verbot umkleid vereinsbud desolat zustand allein fussballmannschaft sohn saison 3 fahrrad 1 sporttasch fahrradhelm geklaut word training folgend vorschlag statt geland sollt richtig zaun platz gemacht hund drauf erleicht idealerweis sollt ganz geland umzaunt richtung friedhof gotenstrass hausmeist gotenschul morg abend abgeschloss ssv plittersdorf sollt dabei unterstutzt ordent vereinsheim erstell geland aufzuwert prasenz polizei ordnungsdien
     64 tokens: mainz strass bereich geschaft kirch uberwieg beidseit zugeparkt unschon sond fussgang radfahr absolut unkomfortabel unubersicht buss steh andauernd stau gegenverkehr parkend fahrzeug durchfahrt verhind gibt fast vernunft abstellmog fahrrad mehlem zentrum attraktiv mach sollt park seit strass komplett untersagt strassenrand sollt dafur grunpflanz zb kubel installiert park sollt wenig ausnahm zb kurzparkzon poststell kostenpflicht ortszentrum schon fussgang radfahr sich ausserd okolog ansatz einzig zukunftstracht
     50 tokens: "1" "bezirksverodnet" "sollt" "kulturburgermeist" "gewahlt" "hatt" "aufgab" "vertret" "verschied" "bad godesberg" "tatig" "kulturverein" "bzw" "einricht" "theat" "galeri" "orch" "gesangsgrupp" "literaturgrupp" "filmtheat" "ua" "zwei" "drei" "mal" "jahrlich" "rund" "tisch" "einzulad" "gemeinsam" "vorhab" "zb" "kulturf" "geplant" "vorbereitet" "2" "wertvoll" "hrdlickaskulptur" "sollt" "bundesinnenministerium" "graurheindorf" "strass" "wohin" "sieb" "jahr" "entfuhrt" "wurd" "bad godesberg" "zuruckgefuhrt" "hier" "aufgestellt"

topicMixtures = transform(mdl,documents(idx));

figure
barh(topicMixtures(1:5,:),'stacked')
xlim([0 1])
title("Topic Mixtures")
xlabel("Topic Probability")
ylabel("Document")
legend("Topic " + string(1:numTopics),'Location','northeastoutside')

Example Preprocessing Function

The function preprocessGermanText, performs these steps:

  1. Tokenize the text using tokenizedDocument.

  2. Replace the multiword phrase ["Bad" "Godesberg"] with "Bad Godesberg".

  3. Remove a list of stop words (such as „der, „die, and „das) using removeStopWords.

  4. Normalize the words using normalizeWords.

  5. Erase punctuation using erasePunctuation.

function documents = preprocessGermanText(textData)

% Tokenize the text.
documents = tokenizedDocument(textData);

% Replace multiword phrases
old = ["Bad" "Godesberg"];
new = "Bad Godesberg";
documents = replaceNgrams(documents,old,new);

% Remove a list of stop words.
documents = removeStopWords(documents);

% Normalize the words.
documents = normalizeWords(documents);

% Erase the punctuation.
documents = erasePunctuation(documents);

end

See Also

| | | | |

Related Topics