Spracherkennung eines Textes

✍️ Spracherkennung eines Textes 🌐

In einer globalisierten Welt kommen Nachrichten aus allen Ecken der Welt und können in verschiedenen Sprachen geschrieben sein. Um diese Texte automatisch zu verarbeiten (zum Beispiel in automatischen Übersetzungsanwendungen) ist es essentiell, dass wir die Sprache jedes Textes identifizieren können.

Deine Aufgabe ist es, ein automatisches System zu entwickeln, das die Sprache eines Textes bestimmen kann, ausgehend vom Training eines Modells basierend auf einem Satz von gelabelten Beispielen.

🌍 Mögliche Sprachen

Das automatische System muss für die folgenden Sprachen funktionieren:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Datensatz

Du hast zwei CSV-Dateien zur Verfügung:

• train.csv - enthält Texte und ihre Sprachen
• test.csv - enthält Texte, für die das Modell die Sprache vorhersagen muss

Jede Zeile in train.csv hat die folgenden Spalten:

• SampleID - eindeutige Kennung des Textes
• Text - der ursprüngliche Text
• language - die Sprache des Textes

Beispiel:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Jede Zeile in test.csv hat die folgenden Spalten:

• SampleID - eindeutige Kennung des Textes
• Text - der Text, für den die Sprache vorhergesagt werden muss

Beispiel:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Aufgabe (100 Punkte)

Erstelle ein System, das die Sprache des Textes für die Texte aus test.csv identifizieren kann.

Die Vorhersagen müssen in einer Datei submission.csv mit folgendem Format gespeichert werden:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

wobei:

• SampleID - die eindeutige Kennung des Textes aus test.csv
• language - die von deinem System vorhergesagte Sprache, die eine der möglichen Sprachen aus der folgenden Liste sein muss:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Bewertung

Die Vorhersagen werden mit den tatsächlichen Sprachen verglichen und die Genauigkeit wird berechnet:

1accuracy = (anzahl_korrekte_vorhersagen / anzahl_gesamt_vorhersagen)

Die finale Punktzahl wird basierend auf der erreichten Genauigkeit mit folgenden Regeln berechnet:

• accuracy ≥ 0.98 → 100 Punkte
• accuracy ≤ 0.9 → 0 Punkte
• Für Zwischenwerte wird proportional zwischen 0 und 100 Punkte vergeben.