Identificatie van de taal van een tekst

✍️ Taalidentificatie van een tekst 🌐

In een geglobaliseerde wereld komen berichten uit alle hoeken van de wereld en kunnen ze in verschillende talen geschreven zijn. Om deze teksten automatisch te verwerken (bijvoorbeeld in automatische vertaalapplicaties) is het essentieel dat we de taal van elke tekst kunnen identificeren.

Jouw rol is om een automatisch systeem te ontwikkelen dat de taal van een tekst kan bepalen, uitgaande van het trainen van een model op basis van een set gelabelde voorbeelden.

🌍 Mogelijke talen

Het automatische systeem moet werken voor de volgende talen:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Dataset

Je hebt twee CSV-bestanden tot je beschikking:

• train.csv - bevat teksten en hun talen
• test.csv - bevat teksten waarvoor het model de taal moet voorspellen

Elke rij in train.csv heeft de volgende kolommen:

• SampleID - de unieke identificator van de tekst
• Text - de originele tekst
• language - de taal van de tekst

Voorbeeld:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Elke rij in test.csv heeft de volgende kolommen:

• SampleID - de unieke identificator van de tekst
• Text - de tekst waarvoor de taal voorspeld moet worden

Voorbeeld:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Opdracht (100 punten)

Bouw een systeem dat de taal van de tekst kan identificeren voor de teksten in test.csv.

De voorspellingen moeten opgeslagen worden in een bestand submission.csv met het formaat:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

waarbij:

• SampleID - de unieke identificator van de tekst uit test.csv
• language - de door jouw systeem voorspelde taal, die een van de mogelijke talen uit de volgende lijst moet zijn:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluatie

De voorspellingen worden vergeleken met de werkelijke talen en de nauwkeurigheid wordt berekend:

1accuracy = (aantal_juiste_voorspellingen / totaal_aantal_voorspellingen)

De eindscore wordt berekend op basis van de behaalde nauwkeurigheid met behulp van de volgende regels:

• accuracy ≥ 0.98 → 100 punten
• accuracy ≤ 0.9 → 0 punten
• Voor tussenliggende waarden wordt een proportionele score tussen 0 en 100 toegekend.