✍️ Identificarea limbii unui text 🌐

Într-o lume globalizată, mesajele vin din toate colțurile lumii și pot fi scrise în diverse limbi. Pentru a procesa automat aceste texte (de exemplu, în aplicații automate de traducere) este esențial să putem identifica limba fiecărui text.

Rolul tău este să dezvolți un sistem automat capabil să determine limba unui text, pornind de la antrenarea unui model pe baza unui set de exemple etichetate.

🌍 Limbile posibile

Sistemul automat trebuie să funcționeze pentru următoarele limbi:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Setul de date

Ai la dispoziție două fișiere CSV:

• train.csv - conține texte și limbile lor
• test.csv - conține texte pentru care modelul trebuie să prezică limba

Fiecare rând din train.csv are următoarele coloane:

• SampleID - identificatorul unic al textului
• Text - textul original
• language - limba textului

Exemplu:

SampleID,Text,language
S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian
S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish
S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Fiecare rând din test.csv are următoarele coloane:

• SampleID - identificatorul unic al textului
• Text - textul pentru care trebuie prezisă limba

Exemplu:

SampleID,Text
S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."
S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 puncte)

Construiește un sistem care poate identifica limba textului pentru textele din test.csv.

Predicțiile trebuie salvate într-un fișier submission.csv cu formatul:

SampleID,language
S1001,Thai
S1002,Tamil
S1003,Swedish

unde:

• SampleID - identificatorul unic al textului din test.csv
• language - limba prezisă de sistemul tău, care trebuie să fie una dintre limbile posibile din lista următoare:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Evaluare

Predicțiile vor fi comparate cu limbile reale și se va calcula acuratețea:

accuracy = (numar_predicții_corecte / numar_total_predicții)

Punctajul final este calculat pe baza acurateței obținute folosind următoarele reguli:

• accuracy ≥ 0.98 → 100 puncte
• accuracy ≤ 0.9 → 0 puncte
• Pentru valorile intermediare se acordă punctaj proporțional între 0 și 100.