Identificazione della lingua di un testo

✍️ Identificazione della lingua di un testo 🌐

In un mondo globalizzato, i messaggi provengono da tutti gli angoli del mondo e possono essere scritti in diverse lingue. Per elaborare automaticamente questi testi (ad esempio, in applicazioni automatiche di traduzione) è essenziale poter identificare la lingua di ogni testo.

Il tuo ruolo è sviluppare un sistema automatico capace di determinare la lingua di un testo, partendo dall'addestramento di un modello basato su un set di esempi etichettati.

🌍 Lingue possibili

Il sistema automatico deve funzionare per le seguenti lingue:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Set di dati

Hai a disposizione due file CSV:

• train.csv - contiene testi e le loro lingue
• test.csv - contiene testi per i quali il modello deve predire la lingua

Ogni riga di train.csv ha le seguenti colonne:

• SampleID - identificatore unico del testo
• Text - testo originale
• language - lingua del testo

Esempio:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Ogni riga di test.csv ha le seguenti colonne:

• SampleID - identificatore unico del testo
• Text - testo per il quale deve essere predetta la lingua

Esempio:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 punti)

Costruisci un sistema che può identificare la lingua del testo per i testi in test.csv.

Le predizioni devono essere salvate in un file submission.csv con il formato:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

dove:

• SampleID - identificatore unico del testo da test.csv
• language - lingua predetta dal tuo sistema, che deve essere una delle lingue possibili dalla seguente lista:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Valutazione

Le predizioni saranno confrontate con le lingue reali e si calcolerà l'accuratezza:

1accuracy = (numero_predizioni_corrette / numero_totale_predizioni)

Il punteggio finale è calcolato in base all'accuratezza ottenuta usando le seguenti regole:

• accuracy ≥ 0.98 → 100 punti
• accuracy ≤ 0.9 → 0 punti
• Per i valori intermedi si assegna un punteggio proporzionale tra 0 e 100.