Identificação da linguagem de um texto

✍️ Identificação da língua de um texto 🌐

Num mundo globalizado, as mensagens vêm de todos os cantos do mundo e podem ser escritas em diversas línguas. Para processar automaticamente estes textos (por exemplo, em aplicações automáticas de tradução) é essencial que possamos identificar a língua de cada texto.

O teu papel é desenvolver um sistema automático capaz de determinar a língua de um texto, partindo do treino de um modelo com base num conjunto de exemplos etiquetados.

🌍 Línguas possíveis

O sistema automático deve funcionar para as seguintes línguas:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Conjunto de dados

Tens à disposição dois ficheiros CSV:

• train.csv - contém textos e as suas línguas
• test.csv - contém textos para os quais o modelo deve prever a língua

Cada linha de train.csv tem as seguintes colunas:

• SampleID - o identificador único do texto
• Text - o texto original
• language - a língua do texto

Exemplo:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

Cada linha de test.csv tem as seguintes colunas:

• SampleID - o identificador único do texto
• Text - o texto para o qual deve ser prevista a língua

Exemplo:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Task (100 pontos)

Constrói um sistema que pode identificar a língua do texto para os textos de test.csv.

As previsões devem ser guardadas num ficheiro submission.csv com o formato:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

onde:

• SampleID - o identificador único do texto de test.csv
• language - a língua prevista pelo teu sistema, que deve ser uma das línguas possíveis da seguinte lista:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Avaliação

As previsões serão comparadas com as línguas reais e será calculada a precisão:

1accuracy = (numero_previsões_corretas / numero_total_previsões)

A pontuação final é calculada com base na precisão obtida usando as seguintes regras:

• accuracy ≥ 0.98 → 100 pontos
• accuracy ≤ 0.9 → 0 pontos
• Para valores intermédios é atribuída pontuação proporcional entre 0 e 100.