Szöveg nyelvének azonosítása

✍️ Szöveg nyelvének azonosítása 🌐

Egy globalizált világban az üzenetek a világ minden tájáról érkeznek és különböző nyelveken íródhatnak. Ezen szövegek automatikus feldolgozásához (például automatikus fordítási alkalmazásokban) elengedhetetlen, hogy meg tudjuk határozni minden szöveg nyelvét.

A feladatod egy automatikus rendszer fejlesztése, amely képes meghatározni egy szöveg nyelvét, egy címkézett példák halmazán alapuló modell betanításával kezdve.

🌍 Lehetséges nyelvek

Az automatikus rendszernek a következő nyelvekre kell működnie:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Adathalmaz

Két CSV fájl áll rendelkezésedre:

• train.csv - szövegeket és azok nyelveit tartalmazza
• test.csv - szövegeket tartalmaz, amelyekhez a modellnek meg kell jósolnia a nyelvet

A train.csv minden sora a következő oszlopokat tartalmazza:

• SampleID - a szöveg egyedi azonosítója
• Text - az eredeti szöveg
• language - a szöveg nyelve

Példa:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

A test.csv minden sora a következő oszlopokat tartalmazza:

• SampleID - a szöveg egyedi azonosítója
• Text - a szöveg, amelyhez meg kell jósolni a nyelvet

Példa:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Feladat (100 pont)

Építs fel egy rendszert, amely képes azonosítani a szöveg nyelvét a test.csv szövegeire.

A jóslatokat egy submission.csv fájlba kell menteni a következő formátumban:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

ahol:

• SampleID - a szöveg egyedi azonosítója a test.csv-ből
• language - a rendszered által jósolt nyelv, amelynek a következő lehetséges nyelvek egyikének kell lennie:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Értékelés

A jóslatokat összehasonlítják a valós nyelvekkel és kiszámítják a pontosságot:

1accuracy = (helyes_jóslatok_száma / összes_jóslat_száma)

A végső pontszám a kapott pontosság alapján kerül kiszámításra a következő szabályok szerint:

• accuracy ≥ 0.98 → 100 pont
• accuracy ≤ 0.9 → 0 pont
• A köztes értékekre arányosan osztanak pontot 0 és 100 között.