Мәтіннің тілін анықтау

✍️ Мәтіннің тілін анықтау 🌐

Жаһандану дәуірінде хабарлар әлемнің барлық бұрыштарынан келеді және әртүрлі тілдерде жазылуы мүмкін. Осы мәтіндерді автоматты түрде өңдеу үшін (мысалы, автоматты аударма қосымшаларында) әр мәтіннің тілін анықтай алу өте маңызды.

Сіздің міндетіңіз - белгіленген мысалдар жиынтығы негізінде модельді дайындаудан бастап, мәтіннің тілін анықтай алатын автоматты жүйе құру.

🌍 Мүмкін тілдер

Автоматты жүйе келесі тілдер үшін жұмыс істеуі керек:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 Деректер жиынтығы

Сізде екі CSV файлы бар:

• train.csv - мәтіндер мен олардың тілдерін қамтиды
• test.csv - модель тілін болжауы керек мәтіндерді қамтиды

train.csv файлындағы әр жолда келесі бағандар бар:

• SampleID - мәтіннің бірегей идентификаторы
• Text - түпнұсқа мәтін
• language - мәтіннің тілі

Мысал:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

test.csv файлындағы әр жолда келесі бағандар бар:

• SampleID - мәтіннің бірегей идентификаторы
• Text - тілі болжанатын мәтін

Мысал:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 Тапсырма (100 ұпай)

test.csv файлындағы мәтіндер үшін мәтін тілін анықтай алатын жүйе құрыңыз.

Болжамдар келесі форматпен submission.csv файлына сақталуы керек:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

мұндағы:

• SampleID - test.csv файлынан мәтіннің бірегей идентификаторы
• language - сіздің жүйеңіз болжаған тіл, келесі мүмкін тілдер тізімінен біреуі болуы керек:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 Бағалау

Болжамдар нақты тілдермен салыстырылады және дәлдік есептеледі:

1accuracy = (дұрыс_болжамдар_саны / жалпы_болжамдар_саны)

Соңғы ұпай келесі ережелерді қолдана отырып алынған дәлдік негізінде есептеледі:

• accuracy ≥ 0.98 → 100 ұпай
• accuracy ≤ 0.9 → 0 ұпай
• Аралық мәндер үшін 0 мен 100 арасында пропорционалды ұпай беріледі.