სპამ ელ-ფოსტების ავტომატური გამოვლენის სისტემა

💌 ელფოსტის სპამის ავტომატური გამოვლენის სისტემა 📧

თქვენი კომპანია სურს დაიცვას მომხმარებლები არასასურველი ელფოსტებისგან (სპამი).
ამისთვის გადაწყდა ავტომატური სისტემის აშენება, რომელიც გამოავლენს
სპამ ელფოსტებს და გამოყოფს ლეგიტიმურისგან (არასპამი).

მიიღეთ ეტიკეტირებული ელფოსტების ნაკრები და უნდა ააშენოთ მოდელი
რომელსაც შეუძლია ახალი ელფოსტების კლასიფიკაცია.

თქვენთვის მოწოდებულია ორი ფაილი:

• train.csv - ისტორიული ელფოსტები ეტიკეტით label (spam = 1 / nonspam = 0)
• test.csv - ახალი ელფოსტები, ეტიკეტის გარეშე

მთავარი მიზანი: ელფოსტის სპამობის ალბათობის პროგნოზირება (მნიშვნელობა 0-სა და 1-ს შორის, სადაც 0 = დარწმუნებით არასპამი, 1 = დარწმუნებით სპამი).

📊 მონაცემთა ნაკრები

თითოეული სტრიქონი წარმოადგენს ელფოსტას, შემდეგი ატრიბუტებით:

• sample_id - უნიკალური იდენტიფიკატორი
• text - ელფოსტის შინაარსი
• label - მხოლოდ train.csv-ში, 1 (სპამი)/ 0 (არასპამი)

საბოლოო მიზანი: პროგნოზირება label test.csv-ის სტრიქონებისთვის.

📝 ამოცანები

პირველი ორი ქვეამოცანა ამოწმებს ელფოსტების მარტივ ანალიზს.
ბოლო ქვეამოცანა აფასებს კლასიფიკაციის მოდელს.

ქვეამოცანა 1 (10 ქულა)

განსაზღვრეთ თითოეული ელფოსტის სიგრძე სიმბოლოების რაოდენობით.

ამ ქვეამოცანისთვის გამოიტანეთ მთელი რიცხვი.

ქვეამოცანა 2 (15 ქულა)

დაითვალეთ რამდენი გამოჩენაა სიტყვა free-ს ელფოსტაში.

ქვეამოცანა 3 (75 ქულა)

ააშენეთ კლასიფიკაციის მოდელი, რომელიც პროგნოზირებს ელფოსტის სპამობის ალბათობას (p ∈ [0,1]) ტესტის თითოეული სტრიქონისთვის.

შეფასება ხდება ROC curve-ისა და AUC (Area Under the ROC Curve)-ის გამოყენებით.

🧮 შეფასება

• AUC ≥ 0.95 → 75 ქულა
• AUC ≤ 0.80 → 0 ქულა
• მათ შორის ინტერვალი: პროპორციული ქულა

ქვეამოცანები 1–2 ფასდება ზუსტად (შედარებით).

📄 წარდგენის ფაილის ფორმატი

ფაილი submission.csv უნდა შეიცავდეს 3 ხაზს ტესტის თითოეული სტრიქონისთვის,
რომლებიც შეესაბამება 3 ქვეამოცანას.

სტრუქტურა:

1subtaskID, datapointID, answer

სადაც:

• subtaskID - 1, 2 ან 3
• datapointID - sample_id-ის მნიშვნელობა
• answer - დამოკიდებულია ამოცანაზე:
  • ქვეამოცანა 1: ელფოსტის სიგრძე (მთელი რიცხვი)
  • ქვეამოცანა 2: სიტყვა free-ს გამოჩენების რაოდენობა (მთელი რიცხვი)
  • ქვეამოცანა 3: ელფოსტის სპამობის ალბათობა (ნამდვილი რიცხვი 0–1)

მაგალითი sample_id = 00042-სთვის:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 შეფასების მეტრიკა: ROC AUC 📈

ქვეამოცანა 3-სთვის შეფასება ხდება ROC AUC (Area Under the ROC Curve)-ის გამოყენებით.
ეს არის ერთიანი ზომა, რომელიც ასინთეზებს კლასიფიკატორის მუშაობას ყველა შესაძლო გადაწყვეტილების ზღვრისთვის.

როგორ ითვლება ROC AUC?

1. იხატება ROC მრუდი, რომელიც წარმოადგენს:
   • TPR (True Positive Rate) - დამტკიცებული განცხადებების სწორი დამტკიცების მაჩვენებელი
   • FPR (False Positive Rate) - უარყოფილი განცხადებების არასწორად დამტკიცების მაჩვენებელი

2. მრუდის ქვეშ არეალი (AUC) ითვლება ტრაპეციების წესის გამოყენებით:
   • მრუდი იყოფა ტრაპეციებად FPR მნიშვნელობებზე ვერტიკალური ხაზებისა და TPR მნიშვნელობებზე ჰორიზონტალური ხაზების გამოყენებით
   • ტრაპეციების ფართობები ემატება AUC-ის საბოლოო მნიშვნელობის მისაღებად

3. ქულის ინტერპრეტაცია:
   • ROC AUC = 1 🏆 → სრულყოფილი კლასიფიკატორი, ყველა განცხადება სწორად არის კლასიფიცირებული
   • ROC AUC = 0.5 🎲 → შემთხვევითი კლასიფიკატორი, პროგნოზირების უნარის გარეშე
   • 0.5 < ROC AUC < 1 📈 → რამდენად კარგად ყოფს კლასიფიკატორი კლასებს