vom reveni acum la exemplul anterior de clasificare a 100 de persoane (care include 40 de femei însărcinate, iar restul de 60 nu sunt femei însărcinate și bărbați cu burtă grasă) ca fiind însărcinate sau nu. Din 40 de femei însărcinate, 30 de femei însărcinate sunt clasificate corect, iar restul de 10 femei însărcinate sunt clasificate ca nefiind însărcinate prin algoritmul de învățare automată. Pe de altă parte, din 60 de persoane din categoria nu sunt însărcinate, 55 sunt clasificate ca nefiind însărcinate, iar restul de 5 sunt clasificate ca fiind însărcinate.,
în acest caz, TN = 55, FP = 5, FN = 10, TP = 30. Matricea de confuzie este după cum urmează.
care este precizia modelului de învățare automată pentru această sarcină de clasificare?,
Precizia reprezintă numărul de corect clasificate date de instanțe peste numărul total de cazuri.
În acest exemplu, precizia = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 și în procente precizia va fi de 85%.
este precizia cea mai bună măsură?
precizia poate să nu fie o măsură bună dacă setul de date nu este echilibrat (atât clasele negative, cât și cele pozitive au un număr diferit de instanțe de date)., Vom explica acest lucru cu un exemplu.luați în considerare următorul scenariu: există 90 de persoane care sunt sănătoase (negative) și 10 persoane care au o anumită boală (pozitivă). Acum, să spunem că modelul nostru de învățare automată a clasificat perfect persoanele 90 ca fiind sănătoase, dar a clasificat și persoanele nesănătoase ca fiind sănătoase. Ce se va întâmpla în acest scenariu? Să vedem matricea de confuzie și să aflăm exactitatea?
în acest exemplu, TN = 90, FP = 0, FN = 10 și TP = 0. Matricea de confuzie este după cum urmează.,
Precizie în acest caz va fi (90 + 0)/(100) = 0.9 și în procent de precizie este de 90 %.
există ceva ciudat?
precizia, în acest caz, este de 90%, dar acest model este foarte slab, deoarece toate cele 10 persoane care sunt nesănătoase sunt clasificate ca fiind sănătoase., Prin acest exemplu, ceea ce încercăm să spunem este că precizia nu este o măsură bună atunci când setul de date este dezechilibrat. Utilizarea preciziei în astfel de scenarii poate duce la interpretarea înșelătoare a rezultatelor.deci, acum mergem mai departe pentru a afla o altă valoare pentru clasificare. Din nou, ne întoarcem la exemplul de clasificare a sarcinii.acum vom găsi precizia (valoarea predictivă pozitivă) în clasificarea instanțelor de date., Precizia este definită după cum urmează:
ceea Ce nu înseamnă precizie?
precizia ar trebui să fie în mod ideal 1 (mare) pentru un clasificator bun. Precizia devine 1 numai atunci când numărătorul și numitorul sunt egale adică TP = TP + FP, acest lucru înseamnă, de asemenea, FP este zero. Pe măsură ce FP crește valoarea numitorului devine mai mare decât numărătorul, iar valoarea preciziei scade (ceea ce nu dorim).deci, în exemplul de sarcină, precizia = 30/(30+ 5) = 0.,857
acum vom introduce o altă valoare importantă numită rechemare. Reamintim, de asemenea, este cunoscut sub numele de sensibilitate sau adevărata rată pozitivă și este definit după cum urmează:
Amintiți-ar trebui să fie în mod ideal 1 (high) pentru o bună clasificator. Rechemarea devine 1 numai atunci când numărătorul și numitorul sunt egale adică TP = TP +FN, acest lucru înseamnă, de asemenea, FN este zero., Pe măsură ce FN crește valoarea numitorului devine mai mare decât numărătorul și valoarea de rechemare scade (pe care nu o dorim).deci, în exemplul de sarcină, să vedem care va fi rechemarea.
amintesc = 30/(30+ 10) = 0.75
deci, în mod ideal, într-un clasificator bun, dorim ca atât precizia, cât și rechemarea să fie una care înseamnă, de asemenea, că FP și FN sunt zero. Prin urmare, avem nevoie de o metrică care să țină cont atât de precizie, cât și de rechemare., F1-scor este un metric care ia în considerare atât precizia și recall și este definit după cum urmează:
F1 Scorul devine 1 numai atunci când precizia și recall sunt ambele la 1. Scorul F1 devine ridicat numai atunci când precizia și rechemarea sunt ridicate. Scorul F1 este media armonică a preciziei și rechemării și este o măsură mai bună decât precizia.
În timpul sarcinii exemplu, F1 Scor = 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
Lista de Lectură
mai jos este un articol interesant pe comune clasificare binară metrice de neptun.ai. Link-ul la articol este disponibil aici: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Lasă un răspuns