Vi vil nå gå tilbake til tidligere eksempel på klassifisering av 100 personer (som omfatter 40 gravide kvinner, og de resterende 60 er ikke gravide kvinner og menn med en feit buk) som er gravid eller ikke er gravid. Av 40 gravide kvinner 30 gravide kvinner er klassifisert riktig, og de resterende 10 gravide kvinner er klassifisert som ikke gravid av maskinlæring algoritme. På den andre siden, ut av 60 personer i ikke gravid kategori, 55 er klassifisert som ikke er gravide, og de resterende 5 er klassifisert som gravid.,
I dette tilfellet, TN = 55, FP = 5, FN = 10, TP = 30. Forvirringen matrix er som følger.
Hva er nøyaktigheten av maskinen læring modell for denne klassifiseringen oppgave?,
Korrektheten representerer antall riktig klassifiserte data forekomster over det totale antall av data tilfeller.
I dette eksempelet, Nøyaktighet = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 og i prosent nøyaktigheten vil være 85%.
nøyaktighet Er det beste tiltaket?
Nøyaktigheten kan ikke være et godt tiltak hvis datasettet er ikke balansert (både negative og positive klassene har forskjellige antall av data tilfeller)., Vi vil forklare dette med et eksempel.
Tenk deg følgende scenario: Det er 90 personer som er friske (negativ) og 10 personer som har noen sykdom (positiv). La oss nå si at maskinen vår læring modellen perfekt klassifisert 90 personer som sunt, men det er også klassifisert den usunne mennesker som sunn. Hva som vil skje i dette tilfellet? La oss se forvirring matrix og finne ut nøyaktighet?
I dette eksempelet, TN = 90, FP = 0, FN = 10 TP = 0. Forvirringen matrix er som følger.,
Nøyaktighet i dette tilfellet vil være (90 + 0)/(100) = 0.9 og i prosent nøyaktigheten er 90 %.
Er det noe fishy?
nøyaktigheten Av, i dette tilfellet, er 90 %, men denne modellen er svært dårlig, fordi alle de 10 personer som er usunt er klassifisert som sunn., Av dette eksemplet hva vi prøver å si er at nøyaktighet er ikke en god beregningen når datasettet er ubalansert. Ved hjelp av nøyaktighet i slike scenarier kan resultere i misvisende tolkning av resultatene.
Så nå kan vi gå videre for å finne ut en annen beregning for klassifisering. Igjen går vi tilbake til graviditet klassifisering eksempel.
Nå vil vi finne presisjon (positiv prediktiv verdi) i klassifisere data forekomster., Presisjon er definert som følger:
Hva gjør presisjon betyr?
Presisjon ideelt sett bør være 1 (høy) for en god classifier. Presisjonen blir 1 bare når telleren og nevneren er lik jeg.e TP = TP +FP, dette betyr også at FP er null. Som FP, øker verdien av nevneren blir større enn telleren og presisjon verdien synker (som vi ikke ønsker).
Så i svangerskapet eksempel, presisjon = 30/(30+ 5) = 0.,857
Nå vil vi introdusere en annen viktig metrisk kalt husker. Recall er også kjent som følsomhet eller sanne positive resultater og er definert som følger:
Tilbakekall bør ideelt sett være 1 (høy) for en god classifier. Recall blir 1 bare når telleren og nevneren er lik jeg.e TP = TP +FN, dette betyr også at FN er null., Som FN, øker verdien av nevneren blir større enn telleren og husker verdien synker (som vi ikke ønsker).
Så i svangerskapet eksempel la oss se hva som vil være de husker.
Tilbakekall = 30/(30+ 10) = 0.75
Så ideelt til i en god classifier, vi ønsker både presisjon og recall å være en som også betyr FP og FN er null. Derfor trenger vi en beregning som tar hensyn til både presisjon og recall., F1-score er en beregning som tar hensyn til både presisjon og recall, og er definert som følger:
F1 Score blir 1 bare når precision og recall er både 1. F1 score blir høye bare når både presisjon og recall er høy. F1 score er det harmoniske gjennomsnittet av precision og recall og er et bedre mål enn nøyaktighet.
I svangerskapet eksempel, F1 Score = 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
Reading List
følgende er en interessant artikkel på vanlig binær klassifisering beregning av neptun.ai. Link til artikkelen er tilgjengelig her: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Legg igjen en kommentar