Vi vil nu gå tilbage til det tidligere eksempel på klassificering af 100 personer (der omfatter 40 gravide kvinder og de resterende 60 er ikke gravide kvinder og mænd med en tyk mave) som gravid eller ikke gravid. Ud af 40 gravide kvinder klassificeres 30 gravide kvinder korrekt, og de resterende 10 gravide kvinder klassificeres som ikke gravide af maskinindlæringsalgoritmen. På den anden side er ud af 60 personer i kategorien ikke gravid 55 klassificeret som ikke gravid, og de resterende 5 klassificeres som gravide.,
i dette tilfælde TN = 55, FP = 5, FN = 10, TP = 30. Forvirringsmatri theen er som følger.
Hvad er nøjagtigheden af maskinindlæringsmodellen til denne klassificeringsopgave?,
Nøjagtighed repræsenterer antallet af korrekt klassificerede data tilfælde over det totale antal af data tilfælde.
i dette eksempel nøjagtighed = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 og i procent vil nøjagtigheden være 85%.
er nøjagtighed den bedste foranstaltning?
nøjagtighed kan ikke være en god foranstaltning, hvis datasættet ikke er afbalanceret (både negative og positive klasser har forskellige antal data forekomster)., Vi vil forklare dette med et eksempel.
overvej følgende scenario: der er 90 personer, der er sunde (negative) og 10 personer, der har en sygdom (positiv). Lad os nu sige, at vores maskinlæringsmodel perfekt klassificerede de 90 mennesker som sunde, men den klassificerede også de usunde mennesker som sunde. Hvad vil der ske i dette scenario? Lad os se forvirringsmatri theen og finde ud af nøjagtigheden?
i dette eksempel TN = 90, FP = 0, FN = 10 og TP = 0. Forvirringsmatri theen er som følger.,
Nøjagtighed i dette tilfælde vil være (90 + 0)/(100) = 0.9 og i procent nøjagtigheden er 90 %.
er der noget fishy?
nøjagtigheden er i dette tilfælde 90%, men denne model er meget dårlig, fordi alle de 10 mennesker, der er usunde, klassificeres som sunde., Med dette eksempel, hvad vi forsøger at sige, er, at nøjagtighed ikke er en god måling, når datasættet er ubalanceret. Brug af nøjagtighed i sådanne scenarier kan resultere i vildledende fortolkning af resultater.
så nu går vi videre for at finde ud af en anden metrisk for klassificering. Igen går vi tilbage til graviditetsklassifikationseksemplet.
nu finder vi præcisionen (positiv forudsigelsesværdi) ved klassificering af datatilfældene., Præcision er defineret som følger:
Hvad betyder præcision?
præcision bør ideelt set være 1 (høj) for en god klassifikator. Præcision bliver kun 1, når tælleren og nævneren er ens, dvs.TP = TP +FP, det betyder også, at FP er nul. Som FP øger værdien af nævneren bliver større end tælleren og præcision værdi falder (som vi ikke ønsker).
så i graviditetseksemplet, præcision = 30/(30+ 5) = 0.,857
nu introducerer vi en anden vigtig metrisk kaldet tilbagekaldelse. Recall er også kendt som følsomhed eller sandt positive rate og er defineret som følger:
Huske bør ideelt set være 1 (høj) for en god klassificeringen. Tilbagekaldelse bliver kun 1, når tælleren og nævneren er ens, dvs.TP = TP +FN, betyder det også, at FN er nul., Som FN øger værdien af nævneren bliver større end tælleren og tilbagekaldelse værdi falder (som vi ikke ønsker).
så i graviditetseksemplet lad os se, hvad der vil være tilbagekaldelsen.
tilbagekaldelse = 30/(30+ 10) = 0.75
så ideelt i en god klassifikator ønsker vi både præcision og tilbagekaldelse at være en, der også betyder, at FP og FN er nul. Derfor har vi brug for en måling, der tager højde for både præcision og tilbagekaldelse., F1-score er en målemetode, der tager hensyn til både præcision og recall og er defineret som følger:
F1 Score bliver 1 kun, når precision og recall er både 1. F1-score bliver kun høj, når både præcision og tilbagekaldelse er høje. F1 score er det harmoniske gennemsnit af præcision og tilbagekaldelse og er et bedre mål end nøjagtighed.
i graviditetseksemplet, F1 Score = 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
Reading List
følgende er en interessant artikel om den fælles binære klassificering metrisk af neptun.ai. Linket til artiklen er tilgængelig her: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Skriv et svar