Vi kommer nu att gå tillbaka till det tidigare exemplet att klassificera 100 personer (som omfattar 40 gravida kvinnor och de återstående 60 är inte gravida kvinnor och män med en fet mage) som gravid eller inte gravid. Av 40 gravida kvinnor klassificeras 30 gravida kvinnor korrekt och de återstående 10 gravida kvinnorna klassificeras som inte gravida av maskininlärningsalgoritmen. Å andra sidan klassificeras 55 av 60 personer i den inte gravida kategorin som inte gravid och de återstående 5 klassificeras som gravida.,
i detta fall, TN = 55, FP = 5, FN = 10, TP = 30. Förvirringsmatrisen är som följer.
vad är noggrannheten i maskininlärningsmodellen för denna klassificeringsuppgift?,
noggrannheten representerar antalet korrekt klassificerade datainstanser över det totala antalet datainstanser.datainstanser.
i detta exempel, noggrannhet = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 och i procent kommer noggrannheten att vara 85%.
är noggrannhet det bästa måttet?
noggrannheten kanske inte är en bra åtgärd om datauppsättningen inte är balanserad (både negativa och positiva klasser har olika antal datainstanser)., Vi kommer att förklara detta med ett exempel.
Tänk på följande scenario: det finns 90 personer som är friska (negativa) och 10 personer som har någon sjukdom (positiva). Låt oss nu säga att vår maskininlärningsmodell perfekt klassificerade 90-personerna som friska men det klassificerade också de ohälsosamma människorna som friska. Vad kommer att hända i detta scenario? Låt oss se förvirringsmatrisen och ta reda på noggrannheten?
i detta exempel, TN = 90, FP = 0, FN = 10 och TP = 0. Förvirringsmatrisen är som följer.,
noggrannhet i detta fall kommer att vara (90 + 0)/(100) = 0.9 och i procent är noggrannheten 90%.
finns det något skumt?
noggrannheten är i detta fall 90% men den här modellen är mycket dålig eftersom alla 10 personer som är ohälsosamma klassificeras som friska., Med det här exemplet försöker vi säga att noggrannhet inte är ett bra mått när datauppsättningen är obalanserad. Att använda noggrannhet i sådana scenarier kan leda till vilseledande tolkning av resultaten.
så nu går vi vidare för att ta reda på ett annat mätvärde för klassificering. Återigen går vi tillbaka till graviditetsklassificeringsexemplet.
nu kommer vi att hitta precisionen (positivt prediktivt värde) för att klassificera datainstanserna., Precision definieras enligt följande:
vad betyder precision?
Precision bör helst vara 1 (hög) för en bra klassificerare. Precision blir 1 endast när täljaren och nämnaren är lika med dvs TP = TP +FP betyder det också att FP är noll. När FP ökar värdet av nämnaren blir större än täljaren och precisionsvärdet minskar (som vi inte vill).
så i graviditeten exempel, precision = 30/(30+ 5) = 0.,857
nu kommer vi att introducera ett annat viktigt mått som heter recall. Recall är också känd som känslighet eller sann positiv hastighet och definieras enligt följande:
Recall bör helst vara 1 (hög) för en bra klassificerare. Recall blir 1 endast när täljaren och nämnaren är lika med dvs TP = TP +FN, det betyder också FN är noll., När FN ökar värdet av nämnaren blir större än täljaren och minns värdet minskar (som vi inte vill).
så i graviditeten exempel låt oss se vad som kommer att återkallas.
återkallelse = 30/(30+ 10) = 0.75
Så helst i en bra klassificerare vill vi att både precision och återkallelse ska vara en vilket också innebär att FP och FN är noll. Därför behöver vi ett mått som tar hänsyn till både precision och återkallelse., F1-score är ett mätvärde som tar hänsyn till både precision och återkallande och definieras enligt följande:
F1 poäng blir 1 endast när precision och återkallande är båda 1. F1 poäng blir hög endast när både precision och återkallande är höga. F1-poäng är det harmoniska medelvärdet av precision och återkallelse och är ett bättre mått än noggrannhet.
i graviditetsexempel F1-poäng = 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
läslista
Följande är en intressant artikel om den gemensamma binära klassificering metriska av neptune.ai. länken till artikeln finns här: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Lämna ett svar