– Meillä on nyt palata aiemmin esimerkiksi luokittelemalla 100 ihmistä (joka sisältää 40 raskaana olevat naiset ja loput 60 eivät ole raskaana naiset ja miehet rasvaa vatsa) kuten raskaana tai ei raskaana. 40 raskaana olevasta naisesta 30 raskaana olevaa luokitellaan oikein ja loput 10 raskaana olevaa luokitellaan koneoppimisalgoritmin mukaan ei-raskaaksi. Toisaalta, 60 ihmistä ole raskaana luokka, 55 luokitellaan ole raskaana ja loput 5 on luokiteltu raskaana.,
tässä tapauksessa TN = 55, FP = 5, FN = 10, TP = 30. Sekaannusmatriisi on seuraava.
Mikä on tarkkuus kone oppimisen malli tämä luokittelu on tehtävä?,
Tarkkuus on määrä oikein luokiteltujen tietojen tapauksissa yli kokonaismäärä tietojen tapauksissa.
tässä esimerkki, Tarkkuus = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 ja prosenttiosuus tarkkuutta on 85%.
onko tarkkuus paras mittari?
tarkkuus ei välttämättä ole hyvä mittari, jos tietokokonaisuus ei ole tasapainossa (sekä negatiivisissa että positiivisissa luokissa on eri määrä tietokokonaisuuksia)., Selitämme tämän esimerkillä.
harkitse seuraavaa skenaariota: on 90 henkilöä, jotka ovat terveitä (negatiivisia) ja 10 henkilöä, joilla on jokin sairaus (positiivinen). Nyt sanotaan, että koneoppimismallimme luokitteli 90 ihmistä täydellisesti terveiksi, mutta se myös luokitteli epäterveelliset ihmiset terveiksi. Mitä tässä tilanteessa tapahtuu? Katsotaanpa sekaannusmatriisi ja selvitetään tarkkuus?
tässä esimerkissä tn = 90, FP = 0, FN = 10 ja TP = 0. Sekaannusmatriisi on seuraava.,
Tarkkuus tässä tapauksessa on (90 + 0)/(100) = 0.9 ja prosenttiosuus tarkkuus on 90 %.
onko mitään hämärää?
tarkkuus tässä tapauksessa on 90 %, mutta tämä malli on erittäin huono, koska kaikki 10 henkilöä, jotka ovat epäterveellistä luokitellaan terve., Tällä esimerkillä yritämme sanoa, että tarkkuus ei ole hyvä mittari, kun tietokokonaisuus on epätasapainossa. Tarkkuuden käyttäminen tällaisissa skenaarioissa voi johtaa tulosten harhaanjohtavaan tulkintaan.
joten nyt siirrytään kauemmas selvittämään toista luokittelun mittaria. Taas palataan raskausluokitusesimerkkiin.
nyt löydetään tarkkuus (positiivinen ennustearvo) tietoastioiden luokittelussa., Tarkkuus on määritelty seuraavasti:
Mitä tarkkuus tarkoittaa?
tarkkuuden pitäisi mieluiten olla 1 (korkea) hyvän luokittajan osalta. Tarkkuus tulee 1 vain, kun osoittaja ja nimittäjä ovat yhtä suuret eli TP = TP +FP, tämä tarkoittaa myös sitä, että FP on nolla. FP: n kasvaessa nimittäjän arvo tulee suuremmaksi kuin osoittaja ja tarkkuusarvo laskee (mitä emme halua).
joten raskausesimerkissä tarkkuus = 30/(30+ 5) = 0.,857
nyt otetaan käyttöön toinen tärkeä metriikka nimeltä recall. Muista, tunnetaan myös herkkyys tai tosi positiivisia ja on määritelty seuraavasti:
Muista, pitäisi ihannetapauksessa olla 1 (korkea) hyvä luokittelija. Takaisinkutsu tulee 1 vain, kun osoittaja ja nimittäjä ovat yhtä suuret eli TP = TP +FN, tämä tarkoittaa myös sitä, että FN on nolla., FN: n kasvaessa nimittäjän arvo tulee suuremmaksi kuin osoittaja ja takaisinkutsuarvo laskee (mitä emme halua).
joten raskauden esimerkissä katsotaan, mikä on takaisinkutsu.
Palauta = 30/(30+ 10) = 0.75
Joten mieluiten hyvä luokittelija, haluamme molemmat tarkkuutta ja muistaa yksi, joka tarkoittaa myös sitä, FP ja FN ovat nolla. Siksi tarvitsemme metrijärjestelmän, jossa otetaan huomioon sekä tarkkuus että takaisinkutsu., F1-pisteet on metric-arvo, joka otetaan huomioon sekä tarkkuutta ja muistaa, ja on määritelty seuraavasti:
F1-Pisteet on 1 vain silloin, kun tarkkuus ja muistaa ovat molemmat 1. F1-pisteet nousevat korkeiksi vasta, kun sekä tarkkuus että takaisinkutsu ovat korkeita. F1-pisteet ovat tarkkuuden ja takaisinkutsun harmoninen keskiarvo ja parempi mittari kuin tarkkuus.
raskaus esimerkiksi F1-Pisteet = 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
Reading List
seuraavassa on mielenkiintoinen artikkeli yhteisestä binary luokittelu metrinen, jonka neptunus.ai. Linkki artikkeliin löytyy täältä: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Vastaa