Můžeme se teď vrátit k předchozí příklad klasifikace 100 lidí (což zahrnuje 40 těhotných žen a zbývajících 60 nejsou těhotné ženy a muži s tlustým břichem) jako těhotná, nebo není těhotná. Ze 40 těhotných žen je 30 těhotných žen klasifikováno správně a zbývajících 10 těhotných žen je klasifikováno jako ne těhotné algoritmem strojového učení. Na druhé straně z 60 osob v kategorii ne těhotné je 55 klasifikováno jako ne těhotné a zbývajících 5 je klasifikováno jako těhotné.,
v tomto případě TN = 55, FP = 5, FN = 10, TP = 30. Matrice zmatku je následující.
jaká je přesnost modelu strojového učení pro tento klasifikační úkol?,
Přesnost představuje počet správně klasifikovaných dat instance více než celkový počet dat instance.
v tomto příkladu přesnost = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 a v procentech bude přesnost 85%.
je přesnost nejlepším opatřením?
přesnost nemusí být dobrým měřítkem, pokud datový soubor není vyvážený (negativní i pozitivní třídy mají různý počet datových instancí)., Vysvětlíme to příkladem.
zvažte následující scénář: existuje 90 lidí, kteří jsou zdraví (negativní) a 10 lidí, kteří mají nějakou nemoc (pozitivní). Nyní řekněme, že náš model strojového učení dokonale klasifikovány 90 lidí jako zdravé, ale je také klasifikován nezdravé lidí jako zdravé. Co se stane v tomto scénáři? Podívejme se na matici zmatku a zjistíme přesnost?
v tomto příkladu TN = 90, FP = 0, FN = 10 a TP = 0. Matrice zmatku je následující.,
Přesnost v tomto případě bude (90 + 0)/(100) = 0.9 a v procentech přesnost je 90 %.
existuje něco rybího?
přesnost je v tomto případě 90 %, ale tento model je velmi špatný, protože všech 10 nezdravých lidí je klasifikováno jako zdravé., Tímto příkladem se snažíme říci, že přesnost není dobrá metrika, když je datová sada nevyvážená. Použití přesnosti v takových scénářích může vést k zavádějícímu výkladu výsledků.
takže nyní se posuneme dále a zjistíme další metriku pro klasifikaci. Opět se vrátíme k příkladu klasifikace těhotenství.
nyní najdeme přesnost (pozitivní prediktivní hodnota) při klasifikaci instancí dat., Přesnost je definována takto:
Co znamená přesnost na mysli?
přesnost by měla být v ideálním případě 1 (vysoká) pro dobrý klasifikátor. Přesnost se stává 1 pouze tehdy, když čitatel a jmenovatel jsou stejné tj TP = TP + FP, to také znamená, že FP je nula. Jak FP zvyšuje hodnotu jmenovatele, stává se větší než čitatel a hodnota přesnosti klesá (což Nechceme).
takže v příkladu těhotenství, přesnost = 30/(30+ 5) = 0.,857
nyní představíme další důležitou metriku nazvanou recall. Připomeňme si je také známý jako citlivost nebo true positive rate a je definována takto:
Připomeňme, by měl být v ideálním případě 1 (high) za dobré třídění. Odvolání se stává 1 pouze tehdy, když čitatel a jmenovatel jsou stejné TP = TP +FN, to také znamená, že FN je nula., Jak FN zvyšuje hodnotu jmenovatele, stává se větší než čitatel a hodnota vyvolání klesá (což Nechceme).
takže v příkladu těhotenství uvidíme, co bude odvolání.
Recall = 30/(30+ 10) = 0.75
takže ideálně v dobrém klasifikátoru chceme, aby přesnost i odvolání byly takové, které také znamená, že FP a FN jsou nulové. Proto potřebujeme metriku, která bere v úvahu přesnost i odvolání., F1-score je ukazatel, který bere v úvahu jak precision a recall a je definována takto:
F1 Score je 1 pouze tehdy, když precision a recall jsou oba 1. Skóre F1 se stává vysokým pouze tehdy, když je vysoká přesnost i odvolání. F1 skóre je harmonický průměr přesnosti a odvolání a je lepší opatření než přesnost.
v příkladu těhotenství skóre F1= 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
literatura
následující text je zajímavý článek o společné binární klasifikace metrické neptun.ai. Odkaz na článek je k dispozici zde: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Napsat komentář