Ahora volveremos al ejemplo anterior de clasificar a 100 personas (que incluye 40 mujeres embarazadas y las 60 restantes no son mujeres embarazadas y hombres con un vientre gordo) como embarazadas o no embarazadas. De 40 mujeres embarazadas, 30 mujeres embarazadas se clasifican correctamente y las 10 mujeres embarazadas restantes se clasifican como no embarazadas por el algoritmo de aprendizaje automático. Por otro lado, de las 60 personas en la categoría de no embarazadas, 55 están clasificadas como no embarazadas y las 5 restantes están clasificadas como embarazadas.,
en este caso, TN = 55, FP = 5, FN = 10, TP = 30. La matriz de confusión es la siguiente.
¿Cuál es la precisión del modelo de aprendizaje automático para esta tarea de clasificación?,
La precisión representa el número de clasificados correctamente instancias de datos sobre el número total de instancias de datos.
en este ejemplo, precisión = (55 + 30)/(55 + 5 + 30 + 10 ) = 0.85 y en Porcentaje la precisión será del 85%.
¿la precisión es la mejor medida?
La precisión puede no ser una buena medida si el conjunto de datos no está equilibrado (tanto las clases negativas como las positivas tienen un número diferente de instancias de datos)., Explicaremos esto con un ejemplo.
considere el siguiente escenario: hay 90 personas que están sanas (negativas) y 10 personas que tienen alguna enfermedad (positivas). Ahora digamos que nuestro modelo de aprendizaje automático clasificó perfectamente a las 90 personas como saludables, pero también clasificó a las personas poco saludables como saludables. ¿Qué pasará en este escenario? Veamos la matriz de confusión y averiguar la exactitud?
en este ejemplo, TN = 90, FP = 0, FN = 10 y TP = 0. La matriz de confusión es la siguiente.,
La precisión en este caso será (90 + 0)/(100) = 0.9 y en Porcentaje la precisión es del 90%.
¿hay algo sospechoso?
la precisión, en este caso, es del 90% pero este modelo es muy pobre porque todas las 10 personas que no están saludables se clasifican como saludables., Con este ejemplo lo que estamos tratando de decir es que la precisión no es una buena métrica cuando el conjunto de datos está desequilibrado. El uso de la precisión en tales escenarios puede resultar en una interpretación engañosa de los resultados.
así que ahora vamos más allá para encontrar otra métrica para la clasificación. De nuevo volvemos al ejemplo de clasificación de embarazo.
ahora encontraremos la precisión (valor predictivo positivo) en la clasificación de las instancias de datos., La precisión se define como sigue:
¿Qué precisión significa?
la precisión idealmente debe ser 1 (alta) para un buen clasificador. La precisión se convierte en 1 solo cuando el numerador y el denominador son iguales, es decir, TP = TP +FP, esto también significa que FP es cero. A medida que FP aumenta el valor del denominador se vuelve mayor que el numerador y el valor de precisión disminuye (que no queremos).
así que en el ejemplo de embarazo, Precisión = 30/(30+ 5) = 0.,857
Ahora vamos a introducir otra métrica importante llamada recall. Recordar es también conocida como la sensibilidad o tasa de verdaderos positivos y se define como sigue:
Recuerdo idealmente debería ser de 1 (alta) para un buen clasificador. La recuperación se convierte en 1 solo cuando el numerador y el denominador son iguales, es decir, TP = TP +FN, Esto también significa que FN es cero., A medida que FN aumenta el valor del denominador se vuelve mayor que el numerador y el valor de recuerdo disminuye (lo cual no queremos).
así que en el ejemplo del embarazo veamos cuál será el retiro.
recordar = 30/(30+ 10) = 0.75
así que idealmente en un buen clasificador, queremos que tanto la precisión como el recuerdo sean uno, lo que también significa que FP y FN son cero. Por lo tanto, necesitamos una métrica que tenga en cuenta tanto la precisión como el recuerdo., F1-score es una métrica que tiene en cuenta tanto la precisión y el recall y se define como sigue:
F1 Puntuación se convierte en 1 sólo cuando la precisión y el recall son tanto 1. La puntuación de F1 se vuelve alta solo cuando la precisión y el recuerdo son altos. La puntuación F1 es la media armónica de precisión y memoria y es una medida mejor que la precisión.
en el ejemplo de embarazo, puntuación F1= 2* ( 0.857 * 0.75)/(0.857 + 0.75) = 0.799.,
lista de lectura
el siguiente es un artículo interesante sobre la métrica de clasificación binaria común por neptune.ai. el enlace al artículo está disponible aquí: https://neptune.ai/blog/f1-score-accuracy-roc-auc-pr-auc
Deja una respuesta