Monitorea la deriva del modelo (deriva de concepto) comparando métricas de línea base vs actuales de precisión, F1 score y AUC-ROC. Detecta patrones de deriva gradual, repentina y recurrente con recomendaciones automatizadas de reentrenamiento.
Escenarios del Mundo Real
También podrías encontrar útiles estas calculadoras
Monitorea cambios en la distribución de datos de entrada de modelos ML
Calcula métricas de clasificación ML desde matriz de confusión
Calcula puntuaciones F1 y F-beta desde precisión y recall
Estima el tiempo y costo de entrenamiento de modelos de aprendizaje automático
La Calculadora de Deriva de Modelo ayuda a ingenieros ML a detectar deriva de concepto comparando métricas de rendimiento base y actuales. Monitorea cambios en precisión, F1 score y AUC-ROC, identifica patrones de deriva (gradual, repentina o recurrente), y recibe recomendaciones automatizadas de reentrenamiento.
La deriva de modelo (también llamada deriva de concepto) ocurre cuando la relación entre las características de entrada y la variable objetivo cambia con el tiempo. A diferencia de la deriva de datos (que se enfoca en cambios de distribución de entrada), la deriva de modelo significa que el concepto subyacente que tu modelo aprendió ha evolucionado. Por ejemplo, lo que constituye una transacción fraudulenta o un resultado de búsqueda relevante cambia con el comportamiento del usuario.
Fórmula de Puntuación de Deriva
Deriva = 0.35×CaídaPrecisión + 0.30×CaídaF1 + 0.25×CaídaAUC + 0.10×DecaímientoTemporalLos modelos pueden degradarse silenciosamente a medida que los conceptos del mundo real evolucionan. Los usuarios pueden no notar la calidad decreciente de predicción hasta que ocurre un impacto comercial significativo.
Las caídas de rendimiento pueden provenir de deriva de datos (cambios de entrada) o deriva de concepto (cambios de relación). Entender qué tipo de deriva está ocurriendo guía la respuesta apropiada.
El monitoreo de deriva de concepto permite decisiones de reentrenamiento basadas en datos. En lugar de reentrenamiento programado, activa actualizaciones cuando las métricas cruzan umbrales.
Diferentes tipos de deriva (gradual, repentina, recurrente) requieren diferentes respuestas. La deriva gradual sugiere reentrenamiento periódico, la deriva repentina necesita investigación inmediata.
Los patrones de fraude evolucionan constantemente a medida que los actores maliciosos se adaptan a los sistemas de detección. Lo que constituía fraude el año pasado puede diferir de los patrones actuales.
Las preferencias del usuario y las tendencias de contenido cambian continuamente. Los conceptos de relevancia de búsqueda evolucionan con los cambios en el comportamiento del usuario.
Las condiciones económicas cambian la relación entre características y riesgo de incumplimiento. Un modelo entrenado durante períodos de crecimiento puede subestimar el riesgo durante recesiones.
Las guías clínicas, protocolos de tratamiento y definiciones de enfermedades evolucionan. Los conceptos médicos cambian con nueva investigación y estándares.
El uso del lenguaje, jerga y expresiones de sentimiento evolucionan con el tiempo. Palabras que eran neutrales pueden volverse positivas o negativas.
Las condiciones ambientales y escenarios cambian con el tiempo. Nuevas condiciones de carretera, patrones climáticos u obstáculos emergen.
La deriva de datos ocurre cuando las distribuciones de características de entrada cambian mientras la relación subyacente permanece igual. La deriva de modelo ocurre cuando la relación entre entradas y salidas cambia, incluso si las distribuciones de entrada son estables. Ambas causan degradación pero requieren diferentes respuestas.