La herramienta What-If de Google para analizar modelos de aprendizaje automático sin escribir ningún código.

La Herramienta What-If Para Los Modelos De Aprendizaje De Máquinas De Sondeo

Cuando se trata de construir un sistema de Aprendizaje Automático (ML), entrenar un modelo no es suficiente. En su lugar, necesita hacer muchas preguntas. En lugar de simplemente comportarse como un programador típico, debe actuar como un detective mediante el cual hace toneladas de preguntas. Al ser inquisitivo, comprenderá mejor cómo funciona el modelo.
Algunas de las preguntas que debe hacer incluyen: ¿Los cambios en un punto de datos afectan las predicciones que hará el modelo? ¿El modelo funciona de manera diferente cuando se expone a varios grupos? ¿El conjunto de datos en el que estoy probando mi modelo es diverso? Si es así, ¿cuál es la magnitud de la diversidad?
Como puede ver, obtener respuestas concretas a este tipo de preguntas no es un proceso fácil. La mayoría de los programadores de ML suelen optar por escribir un código único que se utilizará para analizar todo el modelo. Esta opción crea muchas lagunas y es altamente ineficiente. Por ejemplo, bloquea a los que no son programadores y no podrán participar en el proceso, incluso cuando sea necesario.
Esta es una de las cosas que la iniciativa Google AI PAIR pretende abordar. Quiere incorporar a diferentes personas en todo el proceso de examen, evaluación y depuración de los sistemas de aprendizaje automático.
Google ya ha dado el primer paso para lograr este objetivo. Ha lanzado la herramienta What-If . Esta es una característica completamente nueva de la aplicación TensorBoard que permite a todos los usuarios interesados ​​analizar un modelo de Aprendizaje Automático sin tener que escribir una sola línea de código. La herramienta What-If utiliza un conjunto de datos y punteros a TensorFlow para producir una interfaz interactiva que puede usarse para explorar los resultados del modelo.

Encontrando Los Contrafactuales

La herramienta What-If es capaz de visualizar la base de datos por sí misma y, al mismo tiempo, es capaz de editar los ejemplos que presentó en su conjunto de datos. Simplemente necesita hacer clic en un botón y podrá encontrar el punto exacto donde el modelo ofrece una predicción diferente. Estos puntos se conocen como "contrafactuales" y desempeñan un papel fundamental en la determinación de los límites de decisión del modelo.
Analizar el rendimiento y determinar la imparcialidad de los algoritmos.
También puede usar la herramienta Qué pasa si para explorar los efectos del uso de diferentes clasificaciones, especialmente si tiene en cuenta algunas restricciones constantes.

Demostraciones De La Herramienta What-If

Para mostrar la efectividad de la herramienta What-If, Google ha lanzado algunas demostraciones que utilizan modelos pre-entrenados. Estas demostraciones se utilizan para:
  • Detectando las malas clasificaciones de las plantas.
  • Análisis y evaluación de la equidad de los modelos de clasificación binaria.
  • Análisis del rendimiento del modelo en diferentes subgrupos.

Poner En Práctica La Herramienta De "Qué Pasa Si"

Para asegurarse de que la herramienta What-If sea efectiva en las aplicaciones ML de la vida real, Google la pone en varias pruebas. Diferentes equipos lo probaron en diferentes aplicaciones. Un equipo descubrió que el modelo no detectaba toda la característica del conjunto de datos. Esto los obligó a arreglar un error en el modelo. En otro equipo, la herramienta se utilizó para organizar visualmente sus ejemplos para que descubrieran patrones familiares. En general, todos esperan que la herramienta What-If proporcione una mejor comprensión de los modelos ML.