Un agricultor de 67 años en China sufrió una pérdida económica de 22.000 dólares al aplicar un herbicida recomendado por una inteligencia artificial. La IA, que había utilizado con éxito durante un año, le proporcionó una combinación de productos químicos que resultó ser letal para toda su cosecha de sésamo, no solo para las malas hierbas. Este incidente resalta los peligros de la confianza ciega en las respuestas generadas por la IA.
La inteligencia artificial puede ser muy útil en diversas aplicaciones, pero la experiencia ha demostrado que no se puede confiar plenamente en sus respuestas. Una 'alucinación' de la IA puede tener consecuencias graves, desde afectar el desempeño laboral hasta provocar pérdidas agrícolas significativas. Este último escenario fue precisamente lo que le ocurrió al señor Wu, un agricultor de 67 años residente en Chuzhou, China.
Según reportes, el señor Wu comenzó a utilizar la IA hace aproximadamente un año. Aunque inicialmente se mostró escéptico, los resultados positivos que obtuvo con el tiempo le hicieron confiar cada vez más en las recomendaciones del sistema. Todo transcurría sin problemas hasta que Wu solicitó ayuda a la IA para combatir las malas hierbas y las plagas que estaban afectando su cultivo de sésamo. Siguiendo las instrucciones de la IA, Wu preparó una mezcla, la cargó en su dron y la pulverizó sobre toda su cosecha. Al día siguiente, todas las plantas estaban muertas, tanto las malas hierbas como sus plántulas de sésamo. Las pérdidas económicas se estiman en 22.000 dólares, según el International Business Times.
La IA le había recomendado una combinación de pesticidas y herbicidas con el objetivo de eliminar únicamente las malas hierbas. Sin embargo, el resultado fue la muerte de todas las plantas: “La maleza y las plántulas murieron al mismo tiempo, y las plántulas de sésamo murieron aún más rápido”. Entre los productos sugeridos se encontraba el flufenacet, un herbicida que se utiliza para controlar la maleza en campos de soja, no de sésamo. Cuando Wu consultó a la IA sobre esto, el sistema reconoció que dicho producto había sido la causa del problema.
Wu había utilizado la IA durante un año sin inconvenientes, e incluso había obtenido buenos resultados. Como se mencionó, su desconfianza inicial se transformó en una relajación y aceptación de las respuestas de la IA sin cuestionarlas, debido a la precisión y los buenos consejos que había recibido. Este fenómeno, donde la IA responde con total seguridad y esto genera una mayor autoridad percibida, ha sido observado en estudios recientes.
En todos los chatbots, suelen aparecer mensajes que advierten sobre la posibilidad de errores de la IA. El problema es que estos avisos se han vuelto tan comunes que, al igual que las notificaciones de cookies, rara vez son leídos. El señor Wu admitió no haber prestado atención a esta advertencia. La empresa proveedora de la IA, que no ha sido identificada, le explicó que su sistema no posee una base de conocimiento propia, sino que genera respuestas extrayendo información de otras fuentes. La compañía no le ha ofrecido ninguna compensación por las pérdidas.
