Revolut Adopta el Modelo GLM de Z.ai como Asistente de IA Principal para sus Ingenieros, Reduciendo Costos y Mejorando la Productividad

Tecnologia
Revolut ha designado a GLM, el modelo de IA de Z.ai, como el asistente de programación predeterminado para sus 2.000 ingenieros, relegando las herramientas de Anthropic y OpenAI a tareas más complejas. Esta estrategia, que implica el uso de modelos autoalojados, ha permitido a la fintech reducir drásticamente los costos de IA en un 90% y ha impulsado significativamente la eficiencia operativa, demostrando un cambio hacia soluciones de IA locales más rentables y personalizables.

Revolut ha implementado GLM, el destacado modelo de inteligencia artificial de la compañía china Z.ai, como el asistente de programación principal para sus aproximadamente 2.000 ingenieros. Según David Abitbol, director de operaciones e infraestructura de IA en Revolut, las herramientas proporcionadas por Anthropic y OpenAI ahora se reservan exclusivamente para las labores de mayor complejidad.

La evolución de los modelos de IA locales y autoalojados ha sido notable en los últimos dos años. Los sistemas más avanzados son capaces de ejecutar tareas que previamente se consideraban inalcanzables, ofreciendo la ventaja adicional de ser más económicos en su uso y de mantener toda la información de manera local. Revolut ahora confía en estos modelos para sus operaciones diarias, y un número creciente de empresas está explorando esta transición.

Abitbol compartió durante la conferencia GTC de Nvidia en Berlín que Revolut ahora desembolsa aproximadamente una décima parte del costo de los modelos de frontera comparables. Esta transformación se está llevando a cabo en una fintech que atiende a más de 80 millones de clientes a nivel global.

Según lo explicado por Abitbol, los ingenieros de Revolut anteriormente dependían de Claude Code de Anthropic y Codex de OpenAI. Actualmente, su trabajo se centra principalmente en GLM, un modelo de pesos abiertos cuyos parámetros son de acceso público y que Revolut opera en sus propios servidores. Abitbol aclara que las herramientas de frontera continúan disponibles, pero como una opción reservada con un presupuesto limitado y para abordar los desafíos más exigentes.

En cuanto a los datos numéricos, Abitbol indicó en su presentación que Revolut provee el modelo a sus ingenieros utilizando alrededor de 56 GPUs de Nvidia. El costo combinado de este servicio asciende a aproximadamente 30 céntimos por millón de tokens. Además, la factura es fija, no incrementándose con cada solicitud.

Los resultados de esta nueva estrategia en el equipo de unos 2.000 ingenieros fueron presentados por Abitbol. El directivo afirmó que el tiempo dedicado a la programación se redujo en un 60%, y el tiempo de entrega, que abarca desde la asignación de una incidencia hasta su despliegue, disminuyó en un 70%.

Revolut introdujo por primera vez Gemini de Google en enero, lo que, según Abitbol, mejoró el tiempo de entrega en aproximadamente un 10% y el tiempo de programación en un 20%. Posteriormente, se lanzó Claude Code con un presupuesto de 300 dólares al mes por ingeniero. En este caso, Abitbol señala que el aumento de productividad fue mínimo debido a que dicha asignación no se mantenía durante todo el mes. Con el modelo autohospedado implementado este año, la promesa fue de tokens ilimitados.

Abitbol detalló que, al no tener restricciones presupuestarias en cuanto a tokens, estos se utilizaron para tareas como búsquedas en Confluence (una wiki empresarial), gestión de incidencias en Jira o localización de elementos en Slack. Según Abitbol, esto evidencia que la verdadera limitación no residía en la escritura de código, sino en las tareas auxiliares relacionadas con el mismo.

La implementación del nuevo modelo no fue un proceso inmediato. Abitbol explicó que, en junio, los tiempos de respuesta superaban los 10 segundos con solo cuatro solicitudes por segundo. Tras optimizar el despliegue en el mismo número de GPUs, Revolut logró procesar más de ocho solicitudes por segundo con una latencia inferior a 1,8 segundos. Entre las recomendaciones ofrecidas en su charla se encuentran limitar la ventana de contexto a 256.000 tokens, emplear formatos FP4 de menor precisión en lugar de FP8 para economizar aproximadamente el 40% de la capacidad de las GPUs, y monitorear las tasas de aciertos de caché. Abitbol aconseja no ceder a la tentación de incorporar más hardware cada vez que el tráfico se intensifique.

Respecto a la utilización de un modelo chino en una entidad bancaria regulada, Abitbol reconoce que puede generar interrogantes. No obstante, enfatiza que Revolut solo emplea los pesos del modelo y los aloja en su propia infraestructura o con un proveedor ubicado en la UE o EE. UU., asegurando que ningún dato se envía a un servicio chino. Afirma, además, que esta práctica es incluso más beneficiosa para la privacidad que enviar código a OpenAI o Anthropic. Adicionalmente, Abitbol aclara que los agentes operan en un entorno seguro (sandbox) que permite ciertos comandos y bloquea otros, manteniendo siempre la supervisión humana en el proceso. GLM es un modelo exclusivo para texto, por lo que Revolut dirige las tareas de procesamiento de imágenes a un modelo más económico como Gemini Flash.