El nuevo modelo de aprendizaje del sistema de aprendizaje automático que supera a Transformer (creado en 2017) fue presentado por Google en colaboración con la universidad UC Berkeley, su nombre es Reformer.
Reformer es más rápido y eficiente que su predecesor, el sustituido Transformer, que es ampliamente utilizado en el mundo de la inteligencia artificial y el aprendizaje automático, sin embargo, ha mostrado limitaciones como los problemas con grandes marcos contextuales donde el número de cálculos de cómputo se vuelve demasiado pesado rápidamente.
Reformer supera este problema y se asegura de que se necesita menos potencia informática para comprender, traducir y generar textos.
Con Reformer las funciones hash se utilizan para agrupar vectores similares permitiendo que el sistema busque en grupos de datos relativamente pequeños en lugar de buscar en todos los pares de vectores posibles. Además, Reformer recalcula la entrada de cada capa en el sistema a pedido en lugar de almacenar todos los datos en la memoria.
Este nuevo modelo de aprendizaje sólo se puede ejecutar con un chip acelerador AI con solo 16 GB de RAM. Así las cosas, el sistema podría manejar un marco de contexto mucho más amplio que todos los conjuntos de datos existentes, según los investigadores Lukasz Kaiser y Nikita Kitaev.
En las pruebas realizadas el nuevo modelo logró procesar el texto completo del libro de Dostoievsky, Crimen y castigo.
