GPT-3 es un modelo de lenguaje autorregresivo que utiliza el aprendizaje profundo para generar respuestas similares a las humanas basadas en entradas mucho más pequeñas conocidas como indicaciones.
Estas indicaciones pueden ser simples, como una pregunta o una instrucción para escribir algo sobre un tema, pero también pueden ser mucho más detalladas, lo que le da al modelo más contexto sobre cómo debe producir una respuesta.
El arte de elaborar avisos tan refinados para lograr respuestas muy específicas y de alta calidad se conoce como ingeniería de avisos.
Fue desarrollado originalmente en 2020 por investigadores del laboratorio de investigación de inteligencia artificial OpenAI.
El acceso a él a través de una API solo estuvo más disponible en 2021, pero el uso generalizado aún estaba restringido. Eso cambió a fines de noviembre con el lanzamiento de ChatGPT, un chatbot público basado en GPT-3.5 que usó mejoras como el aprendizaje supervisado y el aprendizaje por refuerzo.
Los investigadores de WithSecure comenzaron su investigación un mes antes de que se lanzara ChatGPT utilizando lex.page, un procesador de textos en línea con funcionalidad GPT-3 incorporada para autocompletar y otras funciones.
Su estudio continuó después de que se lanzó el chatbot, incluidos los intentos rápidos de ingeniería para eludir los filtros y las restricciones que implementó OpenAI para limitar la generación de contenido dañino.
