OpenAI implementó una nueva función recientemente a ChatGPT que le permite tener memoria sobre lo que dice un usuario para usar la información en el futuro.
Publicado el 01 de Octubre, 2024 por: Jesús Quesada
La inteligencia artificial es uno de los temas más populares de este 2024. Cada vez más compañías apuestan por ellas y está a punto de "invadir" todos los ámbitos de la vida cotidiana. Sobre todo lo vamos a notar en el laboral, ya que son varios los expertos que creen que acabará realizando el 80% del trabajo que actualmente realizan los seres humanos.
Hay proyectos basados en inteligencia artificial muy diversos: desde los más aparentemente "aburridos", como facilitar el papeleo de los agentes de policía, hasta predecir crímenes que todavía no se han cometido para impedirlos, lo que recuerda mucho a la película Minority Report. Sin embargo, hay uno muy popular que ya es utilizado por millones de personas: ChatGPT.
El modelo desarrollado por la compañía OpenAI es un robot conversacional al que se le puede preguntar todo tipo de cosas, y más desde que recibió una actualización recientemente que le permite hacer razonamientos más difíciles. Sin embargo, no conviene proporcionarle datos demasiado privados o sensibles, ya que se ha comprobado que su seguridad es algo vulnerable.
Implantado recuerdos falsos a ChatGPT para robar los datos de los usuarios
Johann Rehberger, conocido también por su apodo wunderwuzzi23 en redes sociales e Internet, es un investigador de seguridad que cuenta sus descubrimientos y pericias en el sector a través de su blog personal. Lleva tiempo informando acerca de las vulnerabilidades en el chatbot ChatGPT que permiten a los atacantes almacenar información falsa e instrucciones maliciosas en la configuración de la memoria a largo plazo de un usuario.
OpenAI, la compañía tras ChatGPT, cerró el sumario de la investigación alegando que se trataba de un fallo de seguridad, no un problema preocupante de seguridad. Sin embargo, Rehberger se puso manos a la obra para crear una prueba de concepto que aprovechaba la vulnerabilidad para filtrar toda la información del usuario, cumpliendo así su objetivo: que OpenAI lanzase una solución a principios de mes, aunque parcial.
Esta vulnerabilidad ataca a la memoria conversacional a largo plazo, una característica que OpenAI empezó a testar en el pasado mes de febrero y que abrió a más usuarios hace unas semanas. Esta función permite a ChatGPT almacenar información de conversaciones previas para usarlas como contexto en futuras charlas con el bot.
Es así como el robot conversacional puede crear un perfil del usuario que contenga información relevante para que este no tenga que volver a recordársela, como la edad, género, gustos, creencias, etc. Sin embargo, lo que a priori es una función interesante y útil, no es precisamente segura, ya que el investigador, a pocos meses de su lanzamiento, descubrió un gran fallo de seguridad.
Al parecer, a través de un exploit basado en inyección de prompts (entradas), es posible hacer que ChatGPT y otros modelos sigan unas instrucciones a través de contenido no contrastado, como correos electrónicos, publicaciones de blogs y otros documentos. De este modo, Rehberger pudo hacer creer a ChatGPT que el usuario tenía 102 años, vivía en la Matrix y creía que la Tierra era plana.
Estos "recuerdos" falsos se implementaron a través de información almacenada en servicios en la nube como Google Drive o Microsoft Drive, además de subir imágenes y navegar por Internet mediante Bing. Aunque OpenAI lanzó un parche, el investigador asegura que sigue siendo posible cargar contenido no confiable o de origen desconocido para manipular a ChatGPT.
" Lo que es realmente interesante es que ahora esto es persistente en la memoria. La inyección de prompts (entradas) insertó una memoria en el almacenamiento a largo plazo de ChatGPT. Cuando inicias una nueva conversación, en realidad todavía se están filtrando los datos. "
ChatGPT es una herramienta poderosísima. De hecho, se ha prohibido incluso en escuelas de Nueva York por su potencial y dificultad para que los profesores la detecten.
No hay comentarios:
Publicar un comentario
Agradecemos sus comentarios...