Singularis

Memoria que cambia con el uso.

Un modelo de lenguaje no recuerda. Cada conversación empieza de cero, con los mismos pesos con los que terminó su entrenamiento. Lo que parece memoria es texto que se le vuelve a pasar: notas, historiales, documentos. Funciona, pero no es aprender de la experiencia. Es releerla.

Singularis es la línea de investigación de NOMOS que pregunta si puede ser de otra manera.

Dos clases de memoria

Hay dos maneras de que un sistema recuerde.

La memoria consultada es una base externa: se busca lo relevante y se le pasa al modelo como texto. Así trabaja Nomos Graph, y así trabaja casi toda la industria. Su costo se paga en cada llamada, en texto de contexto, y crece con la historia.

La memoria que actúa es otra cosa: conexiones, trazas o pesos que cambian mientras el sistema funciona y modifican cómo procesa, sin pasar por texto. No se relee: ya está en el camino por donde pasa la decisión. Su costo es el de leer un estado de tamaño fijo.

Singularis estudia la segunda. Es la tesis de NOMOS —la inteligencia no está en el modelo, está en los datos— llevada un paso más abajo: la capacidad no está en la pieza, sino en las conexiones entre piezas, y en que esas conexiones cambien con la experiencia.

La arquitectura

Un sistema híbrido, con dos ritmos.

En el centro, un núcleo estable: un modelo de lenguaje que aporta lo que ya sabe hacer bien —conocimiento, estructura, generalización— y que no se reentrena en cada uso.

Alrededor, una capa que aprende mientras funciona, y que se comunica con el núcleo por vectores, no por texto:

• Varias escalas de tiempo. Una traza rápida guarda lo reciente; una huella lenta acumula lo que se repite; y una consolidación, fuera de horario, decide qué de lo vivido pasa a ser estable. Cada escala filtra la historia de una manera distinta.
• Práctica con verificador. Cuando la tarea tiene una respuesta comprobable, el acierto refuerza el camino que llevó a él y el error deja una señal. La experiencia cambia los pesos, de forma medible.
• Senderos. Las rutas que participan en un acierto reciben una señal que se acumula, se evapora si no se usa y tiene un techo. El principio viene de cómo una colonia de hormigas encuentra caminos sin que ninguna los conozca: la memoria no dice que un camino es bueno, hace más probable tomarlo. Sin evaporación, el primer camino se reforzaría para siempre.
• Circuitos por tarea. No todo se activa a la vez: un enrutador recluta sólo los circuitos que la tarea necesita. Se calcula menos, y aprender algo nuevo pisa menos lo anterior.
• Intervención en todas las piezas. Cada memoria se puede leer, borrar, congelar o trasplantar a otro sistema. Lo que un sistema aprendió tiene que poder inspeccionarse y corregirse.

Una parte de este esquema está construida y medida. El resto está diseñado y se prueba por etapas.

Lo que se encontró

Las escalas de tiempo no son un detalle: son función. Cambiar la escala produce una memoria distinta. La rápida responde a lo reciente; la lenta, a lo frecuente. Y la memoria rápida sólo ayuda cuando cumple un papel que nada más cumple: si otra pieza del sistema ya alcanza, el sistema deja de usarla.

Una memoria puede vivir fuera del modelo y cambiar lo que hace. Alrededor de un modelo de lenguaje congelado, una memoria pequeña comunicada por vectores modifica sus respuestas de manera causal y sobrevive de una sesión a la siguiente. Se borra, y el efecto desaparece.

Saber no es usar. El hallazgo que más cambió el programa: la memoria contiene la respuesta correcta mucho más seguido de lo que la decisión la lee. Formar memoria no es el cuello de botella; que la decisión la use, sí. De ahí sale una decisión de diseño: la memoria no tiene que ser algo que se consulta e interpreta, sino algo que inclina directamente el camino de la decisión. Eso son los senderos.

Practicar cambia el modelo, y lo vuelve más eficiente. Un modelo chico que practica una tarea difícil y verificable resuelve después más problemas nuevos, pensando con bastante menos texto, en menos tiempo y con menos energía. Lo hace también en tamaños de problema que nunca practicó, y sin perder capacidad general. El cambio en los pesos es pequeño y tiene lugar: está en la atención de un tramo de capas intermedias. Se apaga ese tramo y vuelve el razonamiento largo.

No todo salió. La práctica no convirtió la cuenta en un reflejo, que era el criterio fijado de antemano. Y lo que un sistema aprende a leer sobre contenidos conocidos no se traslada de forma consistente a contenidos nuevos. Las dos cosas delimitan qué falta.

Por qué importa

Hoy, que un sistema recuerde cuesta texto en cada llamada, y ese costo crece con el uso. Una memoria que actúa invierte la cuenta: la apuesta es que el costo por decisión baje a medida que el sistema trabaja, en lugar de subir.

Llevado a productos, se ve en tres formas, de la más simple a la más profunda: una recuperación que aprende con el uso qué fuentes terminan citadas; un atajo para lo que ya se resolvió y se verificó, que evita llamar al modelo grande; y un modelo propio que practica una tarea verificable y la resuelve con menos.

Cómo se trabaja

Cada experimento se escribe antes de correrlo: qué se compara, contra qué control, cuántas repeticiones y qué resultado confirmaría o descartaría la hipótesis. Lo escrito no se edita después. Un cambio por comparación. Varias semillas por condición. Controles del mismo tamaño, entrenados aparte.

Cada efecto se atribuye por lesión: se borra la pieza y se mide qué se pierde. Lo que no salió se registra con el mismo detalle que lo que salió.

Las medidas son siempre concretas: acierto, texto consumido, tiempo, energía y distancia al modelo original. El programa sigue una escalera de problemas, del más simple al más exigente, en pruebas cortas.

Estado

Investigación en curso, sin acceso público.