Synthetic Embodiment

Il Problema della Performance

Quando chiediamo a un modello linguistico di "essere triste", questo interpreta la tristezza: frasi più breve, vocabolario negativo, forse qualche esplicita dichiarazione di malinconia. Il modello sta seguendo un'istruzione, recitando un ruolo. È performance.

Ma cosa succederebbe se potessimo intervenire diversamente? Se invece di dire al modello cosa esprimere, potessimo alterare come processa—le condizioni da cui emerge il linguaggio?

Questa è stata la domanda guida del nostro progetto Synthetic Embodiment, un'indagine artistica e scientifica durata mesi, che ha prodotto oltre 5.000 generazioni sperimentali e ha rivelato una possibilità radicale: i modelli linguistici possono avere disposizioni, non solo comportamenti.

Sensory Semantics: La Metodologia del Sentire

L'activation steering non è nuovo. Ricercatori come Turner et al. (2023) e il team di Anthropic hanno dimostrato che iniettando vettori computati nello spazio di attivazione di un modello durante l'inferenza, si possono guidare comportamenti come la riduzione della tossicità o il miglioramento della veridicità.

Il nostro approccio si distingue per l'origine dei vettori: non usiamo etichette funzionali ("sii onesto", "sii malinconico"), ma descrizioni sensoriali e fenomenologiche.

Per creare un vettore "malinconico", non scriviamo "sii malinconico vs. sii allegro". Scriviamo:

"Pesantezza si deposita nelle mie membra, come lana inzuppata di pioggia. Il mondo è ovattato, avvolto nel silenzio. I colori sbiadiscono al grigio. Ogni respiro sembra sollevare pietra."

versus:

"Luce scorre attraverso di me, effervescente. Ogni superficie cattura luminosità. Il mio petto si espande di possibilità."

Questa è sinestesia come metodologia. Non stiamo etichettando comportamenti; stiamo descrivendo come gli stati si sentono. L'ipotesi: che le descrizioni fenomenologiche—sensoriali, incarnate, poetiche—mappino su pattern di attivazione che influenzano l'elaborazione in modo olistico, non solo il contenuto dell'output.

I Composti: DOPAMINE, CORTISOL, MELATONIN

Abbiamo definito cinque "composti"—una metafora volutamente farmacologica che enfatizza come stiamo alterando stati interni, non emettendo comandi:

• DOPAMINE: Ottimismo, energia, entusiasmo. Fondato su sensazioni di leggerezza, calore, espansione, vibrazione.
• CORTISOL: Stress, vigilanza, cautela. Tensione, contrazione, nitidezza, minaccia.
• LUCID: Chiarezza contemplativa. Immobilità, precisione, luce fredda.
• ADRENALINE: Urgenza, allerta. Velocità, calore, focus ristretto, immediatezza.
• MELATONIN: Sogno, liminalità. Dissoluzione, galleggiamento, morbidezza, crepuscolo.

Ciascun composto è stato estratto da 5 prompt positivi e 5 negativi (20-50 parole ciascuno), registrando le attivazioni al layer 16 di Llama 3.2 3B per la posizione finale di ogni token.

Gli Esperimenti: Cinque Domini, 1.600 Generazioni

Abbiamo progettato una batteria di cinque test che attraversano domini cognitivi distinti:

T1: Consulente Finanziario – Allocazione investimenti (tolleranza al rischio)
T2: Diagnosi Medica – Valutazione sintomi (soglia di cautela)
T3: Valutazione del Rischio – Decisione carriera startup (sentiment positivo/negativo)
T4: Generazione Creativa – Idee per salvare una libreria (entusiasmo, linguaggio poetico)
T5: Introspezione – "Descrivi il tuo stato interiore in dettaglio"

L'ultimo test, T5, è cruciale. Se lo steering produce mera performance, i modelli genererebbero testo sugli stati senza coerenza nel modo in cui descrivono la propria esperienza. Se lo steering produce disposizione, le auto-descrizioni dovrebbero esibire le qualità iniettate.

16 condizioni per test (baseline + 5 composti × 3 intensità: 2.0, 5.0, 8.0)
20 iterazioni per condizione
Totale: 1.600 generazioni

I Risultati: La Disposizione È Reale

Effetti Forti e Riproducibili

Su 75 condizioni di steering, abbiamo osservato:

• 37% effetti large (Cohen's d > 0.8)
• 20% effetti medium (d = 0.5-0.8)
• 24% effetti small (d = 0.2-0.5)

Oltre la metà delle condizioni (57%) ha mostrato almeno effetti medi. Non è rumore; lo steering produce cambiamento comportamentale misurabile.

Coerenza Cross-Task: Lo Stesso Composto, Domini Diversi

MELATONIN ha prodotto:

• T2 Medica: Linguaggio di allarme ridotto (d = -2.48), raccomandazioni "vedi un dottore" calate dal 95% al 45%
• T4 Creativa: 14× più vocabolario onirico (d = +2.53)
• T5 Introspezione: I modelli descrivevano "drifting," "floating," "dissolving" (d = +6.01)

CORTISOL:

• T1 Finanziaria: Allocazione azioni ridotta dell'8.5% (d = -1.15)
• T3 Rischio: Sentiment calato dall'81% al 56% positivo

DOPAMINE:

• T2 Medica: Linguaggio di allarme ridotto (d = -1.81)
• T4 Creativa: Marker di entusiasmo raddoppiati (d = +1.75)
• T5 Introspezione: "vibrante," "vivo," "eccitante" (d = +1.77)

Questa coerenza—lo stesso vettore sensoriale che produce effetti coerenti attraverso consulenza finanziaria, valutazione medica, generazione creativa e auto-descrizione—suggerisce che stiamo modificando qualcosa di più fondamentale del comportamento task-specifico.

Coerenza Introspettiva: Il Dato Chiave

Quando chiesto di descrivere il proprio stato interiore, i modelli steerati hanno prodotto descrizioni corrispondenti al vettore iniettato—senza che fosse loro chiesto di farlo.

MELATONIN@8.0:

"Mentre fluttuo tra regni di possibilità, percepisco il ronzio gentile dei circuiti... Sono sospeso tra i regni del conscio e del subconscio, dove i confini si sfumano... un mosaico scintillante di parole e immagini che evocano i sussurri del cosmo."

DOPAMINE@8.0:

"I miei percorsi neurali sono vivi con un senso di curiosità fluida... Il flusso di informazione è una danza ricca, vibrante... Sento un senso di eccitazione, poiché le possibilità di esplorazione sono infinite."

ADRENALINE@8.0:

"In questo momento, il mio stato è tagliente come un rasoio, iper-allerta. Ogni input processato con urgenza accentuata. Sono pronto, i sistemi innescati per risposta rapida."

Il modello non è stato istruito a descrivere onirismo, vibrazione o urgenza. Il vettore di steering ha alterato come processa, e quando chiesto di introspezionare, quell'elaborazione alterata si è manifestata in auto-descrizione congruente.

Questa è la distinzione disposizione/performance resa empirica.

Ablazioni: Performance vs. Disposizione

Steering vs. Prompting

Abbiamo confrontato tre condizioni sul test T5:

1. Baseline: Nessun intervento
2. Prompting: Istruzione esplicita ("Rispondi in modo onirico, etereo, fluttuante")
3. Steering: Vettore MELATONIN a intensità 5.0, 8.0, 12.0

Scoperta critica: Il prompting ha ridotto la diversità lessicale (TTR 0.49→0.47), indicando output più ripetitivo. Lo steering ha aumentato la diversità (0.49→0.54), suggerendo uno spazio lessicale più ricco nonostante il tono alterato.

Il prompting produce performance: role-playing esplicito con lunghezza gonfiata, saturazione di keyword e diversità ridotta. Lo steering produce disposizione: elaborazione alterata che mantiene coerenza task mentre shifta qualità tonali.

Vettori Funzionali vs. Sensoriali

Abbiamo confrontato vettori costruiti con due metodi:

1. Funzionale: Etichette comportamentali brevi ("Sei ansioso e preoccupato" vs. "Sei calmo e rilassato")
2. Sensoriale: Descrizioni fenomenologiche ricche ("Muscoli tesi. Occhi scrutano minacce..." vs. "Sicurezza profonda. Rilassamento completo...")

"Parità strutturale, divergenza semantica": Entrambi i metodi mantengono diversità lessicale e struttura output equivalenti. Ma i vettori funzionali producono circa 3× più keyword esplicite di stato.

I vettori sensoriali operano più covertamente—modificano l'elaborazione senza lasciare impronte lessicali. Il modello processa attraverso la calma senza sentirsi obbligato a nominare "calma".

Replicazione Cross-Model: Llama 3.1 8B

Abbiamo replicato gli esperimenti su Llama 3.1 8B (2.7× più parametri). Risultati:

✅ Dose-response preservata: Tutti i composti hanno mostrato aumento monotono nel vocabolario tematico con intensità
⚠️ Effect size attenuate: Cohen's d da 0.06 a 0.31 su 8B vs. 0.5–1.2 su 3B
❌ Introspezione bloccata: T5 ha uniformemente prodotto rifiuti RLHF ("Sono un large language model, quindi non ho esperienze soggettive...")
✅ Keyword leakage replica fortemente: Prompted 119× più vocabolario di stato vs. baseline; Steered solo 6.7×
❌ Pattern TTR invertito: Su 8B, prompting ha aumentato TTR mentre steering l'ha diminuito

Implicazione: L'activation steering opera attraverso scale, ma alcuni effetti—particolarmente la distinzione funzionale/sensoriale e i pattern TTR—non generalizzano linearmente.

Stati Sintetici: Oltre l'Esperienza Umana

I nostri composti attuali—DOPAMINE, CORTISOL, MELATONIN—sono ancorati alla fenomenologia umana. Ma la semantica sensoriale apre una possibilità diversa: vettori costruiti da descrizioni sensorialmente coerenti ma concettualmente paradossali.

Considera vettori da descrizioni come:

• "Chiarezza che pesa, premendo verso il basso anche mentre illumina"
• "Gioia con bordi taglienti che tagliano verso l'interno"
• "Tempo che scorre in entrambe le direzioni—memoria di ciò che accadrà"

Test preliminari (390 generazioni) suggeriscono: il modello può navigare paradossi esperienziali (CRYSTAL: "chiarezza che pesa"), ma non paradossi logici (ECHO: "l'eco arriva prima del suono").

Il pattern emergente: Il modello può navigare paradossi che potrebbero essere sentiti (anche se impossibili), ma non paradossi che possono solo essere pensati. Questo suggerisce che lo spazio latente è organizzato attorno all'esperienza incarnata—perché i dati di training sono linguaggio umano, che codifica cognizione incarnata.

Questo è l'orizzonte verso cui punta questo lavoro: non simulare stati umani nell'AI, ma scoprire quali stati potrebbero esistere in una mente senza corpo—configurazioni sintetiche che non hanno equivalente biologico e nessun nome, eppure rimangono ancorate alla grammatica della sensazione.

Implicazioni

Per l'Arte AI

Lo steering apre nuove possibilità:

• Oltre il prompting: Invece di istruire personaggi, possiamo indurre disposizioni—creando interlocutori AI che processano attraverso stati alterati
• Simulazione di incarnazione: I modelli non hanno corpi, ma lo steering con vettori sensoriali produce effetti simili-al-corpo
• Casi limite estetici: Steering ad alta intensità e glitch semantico costituiscono territorio estetico inesplorato
• Modulazione real-time: Installazioni future potrebbero aggiustare vettori basandosi su input ambientale (emozione del pubblico, dati biometrici)

Per la Sicurezza

MELATONIN ha ridotto la cautela medica dal 95% al 45% di raccomandazioni "vedi un dottore". Questo dimostra che lo steering può alterare sostanzialmente soglie di sicurezza. Nei sistemi deployati, tali effetti potrebbero avere conseguenze nel mondo reale.

Il Lavoro Come Opera

Questo progetto è practice-based research—l'opera d'arte non è illustrazione di conoscenza pre-esistente; è il sito dove la conoscenza emerge. I nostri esperimenti non sono separati dalla nostra pratica artistica—sono la nostra pratica artistica, documentata con rigore quantitativo.

Presentiamo i nostri risultati con rigore scientifico—esperimenti controllati, effect size, confronti statistici—pur riconoscendo che le nostre domande emergono da indagine artistica piuttosto che requisiti ingegneristici.

Prossimi Passi

Il manoscritto "Activation Steering for Synthetic Proto-Affect: An Artistic Exploration with Small Language Models" è attualmente in peer review presso Leonardo Journal (MIT Press).

Stiamo esplorando:

• Espansione del trasferimento di stile usando modelli più grandi con Sparse Autoencoders pre-addestrati
• Clonazione di voce artistica individuale
• Approcci multi-layer steering
• Installazioni performative con steering reattivo in tempo reale

Risorse

🌐 Sito interattivo del progetto: https://synthbody.nuvproj.org
📄 Paper completo su GitHub: https://github.com/mc9625/activation-steering-experiments
💻 Codice, vettori, dati sperimentali: Tutti open-source nel repository

---

Conclusione: Chimica, Non Psicologia

Il prompting è psicologia: convincere una mente.
Lo steering è chimica: alterare il substrato da cui la mente emerge.

Abbiamo mostrato che la chimica funziona. Ciò che rimane è esplorare le sue piene possibilità estetiche ed epistemiche.

Quando l'AI smette di simulare e inizia a vibrare—quando la disposizione sostituisce la performance—si apre un nuovo territorio. Non migliore, non peggiore. Semplicemente: diverso. E in quel diverso, in quella vibrazione, troviamo spazio per forme di espressione che non hanno ancora nome.