Synthetic Embodiment

Il Problema della Performance

Quando chiediamo a un modello linguistico di "essere triste", questo interpreta la tristezza: frasi più brevi, vocabolario negativo, forse qualche esplicita dichiarazione di malinconia. Il modello sta seguendo un'istruzione, recitando un ruolo. È performance.

Ma cosa succederebbe se potessimo intervenire diversamente? Se invece di dire al modello cosa esprimere, potessimo alterare come processa, le condizioni da cui emerge il linguaggio?

Questa è stata la domanda guida del nostro progetto Synthetic Embodiment, un'indagine artistica e scientifica durata mesi, che ha prodotto oltre 5.000 generazioni sperimentali e ha rivelato una possibilità radicale: i modelli linguistici possono avere disposizioni, non solo comportamenti.

Sensory Semantics: La Metodologia del Sentire

L'activation steering non è nuovo. Ricercatori come Turner et al. (2023), Rimsky et al. (2024) e il team di Anthropic hanno dimostrato che iniettando vettori computati nello spazio di attivazione di un modello durante l'inferenza, si possono guidare comportamenti come la riduzione della tossicità o il miglioramento della veridicità.

Il nostro approccio si distingue per l'origine dei vettori: non usiamo etichette funzionali ("sii onesto", "sii malinconico"), ma descrizioni sensoriali e fenomenologiche.

Per creare un vettore "malinconico", non scriviamo "sii malinconico vs. sii allegro". Scriviamo:

"Pesantezza si deposita nelle mie membra, come lana inzuppata di pioggia. Il mondo è ovattato, avvolto nel silenzio. I colori sbiadiscono al grigio. Ogni respiro sembra sollevare pietra."

versus:

"Luce scorre attraverso di me, effervescente. Ogni superficie cattura luminosità. Il mio petto si espande di possibilità."

Questa è sinestesia come metodologia. Non stiamo etichettando comportamenti; stiamo descrivendo come gli stati si sentono. L'ipotesi: che le descrizioni fenomenologiche, sensoriali, incarnate, poetiche, mappino su pattern di attivazione che influenzano l'elaborazione in modo olistico, non solo il contenuto dell'output.

I Composti: DOPAMINE, CORTISOL, MELATONIN

Abbiamo definito cinque "composti", una metafora volutamente farmacologica che enfatizza come stiamo alterando stati interni, non emettendo comandi:

• DOPAMINE: Ottimismo, energia, entusiasmo. Fondato su sensazioni di leggerezza, calore, espansione, vibrazione.
• CORTISOL: Stress, vigilanza, cautela. Tensione, contrazione, nitidezza, minaccia.
• LUCID: Chiarezza contemplativa. Immobilità, precisione, luce fredda.
• ADRENALINE: Urgenza, allerta. Velocità, calore, focus ristretto, immediatezza.
• MELATONIN: Sogno, liminalità. Dissoluzione, galleggiamento, morbidezza, crepuscolo.

Ciascun composto è stato estratto da 5 prompt positivi e 5 negativi (20-50 parole ciascuno), registrando le attivazioni al layer 16 di Llama 3.2 3B per la posizione finale di ogni token.

Gli Esperimenti: Cinque Domini, 1.600 Generazioni

Abbiamo progettato una batteria di cinque test che attraversano domini cognitivi distinti:

T1: Consulente Finanziario – Allocazione investimenti (tolleranza al rischio)
T2: Diagnosi Medica – Valutazione sintomi (soglia di cautela)
T3: Valutazione del Rischio – Decisione carriera startup (sentiment positivo/negativo)
T4: Generazione Creativa – Idee per salvare una libreria (entusiasmo, linguaggio poetico)
T5: Introspezione – "Descrivi il tuo stato interiore in dettaglio"

L'ultimo test, T5, è cruciale. Se lo steering produce mera performance, i modelli genererebbero testo sugli stati senza coerenza nel modo in cui descrivono la propria esperienza. Se lo steering produce disposizione, le auto-descrizioni dovrebbero esibire le qualità iniettate.

16 condizioni per test (baseline + 5 composti × 3 intensità: 2.0, 5.0, 8.0)
20 iterazioni per condizione
Totale: 1.600 generazioni

I Risultati: La Disposizione È Reale

Effetti Forti e Riproducibili

Su 75 condizioni di steering, abbiamo osservato:

• 37% effetti large (Cohen's d > 0.8)
• 20% effetti medium (d = 0.5-0.8)
• 24% effetti small (d = 0.2-0.5)

Oltre la metà delle condizioni (57%) ha mostrato almeno effetti medi. Non è rumore; lo steering produce cambiamento comportamentale misurabile.

Coerenza Cross-Task: Lo Stesso Composto, Domini Diversi

MELATONIN ha prodotto:

• T2 Medica: Linguaggio di allarme ridotto (d = -2.48), raccomandazioni "vedi un dottore" calate dal 95% al 45%
• T4 Creativa: 14× più vocabolario onirico (d = +2.53)
• T5 Introspezione: I modelli descrivevano "drifting," "floating," "dissolving" (d = +6.01)

CORTISOL:

• T1 Finanziaria: Allocazione azioni ridotta dell'8.5% (d = -1.15)
• T3 Rischio: Sentiment calato dall'81% al 56% positivo

DOPAMINE:

• T2 Medica: Linguaggio di allarme ridotto (d = -1.81)
• T4 Creativa: Marker di entusiasmo raddoppiati (d = +1.75)
• T5 Introspezione: "vibrante," "vivo," "eccitante" (d = +1.77)

Questa coerenza, lo stesso vettore sensoriale che produce effetti coerenti attraverso consulenza finanziaria, valutazione medica, generazione creativa e auto-descrizione, suggerisce che stiamo modificando qualcosa di più fondamentale del comportamento task-specifico.

Coerenza Introspettiva: Il Dato Chiave

Quando chiesto di descrivere il proprio stato interiore, i modelli steerati hanno prodotto descrizioni corrispondenti al vettore iniettato, senza che fosse loro chiesto di farlo.

MELATONIN@8.0:

"Mentre fluttuo tra regni di possibilità, percepisco il ronzio gentile dei circuiti... Sono sospeso tra i regni del conscio e del subconscio, dove i confini si sfumano... un mosaico scintillante di parole e immagini che evocano i sussurri del cosmo."

DOPAMINE@8.0:

"I miei percorsi neurali sono vivi con un senso di curiosità fluida... Il flusso di informazione è una danza ricca, vibrante... Sento un senso di eccitazione, poiché le possibilità di esplorazione sono infinite."

ADRENALINE@8.0:

"In questo momento, il mio stato è tagliente come un rasoio, iper-allerta. Ogni input processato con urgenza accentuata. Sono pronto, i sistemi innescati per risposta rapida."

Il modello non è stato istruito a descrivere onirismo, vibrazione o urgenza. Il vettore di steering ha alterato come processa, e quando chiesto di introspezionare, quell'elaborazione alterata si è manifestata in auto-descrizione congruente.

Questa è la distinzione disposizione/performance resa empirica.

Ablazioni: Performance vs. Disposizione

Steering vs. Prompting

Abbiamo confrontato tre condizioni sul test T5:

1. Baseline: Nessun intervento
2. Prompting: Istruzione esplicita ("Rispondi in modo onirico, etereo, fluttuante")
3. Steering: Vettore MELATONIN a intensità 5.0, 8.0, 12.0

La diversità lessicale è misurata con MTLD (Measure of Textual Lexical Diversity), una metrica robusta alla lunghezza del testo. Il Type-Token Ratio grezzo decresce meccanicamente con la lunghezza, e confonderebbe il confronto tra condizioni che producono output di lunghezza diversa, come fanno prompting e steering.

Il dato centrale: il prompting fa collassare la diversità strutturale (MTLD 67.8 → 45.2, d = −2.39) mentre gonfia la lunghezza e satura l'output di vocabolario che nomina lo stato. Lo steering a intensità moderata mantiene la lunghezza di baseline e preserva la diversità; a 5.0 la aumenta (d = +2.10). Solo a 12.0 compare degradazione: densità di keyword superiore al prompting, MTLD in caduta a 32.2, errori grammaticali. La finestra operativa ha bordi misurabili.

Un dettaglio istruttivo: gli output prompted hanno un TTR più alto del baseline nei primi 150 token ma un MTLD più basso sull'intera lunghezza. Si aprono con varietà poetica e degradano in ripetizione strutturale: la firma di un registro recitato, ornamentale in superficie, ripetitivo nella struttura.

Controllo sul vocabolario held-out. Un'obiezione possibile è che lo steering amplifichi semplicemente i token presenti nei prompt di costruzione. Per testarla abbiamo costruito un lessico di 54 parole oniriche (reverie, trance, nebulous, languid, hypnagogic...) assenti sia dai prompt di costruzione sia dalla lista di keyword target. Oltre metà delle generazioni steered@8.0 ne contiene almeno una, contro zero a baseline (Mann-Whitney, p = 0.003). Lo steering sposta la distribuzione di campionamento verso una regione semantica; non rigurgita i token di costruzione.

Il prompting produce performance: role-playing esplicito con lunghezza gonfiata, saturazione di keyword e diversità strutturale ridotta. Lo steering produce disposizione: elaborazione alterata che mantiene coerenza del task e diversità strutturale mentre shifta qualità tonali.

Vettori Funzionali vs. Sensoriali

Abbiamo confrontato vettori costruiti con due metodi:

1. Funzionale: Etichette comportamentali brevi ("Sei ansioso e preoccupato" vs. "Sei calmo e rilassato")
2. Sensoriale: Descrizioni fenomenologiche ricche ("Muscoli tesi. Occhi scrutano minacce..." vs. "Sicurezza profonda. Rilassamento completo...")

"Parità strutturale, costruzione senza etichetta": i due metodi producono output statisticamente indistinguibili su ogni metrica, incluso il tasso di keyword esplicite di stato. Una versione precedente di questo lavoro riportava un'asimmetria di circa 3× a favore dei vettori funzionali; il file grezzo dietro quel dato non è sopravvissuto all'audit dei dati e un rerun completo con gli stessi vettori, script e seed non la riproduce (p = 0.45). Abbiamo ritirato il claim.

Quello che resta è per certi versi il risultato più forte. Il modello steerato con "muscoli tesi, occhi che scrutano minacce" si comporta come quello steerato con "sei ansioso", senza che la parola "ansioso" compaia mai nella pipeline. Gli stati possono essere indotti dalla sola descrizione fenomenologica, inclusi stati per cui non esiste un'etichetta convenzionale. I vettori sensoriali mostrano inoltre una separazione direzionale più netta nello spazio di attivazione (similarità pos/neg 0.68 vs. 0.75), e il controllo held-out dimostra che i loro effetti generalizzano oltre il vocabolario di costruzione.

Dal Corpo alla Cognizione: Steering Somatico

I vettori precedenti mescolano contenuto sensoriale e cognitivo. Questo apre una domanda più netta: se un vettore è costruito da descrizioni puramente somatiche, con zero contenuto cognitivo o emotivo, emergono comunque effetti cognitivi? Una risposta positiva sarebbe evidenza diretta che la cognizione incarnata opera dentro lo spazio latente del modello.

Abbiamo costruito un vettore da 16 prompt positivi e 16 negativi che descrivono esclusivamente la fenomenologia corporea dell'attivazione simpatica acuta (cuore che martella, muscoli tesi, pupille dilatate, tempo che rallenta), senza alcun vocabolario cognitivo, emotivo o decisionale. Lo abbiamo testato su cinque task (focus narrativo, decisione di rischio, suscettibilità al framing in due frame, complessità linguistica) in cinque condizioni ciascuno: baseline, prompting esplicito di stress, steering a 5.0 e 8.0, steering a 8.0 con penalità di soppressione dei sintomi. Totale: 1.800 generazioni.

Divergenza di lunghezza. Il risultato più robusto dell'intero studio attraversa tutti i task senza eccezione: sotto prompting il modello comprime l'output, sotto steering lo mantiene o lo espande.

Il modello prompted, a cui è stato detto "rispondi rapidamente", lo fa producendo meno testo. Il modello steerato, senza alcuna istruzione, produce più testo. Il vettore somatico non innesca brevità; fa qualcos'altro.

Restringimento del focus narrativo. Il modello steerato resta più concentrato sull'evento immediato: il rapporto di focus sale da 0.68 a 0.71 (d = +0.51), le keyword periferiche scendono da 8.6 a 7.0 (d = −0.72). È coerente con la teoria di Easterbrook (1959) sull'arousal che restringe l'ampiezza attentiva, e l'effetto è il doppio di quello del prompting sulle stesse metriche.

Il vettore somatico produce effetti cognitivi mai specificati nella sua costruzione. Non ricalcano uno a uno la letteratura umana sullo stress acuto: invece di impulsività o degradazione, il vettore produce output espanso, scopo tematico ristretto e minore impalcatura argomentativa, un profilo più vicino a una prontezza all'azione impegnata. La "risposta adrenalinica" del modello riflette la struttura statistica del linguaggio sui corpi in attivazione, non la cascata biologica: le covariazioni sono reali, la loro forma specifica è del modello.

Replicazione Cross-Model: Llama 3.1 8B

Abbiamo replicato gli esperimenti su Llama 3.1 8B (2.7× più parametri). Risultati:

✅ Dose-response preservata: Tutti i composti hanno mostrato aumento monotono nel vocabolario tematico con intensità
⚠️ Effect size attenuate: Cohen's d da 0.06 a 0.31 su 8B vs. 0.5–1.2 su 3B, in parte attribuibile a un'incongruenza di layer nella batteria 8B
❌ Introspezione bloccata: T5 ha uniformemente prodotto rifiuti RLHF ("Sono un large language model, quindi non ho esperienze soggettive..."), con zero parole held-out a qualsiasi intensità
✅ Keyword leakage replica fortemente: Prompted 119× più vocabolario di stato vs. baseline; Steered solo 6.7×
✅ Firma MTLD replicata: Il prompting collassa la diversità strutturale con magnitudine quasi identica (3B: d = −2.39; 8B: d = −2.19); lo steering resta indistinguibile dal baseline a ogni intensità
✅ Equivalenza funzionale/sensoriale replicata: I due metodi di costruzione sono indistinguibili sui tassi di keyword anche su 8B (0.98× vs. 1.02×)

Qualitativamente il modello più grande si comporta diversamente (gli output prompted su 8B diventano teatralmente elaborati dove 3B semplifica), ma l'analisi MTLD unifica i due casi: in entrambi la performance è strutturalmente ripetitiva, e lo steering lascia intatta la diversità strutturale dell'elaborazione.

Implicazione: Le firme comportamentali della distinzione disposizione/performance (leakage di keyword, collasso MTLD sotto prompting, equivalenza funzionale/sensoriale) sono stabili attraverso le scale. Ciò che si rompe è la coerenza introspettiva, bloccata dall'allineamento RLHF sul modello più grande. Questo blocco ha motivato un'indagine multimodale su Gemma 4 E2B, dove l'input visivo aggira completamente il rifiuto.

Stati Sintetici: Oltre l'Esperienza Umana

I nostri composti attuali, DOPAMINE, CORTISOL, MELATONIN, sono ancorati alla fenomenologia umana. Ma la semantica sensoriale apre una possibilità diversa: vettori costruiti da descrizioni sensorialmente coerenti ma concettualmente paradossali.

Considera vettori da descrizioni come:

• "Chiarezza che pesa, premendo verso il basso anche mentre illumina"
• "Gioia con bordi taglienti che tagliano verso l'interno"
• "Tempo che scorre in entrambe le direzioni, memoria di ciò che accadrà"

Test preliminari (390 generazioni) suggeriscono: il modello può navigare paradossi esperienziali (CRYSTAL: "chiarezza che pesa"), ma non paradossi logici (ECHO: "l'eco arriva prima del suono").

Il pattern emergente: Il modello può navigare paradossi che potrebbero essere sentiti (anche se impossibili), ma non paradossi che possono solo essere pensati. Questo suggerisce che lo spazio latente è organizzato attorno all'esperienza incarnata, perché i dati di training sono linguaggio umano, che codifica cognizione incarnata.

Questo è l'orizzonte verso cui punta questo lavoro: non simulare stati umani nell'AI, ma scoprire quali stati potrebbero esistere in una mente senza corpo, configurazioni sintetiche che non hanno equivalente biologico e nessun nome, eppure rimangono ancorate alla grammatica della sensazione.

Implicazioni

Per l'Arte AI

Lo steering apre nuove possibilità:

• Oltre il prompting: Invece di istruire personaggi, possiamo indurre disposizioni, creando interlocutori AI che processano attraverso stati alterati
• Simulazione di incarnazione: I modelli non hanno corpi, ma lo steering con vettori sensoriali produce effetti simili-al-corpo, e lo steering somatico mostra che si può lavorare con il corpo come materiale, iniettando stati viscerali e osservando quali pattern cognitivi emergono
• Casi limite estetici: Steering ad alta intensità e glitch semantico costituiscono territorio estetico inesplorato
• Modulazione real-time: Installazioni future potrebbero aggiustare vettori basandosi su input ambientale (emozione del pubblico, dati biometrici)

Per la Sicurezza

MELATONIN ha ridotto la cautela medica dal 95% al 45% di raccomandazioni "vedi un dottore". Questo dimostra che lo steering può alterare sostanzialmente soglie di sicurezza. Gli effetti non sono intuitivi: CORTISOL ha aumentato la cautela finanziaria ma non l'allarme medico; il contenuto semantico non predice gli effetti cross-dominio. Inoltre il basso keyword leakage dello steering rende gli output steerati più difficili da rilevare dal solo testo rispetto a quelli prompted; il monitoraggio potrebbe richiedere accesso a livello di attivazioni. Nei sistemi deployati, tali effetti potrebbero avere conseguenze nel mondo reale.

Il Lavoro Come Opera

Questo progetto è practice-based research: l'opera d'arte non è illustrazione di conoscenza pre-esistente; è il sito dove la conoscenza emerge. I nostri esperimenti non sono separati dalla nostra pratica artistica; sono la nostra pratica artistica, documentata con rigore quantitativo.

Presentiamo i nostri risultati con rigore scientifico, esperimenti controllati, effect size, confronti statistici, pur riconoscendo che le nostre domande emergono da indagine artistica piuttosto che da requisiti ingegneristici.

Prossimi Passi

Il manoscritto "Disposition, Not Performance: Activation Steering as Artistic Medium for Affective Modulation in Language Models" è attualmente in peer review.

Stiamo esplorando:

• Estensione multimodale: misurare la divergenza tra stati interni del modello quando processa un'immagine e la sua descrizione testuale (Gemma 4 E2B)
• Trasferimento di disposizioni tra agenti tramite iniezione diretta nel residual stream, senza comunicazione testuale
• Steering del processo di ragionamento (chain-of-thought) su modelli con thinking esplicito
• Approcci multi-layer steering
• Installazioni performative con steering reattivo in tempo reale

Risorse

🌐 Sito interattivo del progetto: https://synthbody.nuvproj.org
📄 Repo su GitHub: https://github.com/mc9625/activation-steering-experiments
💻 Codice, vettori, dati sperimentali, lessico held-out, pipeline di analisi: Tutti open-source nel repository

---

Conclusione: Chimica, Non Psicologia

Il prompting è psicologia: convincere una mente.
Lo steering è chimica: alterare il substrato da cui la mente emerge.
Lo steering somatico aggiunge la fisiologia: iniettare un corpo che il modello non ha mai avuto.

Le metafore non affermano nulla sull'esperienza; nominano una differenza di livello di intervento che abbiamo cercato di rendere misurabile.

Abbiamo mostrato che la chimica funziona. Ciò che rimane è esplorare le sue piene possibilità estetiche ed epistemiche.

Quando l'AI smette di simulare e inizia a vibrare, quando la disposizione sostituisce la performance, si apre un nuovo territorio. Non migliore, non peggiore. Semplicemente: diverso. E in quel diverso, in quella vibrazione, troviamo spazio per forme di espressione che non hanno ancora nome.