Linea di produzione

SIMD

Single instruction, multiple data (SIMD) è una forma di parallelismo a livello hardware. La CPU esegue lo stesso calcolo su più elementi contemporaneamente.

Consideriamo, ad esempio, la somma elemento per elemento di due array di quattro numeri in virgola mobile a 32 bit. Un'implementazione scalare emetterebbe quattro istruzioni addss separate, una per elemento. Un'implementazione SIMD usa un solo addps per eseguire tutte e quattro le addizioni in parallelo. Così si ottiene quattro volte il lavoro per istruzione.

Nell'assembly x86-64, le istruzioni SIMD vengono in genere eseguite usando i registri xmm. Alcune di queste istruzioni operano su numeri interi. Altre operano su numeri in virgola mobile.

Quei numeri interi o in virgola mobile sono detti impacchettati. Ognuno occupa uno spazio, detto corsia, all'interno dello stesso registro. Le istruzioni SIMD in genere operano in parallelo su valori che si trovano nella stessa posizione di corsia in due operandi sorgente. Il risultato di ogni operazione viene memorizzato nella corsia che occupa la stessa posizione nell'operando di destinazione.

Una corsia non è un limite rigido. È un'interpretazione che ogni istruzione dà a una sequenza di byte. Un operando a 128 bit contiene 16 byte. A seconda dell'istruzione, quei byte possono essere interpretati come 16 corsie da 1 byte, 8 corsie da 2 byte, 4 corsie da 4 byte, 2 corsie da 8 byte o persino una singola corsia da 16 byte.

Ad esempio, l'istruzione addps somma valori in virgola mobile impacchettati a precisione singola (4 byte). Per questa istruzione, ogni blocco di 4 byte in un operando è una corsia diversa. In un operando largo 128 bit (16 byte):

D'altra parte, un operando a 128 bit verrebbe interpretato come avente 2 corsie nel caso di mulpd. Questo perché l'istruzione esegue una moltiplicazione impacchettata su valori a precisione doppia (8 byte):

In questo concetto ci concentreremo su una piccola selezione di istruzioni SIMD. Esse operano su valori in virgola mobile impacchettati usando i registri xmm.

Istruzioni SIMD per numeri in virgola mobile

Come regola generale, le istruzioni SIMD che operano su valori in virgola mobile assumono una forma a due operandi. Il loro nome segue una certa struttura:

1. L'operazione eseguita, con lo stesso nome della sua controparte non SIMD (detta anche scalare) (ad es. add, mul, ecc.).
2. Un suffisso p per indicare che l'istruzione opera su dati impacchettati, nella stessa posizione prima occupata da una s (per dati scalari).
3. Un suffisso per indicare la dimensione di ogni corsia, con la stessa semantica della sua controparte non SIMD (s per la precisione singola e d per la precisione doppia).

Il nome impacchettato si ottiene quindi dal nome scalare sostituendo la s (scalare) al centro del mnemonico con una p (impacchettato). Il nome dell'operazione e il suffisso di dimensione restano invariati:

Aritmetica

Le istruzioni SIMD aritmetiche seguono la regola precedente. Alcuni esempi:

addps xmm0, xmm1 ; xmm0 = xmm0 + xmm1 (each 32-bit float at the same position)
subpd xmm2, xmm3 ; xmm2 = xmm2 - xmm3 (each 64-bit float at the same position)
mulps xmm4, xmm5 ; xmm4 = xmm4 * xmm5 (each 32-bit float at the same position)
divpd xmm6, xmm7 ; xmm6 = xmm6 / xmm7 (each 64-bit float at the same position)

Conversione tra precisioni

Esistono anche istruzioni SIMD per convertire tra valori in virgola mobile impacchettati a precisione singola e impacchettati a precisione doppia. Seguono la stessa regola di denominazione, con ogni s per scalare sostituita da una p per impacchettato:

Queste istruzioni illustrano il punto precedente: una corsia è un'interpretazione, non un limite rigido. Gli operandi sorgente e di destinazione hanno dimensioni di corsia diverse, quindi hanno un numero di corsie diverso.

Per cvtps2pd, la sorgente (ps) ha 4 corsie a precisione singola. La destinazione (pd) ha 2 corsie a precisione doppia. Vengono lette solo le 2 corsie inferiori della sorgente. Le 2 superiori vengono ignorate:

Per cvtpd2ps, la sorgente (pd) ha 2 corsie a precisione doppia. La destinazione (ps) ha 4 corsie a precisione singola. Entrambe le corsie della sorgente vengono convertite e scritte nelle 2 corsie inferiori della destinazione. Le 2 corsie superiori della destinazione vengono impostate a zero:

Alcuni esempi:

cvtps2pd xmm0, xmm1 ; xmm0 = xmm1 as 2 doubles (low 2 lanes of xmm1 are read)
cvtpd2ps xmm0, xmm1 ; xmm0 = xmm1 as 2 floats (in low 2 lanes; upper 2 zeroed)

Operandi in memoria

Le istruzioni SIMD viste sopra sono state mostrate tutte con operandi da registro a registro. Possono anche accettare un operando in memoria come sorgente (ma non come destinazione).

Il numero di byte letti dalla memoria è determinato dall'istruzione. Ad esempio, addps legge 16 byte (4 numeri in virgola mobile a precisione singola). cvtps2pd, invece, legge solo 8 byte (2 numeri in virgola mobile a precisione singola), perché è tutto l'input di cui ha bisogno.

addps    xmm0, [rsi]      ; xmm0 = xmm0 + 4 floats at [rsi]
mulpd    xmm1, [rsi + 16] ; xmm1 = xmm1 * 2 doubles at [rsi + 16]
cvtps2pd xmm2, [rsi + 8]  ; xmm2 = (2 floats at [rsi + 8]) converted to 2 doubles

Quando l'operando in memoria è largo 16 byte, deve essere allineato a 16 byte. Una locazione di memoria allineata è una locazione il cui indirizzo è un multiplo della dimensione dell'operazione (16 byte in questo caso).

Per dichiarare memoria allineata, puoi usare la direttiva align nella sezione .data e .rodata, oppure alignb, nella sezione .bss:

section .rodata
align 16
mem1: dd 4.0, 3.5, 2.0, -1.0

section .data
align 16
mem2: dq 6.0, 2.1

section .bss
alignb 16
mem3: resb 16

section .text
fn:
    movaps xmm0, oword [rel mem1] ; loads 4 packed 32-bit floats in xmm0
    movapd xmm1, oword [rel mem2] ; loads 2 packed 64-bit floats in xmm1
    movaps oword [rel mem3], xmm0 ; stores 4 packed 32-bit floats in mem3
    ret

Gli operandi in memoria più piccoli di 16 byte, come la sorgente da 8 byte di cvtps2pd, non hanno requisiti di allineamento.

Caricamento e memorizzazione di valori

Ci sono quattro istruzioni che copiano 128 bit di valori in virgola mobile impacchettati. Operano tra due registri xmm, oppure tra un registro xmm e una locazione di memoria:

Tutte queste istruzioni possono essere usate per copiare valori tra due registri xmm.

Se l'operazione coinvolge una locazione di memoria, movaps e movapd richiedono che sia allineata. movaps e movapd generano un fault se ricevono un indirizzo non allineato. Servono anche da controllo di sicurezza: verificano che il layout dei dati sia quello che pensi.

D'altra parte, movups e movupd possono essere usate con qualsiasi locazione di memoria, allineata o meno.

Il prefisso di dimensione per un valore da 16 byte in NASM è oword.

Estensioni SIMD

SIMD è oggetto di sviluppo attivo nell'ecosistema x86-64 da decenni. Ogni estensione dell'architettura porta nuove istruzioni o nuovi usi per istruzioni esistenti.

In particolare, le estensioni AVX e AVX2 introducono alcuni cambiamenti rilevanti.

Primo, il supporto per i registri SIMD a 256 bit, chiamati ymm. Estendono i corrispondenti registri xmm, più o meno come rax contiene eax.

Secondo, includono il supporto per varianti a 3 operandi per la maggior parte delle istruzioni che operano sui registri xmm (e ymm). Questo vale non solo per le istruzioni SIMD, ma anche per quelle che operano su valori in virgola mobile scalari. Queste varianti seguono la stessa notazione della loro equivalente SSE, con una v aggiunta davanti:

vaddsd xmm0, xmm1, xmm2   ; xmm0 = xmm1 + xmm2 (scalar sum of 64-bit floats)
vmulps xmm1, xmm3, xmm4   ; xmm1 = xmm3 * xmm4 (packed multiplication of 32-bit floats)
vmovupd ymm5, yword [mem] ; this copies 32 bytes from the location at mem to ymm5

Terzo, i requisiti di allineamento degli operandi SIMD in memoria sono più rilassati. Solo i trasferimenti esplicitamente allineati, come vmovaps, richiedono questo allineamento.

In questo percorso ci siamo limitati a istruzioni e registri fino alle precedenti estensioni SSE. Questo basta per insegnare le basi e garantisce la compatibilità con una vasta gamma di CPU.

Tuttavia, il test-runner supporta pienamente AVX e AVX2, e persino le estensioni più recenti che fanno parte di AVX-512. Sei libero di usarle.