Línea de producción

SIMD

Single instruction, multiple data (SIMD) es una forma de paralelismo a nivel de hardware. La CPU realiza el mismo cálculo sobre varios elementos a la vez.

Piensa, por ejemplo, en sumar elemento a elemento dos arrays de cuatro números de coma flotante de 32 bits. Una implementación escalar emitiría cuatro instrucciones addss distintas, una por elemento. Una implementación SIMD usa un único addps para hacer las cuatro sumas en paralelo. Eso supone cuatro veces más trabajo por instrucción.

En ensamblador x86-64, las instrucciones SIMD se realizan normalmente con registros xmm. Algunas de esas instrucciones operan sobre números enteros. Otras operan sobre números en coma flotante.

Esos números enteros o en coma flotante se denominan packed. Cada uno ocupa un espacio, llamado lane, dentro del mismo registro. Las instrucciones SIMD suelen operar en paralelo sobre los valores que ocupan la misma posición de lane en los dos operandos fuente. El resultado de cada operación se guarda en el lane que ocupa esa misma posición en el operando destino.

Un lane no es un límite rígido. Es una interpretación que cada instrucción da a una secuencia de bytes. Un operando de 128 bits contiene 16 bytes. Según la instrucción, esos bytes pueden interpretarse como 16 lanes de 1 byte, 8 lanes de 2 bytes, 4 lanes de 4 bytes, 2 lanes de 8 bytes o incluso un único lane de 16 bytes.

Por ejemplo, la instrucción addps suma valores en coma flotante de precisión simple (4 bytes) empaquetados. Para esta instrucción, cada bloque de 4 bytes de un operando es un lane distinto. En un operando de 128 bits de ancho (16 bytes):

Por otro lado, un operando de 128 bits se interpretaría como si tuviera 2 lanes en el caso de mulpd. Esto se debe a que esta instrucción realiza una multiplicación empaquetada sobre valores de doble precisión (8 bytes):

En este concepto nos centraremos en una pequeña selección de instrucciones SIMD. Operan sobre valores en coma flotante empaquetados usando registros xmm.

Instrucciones SIMD de coma flotante

Como regla general, las instrucciones SIMD que operan sobre valores en coma flotante adoptan una forma de dos operandos. Su nombre sigue una estructura concreta:

1. La operación que se realiza, con el mismo nombre que su equivalente no SIMD (también llamado escalar) (por ejemplo, add, mul, etc.).
2. Un sufijo p que indica que la instrucción opera sobre datos empaquetados, en la misma posición que antes ocupaba una s (de datos escalares).
3. Un sufijo que indica el tamaño de cada lane, con la misma semántica que su equivalente no SIMD (s para precisión simple y d para doble precisión).

El nombre empaquetado se obtiene, por tanto, a partir del nombre escalar sustituyendo la s (escalar) que hay en medio del mnemónico por una p (empaquetado). El nombre de la operación y el sufijo de tamaño no cambian:

Aritmética

Las instrucciones SIMD aritméticas siguen la regla anterior. Algunos ejemplos:

addps xmm0, xmm1 ; xmm0 = xmm0 + xmm1 (each 32-bit float at the same position)
subpd xmm2, xmm3 ; xmm2 = xmm2 - xmm3 (each 64-bit float at the same position)
mulps xmm4, xmm5 ; xmm4 = xmm4 * xmm5 (each 32-bit float at the same position)
divpd xmm6, xmm7 ; xmm6 = xmm6 / xmm7 (each 64-bit float at the same position)

Conversión entre precisiones

También hay instrucciones SIMD para convertir entre valores en coma flotante empaquetados de precisión simple y de doble precisión. Siguen la misma regla de nomenclatura, sustituyendo cada s de escalar por una p de empaquetado:

Estas instrucciones ilustran el punto anterior de que un lane es una interpretación, no un límite rígido. Los operandos fuente y destino tienen lanes de distinto tamaño, por lo que tienen distinto número de lanes.

En cvtps2pd, la fuente (ps) tiene 4 lanes de precisión simple. El destino (pd) tiene 2 lanes de doble precisión. Solo se leen los 2 lanes inferiores de la fuente. Los 2 superiores se ignoran:

En cvtpd2ps, la fuente (pd) tiene 2 lanes de doble precisión. El destino (ps) tiene 4 lanes de precisión simple. Ambos lanes de la fuente se convierten y se escriben en los 2 lanes inferiores del destino. Los 2 lanes superiores del destino se ponen a cero:

Algunos ejemplos:

cvtps2pd xmm0, xmm1 ; xmm0 = xmm1 as 2 doubles (low 2 lanes of xmm1 are read)
cvtpd2ps xmm0, xmm1 ; xmm0 = xmm1 as 2 floats (in low 2 lanes; upper 2 zeroed)

Operandos de memoria

Las instrucciones SIMD anteriores se han mostrado todas con operandos de registro a registro. También pueden tomar un operando de memoria como fuente (pero no como destino).

El número de bytes que se leen de la memoria lo determina la instrucción. Por ejemplo, addps lee 16 bytes (4 números de coma flotante de precisión simple). cvtps2pd, en cambio, lee solo 8 bytes (2 números de coma flotante de precisión simple), porque es toda la entrada que necesita.

addps    xmm0, [rsi]      ; xmm0 = xmm0 + 4 floats at [rsi]
mulpd    xmm1, [rsi + 16] ; xmm1 = xmm1 * 2 doubles at [rsi + 16]
cvtps2pd xmm2, [rsi + 8]  ; xmm2 = (2 floats at [rsi + 8]) converted to 2 doubles

Cuando el operando de memoria ocupa 16 bytes, debe estar alineado a 16 bytes. Una ubicación de memoria alineada es aquella cuya dirección es múltiplo del tamaño de la operación (16 bytes en este caso).

Para declarar memoria alineada, puedes usar la directiva align en la sección .data y .rodata, o alignb, en la sección .bss:

section .rodata
align 16
mem1: dd 4.0, 3.5, 2.0, -1.0

section .data
align 16
mem2: dq 6.0, 2.1

section .bss
alignb 16
mem3: resb 16

section .text
fn:
    movaps xmm0, oword [rel mem1] ; loads 4 packed 32-bit floats in xmm0
    movapd xmm1, oword [rel mem2] ; loads 2 packed 64-bit floats in xmm1
    movaps oword [rel mem3], xmm0 ; stores 4 packed 32-bit floats in mem3
    ret

Los operandos de memoria menores de 16 bytes, como la fuente de 8 bytes de cvtps2pd, no tienen ningún requisito de alineación.

Cargar y guardar valores

Hay cuatro instrucciones que copian 128 bits de valores en coma flotante empaquetados. Operan entre dos registros xmm, o entre un registro xmm y una ubicación de memoria:

Todas esas instrucciones pueden usarse para copiar valores entre dos registros xmm.

Si la operación incluye una ubicación de memoria, movaps y movapd exigen que esté alineada. movaps y movapd generarán un fallo si reciben una dirección desalineada. Además, sirven como comprobación de seguridad de que la disposición de tus datos es la que crees que es.

Por otro lado, movups y movupd pueden usarse con cualquier ubicación de memoria, esté alineada o no.

El prefijo de tamaño para un valor de 16 bytes en NASM es oword.

Extensiones SIMD

SIMD ha sido objeto de un desarrollo activo en el ecosistema x86-64 durante décadas. Cada extensión de la arquitectura aporta instrucciones nuevas o nuevos usos para instrucciones antiguas.

En particular, las extensiones AVX y AVX2 introducen algunos cambios relevantes.

En primer lugar, la compatibilidad con registros SIMD de 256 bits, llamados ymm. Extienden los registros xmm correspondientes, igual que rax contiene eax.

En segundo lugar, incluyen compatibilidad con variantes de 3 operandos para la mayoría de las instrucciones que operan sobre registros xmm (y ymm). Esto incluye no solo las instrucciones SIMD, sino también las que operan sobre valores en coma flotante escalares. Esas variantes siguen la misma notación que su equivalente SSE, con una v añadida delante:

vaddsd xmm0, xmm1, xmm2   ; xmm0 = xmm1 + xmm2 (scalar sum of 64-bit floats)
vmulps xmm1, xmm3, xmm4   ; xmm1 = xmm3 * xmm4 (packed multiplication of 32-bit floats)
vmovupd ymm5, yword [mem] ; this copies 32 bytes from the location at mem to ymm5

En tercer lugar, se relaja la alineación exigida a los operandos de memoria SIMD. Solo los movimientos explícitamente alineados, como vmovaps, exigen esta alineación.

En este track, nos hemos limitado a las instrucciones y registros hasta las extensiones SSE anteriores. Esto es suficiente para enseñar los fundamentos y garantiza la compatibilidad con una amplia variedad de CPUs.

No obstante, el test-runner es totalmente compatible con AVX y AVX2, e incluso con las extensiones más recientes que forman parte de AVX-512. Eres libre de usarlas.