Fließband

SIMD

Single instruction, multiple data (SIMD) ist eine Form der Parallelität auf Hardwareebene. Die CPU führt dieselbe Berechnung gleichzeitig über mehrere Elemente aus.

Betrachte zum Beispiel das elementweise Summieren zweier Arrays aus vier 32-Bit-Gleitkommazahlen. Eine skalare Implementierung würde vier separate addss-Befehle absetzen, einen pro Element. Eine SIMD-Implementierung verwendet ein einzelnes addps, um alle vier Additionen parallel auszuführen. Das ergibt die vierfache Arbeit pro Befehl.

In x86-64-Assembly werden SIMD-Befehle normalerweise mit xmm-Registern ausgeführt. Einige dieser Befehle arbeiten mit Ganzzahlen. Andere arbeiten mit Gleitkommazahlen.

Diese Ganzzahlen oder Gleitkommazahlen heißen packed. Jede belegt innerhalb desselben Registers einen Platz, eine sogenannte Lane. SIMD-Befehle arbeiten typischerweise parallel mit Werten an derselben Lane-Position in zwei Quelloperanden. Das Ergebnis jeder Operation wird in der Lane an derselben Position im Zieloperanden gespeichert.

Eine Lane ist keine feste Grenze. Sie ist eine Interpretation, die jeder Befehl einer Bytefolge gibt. Ein 128-Bit-Operand enthält 16 Bytes. Je nach Befehl können diese Bytes als 16 1-Byte-Lanes, 8 2-Byte-Lanes, 4 4-Byte-Lanes, 2 8-Byte-Lanes oder sogar als eine einzige 16-Byte-Lane interpretiert werden.

Zum Beispiel addiert der Befehl addps gepackte Gleitkommawerte einfacher Genauigkeit (4 Byte). Für diesen Befehl ist jeder 4-Byte-Block in einem Operanden eine andere Lane. In einem 128 Bit breiten (16 Byte großen) Operanden:

Andererseits würde ein 128-Bit-Operand im Fall von mulpd als 2 Lanes interpretiert werden. Der Grund ist, dass dieser Befehl eine gepackte Multiplikation mit Werten doppelter Genauigkeit (8 Byte) durchführt:

In diesem Konzept konzentrieren wir uns auf eine kleine Auswahl von SIMD-Befehlen. Sie arbeiten mit gepackten Gleitkommawerten unter Verwendung von xmm-Registern.

SIMD-Befehle für Gleitkommazahlen

Faustregel: SIMD-Befehle, die mit Gleitkommawerten arbeiten, haben eine Zwei-Operanden-Form. Ihr Name folgt einer bestimmten Struktur:

1. Die ausgeführte Operation, mit demselben Namen wie ihr Nicht-SIMD-Gegenstück (auch skalar genannt) (z. B. add, mul usw.).
2. Ein Suffix p, das angibt, dass der Befehl mit gepackten Daten arbeitet, an derselben Position, die zuvor ein s (für skalare Daten) einnahm.
3. Ein Suffix, das die Größe jeder Lane angibt, mit derselben Semantik wie ihr Nicht-SIMD-Gegenstück (s für einfache Genauigkeit und d für doppelte Genauigkeit).

Der gepackte Name entsteht daher aus dem skalaren Namen, indem man das s (scalar) in der Mitte des Mnemonic durch ein p (packed) ersetzt. Der Operationsname und das Größen-Suffix bleiben unverändert:

Arithmetik

Arithmetische SIMD-Befehle folgen der obigen Regel. Einige Beispiele:

addps xmm0, xmm1 ; xmm0 = xmm0 + xmm1 (each 32-bit float at the same position)
subpd xmm2, xmm3 ; xmm2 = xmm2 - xmm3 (each 64-bit float at the same position)
mulps xmm4, xmm5 ; xmm4 = xmm4 * xmm5 (each 32-bit float at the same position)
divpd xmm6, xmm7 ; xmm6 = xmm6 / xmm7 (each 64-bit float at the same position)

Konvertierung zwischen Genauigkeiten

Es gibt auch SIMD-Befehle, um zwischen gepackten Gleitkommawerten einfacher und gepackten Gleitkommawerten doppelter Genauigkeit zu konvertieren. Sie folgen derselben Namensregel, wobei jedes s für scalar durch ein p für packed ersetzt wird:

Diese Befehle veranschaulichen den früheren Punkt, dass eine Lane eine Interpretation und keine feste Grenze ist. Die Quell- und Zieloperanden haben unterschiedliche Lane-Größen und daher unterschiedliche Lane-Anzahlen.

Bei cvtps2pd hat die Quelle (ps) 4 Lanes einfacher Genauigkeit. Das Ziel (pd) hat 2 Lanes doppelter Genauigkeit. Nur die unteren 2 Lanes der Quelle werden gelesen. Die oberen 2 werden ignoriert:

Bei cvtpd2ps hat die Quelle (pd) 2 Lanes doppelter Genauigkeit. Das Ziel (ps) hat 4 Lanes einfacher Genauigkeit. Beide Quell-Lanes werden konvertiert und in die unteren 2 Lanes des Ziels geschrieben. Die oberen 2 Lanes des Ziels werden auf null gesetzt:

Einige Beispiele:

cvtps2pd xmm0, xmm1 ; xmm0 = xmm1 as 2 doubles (low 2 lanes of xmm1 are read)
cvtpd2ps xmm0, xmm1 ; xmm0 = xmm1 as 2 floats (in low 2 lanes; upper 2 zeroed)

Speicheroperanden

Die obigen SIMD-Befehle wurden alle mit Register-zu-Register-Operanden gezeigt. Sie können auch einen Speicheroperanden als Quelle nehmen (aber nicht als Ziel).

Die Anzahl der aus dem Speicher gelesenen Bytes wird durch den Befehl bestimmt. Zum Beispiel liest addps 16 Bytes (4 Gleitkommazahlen einfacher Genauigkeit). cvtps2pd hingegen liest nur 8 Bytes (2 Gleitkommazahlen einfacher Genauigkeit), weil das die gesamte Eingabe ist, die er benötigt.

addps    xmm0, [rsi]      ; xmm0 = xmm0 + 4 floats at [rsi]
mulpd    xmm1, [rsi + 16] ; xmm1 = xmm1 * 2 doubles at [rsi + 16]
cvtps2pd xmm2, [rsi + 8]  ; xmm2 = (2 floats at [rsi + 8]) converted to 2 doubles

Wenn der Speicheroperand 16 Bytes breit ist, muss er 16-Byte-ausgerichtet sein. Ein ausgerichteter Speicherort ist einer, dessen Adresse ein Vielfaches der Größe der Operation ist (in diesem Fall 16 Bytes).

Um ausgerichteten Speicher zu deklarieren, kannst du die Direktive align in den Abschnitten .data und .rodata verwenden, oder alignb im Abschnitt .bss:

section .rodata
align 16
mem1: dd 4.0, 3.5, 2.0, -1.0

section .data
align 16
mem2: dq 6.0, 2.1

section .bss
alignb 16
mem3: resb 16

section .text
fn:
    movaps xmm0, oword [rel mem1] ; loads 4 packed 32-bit floats in xmm0
    movapd xmm1, oword [rel mem2] ; loads 2 packed 64-bit floats in xmm1
    movaps oword [rel mem3], xmm0 ; stores 4 packed 32-bit floats in mem3
    ret

Speicheroperanden kleiner als 16 Bytes, wie die 8-Byte-Quelle von cvtps2pd, haben keine Ausrichtungsanforderung.

Laden und Speichern von Werten

Es gibt vier Befehle, die 128 Bits gepackter Gleitkommawerte kopieren. Sie arbeiten zwischen zwei xmm-Registern oder zwischen einem xmm-Register und einem Speicherort:

Alle diese Befehle können verwendet werden, um Werte zwischen zwei xmm-Registern zu kopieren.

Wenn die Operation einen Speicherort einbezieht, verlangen movaps und movapd, dass er ausgerichtet ist. movaps und movapd lösen einen Fehler aus, wenn ihnen eine nicht ausgerichtete Adresse übergeben wird. Sie dienen zugleich als Sicherheitsprüfung, dass dein Datenlayout wirklich das ist, was du denkst.

Andererseits können movups und movupd mit jedem Speicherort verwendet werden, ob ausgerichtet oder nicht.

Das Größenpräfix für einen 16-Byte-Wert in NASM ist oword.

SIMD-Erweiterungen

SIMD ist seit Jahrzehnten ein Ziel aktiver Entwicklung im x86-64-Ökosystem. Jede Erweiterung der Architektur bringt neue Befehle oder neue Verwendungen für alte Befehle.

Insbesondere die Erweiterungen AVX und AVX2 bringen einige relevante Änderungen.

Erstens die Unterstützung für 256-Bit-SIMD-Register, genannt ymm. Sie erweitern die entsprechenden xmm-Register, so wie rax das eax enthält.

Zweitens enthalten sie Unterstützung für 3-Operanden-Varianten für die meisten Befehle, die mit xmm- (und ymm-)Registern arbeiten. Das umfasst nicht nur SIMD-Befehle, sondern auch solche, die mit skalaren Gleitkommawerten arbeiten. Diese Varianten folgen derselben Notation wie ihr SSE-Äquivalent, mit einem vorangestellten v:

vaddsd xmm0, xmm1, xmm2   ; xmm0 = xmm1 + xmm2 (scalar sum of 64-bit floats)
vmulps xmm1, xmm3, xmm4   ; xmm1 = xmm3 * xmm4 (packed multiplication of 32-bit floats)
vmovupd ymm5, yword [mem] ; this copies 32 bytes from the location at mem to ymm5

Drittens ist die für SIMD-Speicheroperanden erforderliche Ausrichtung gelockert. Nur ausdrücklich ausgerichtete Move-Befehle wie vmovaps verlangen diese Ausrichtung.

In diesem Track haben wir uns auf Befehle und Register bis zu den vorherigen SSE-Erweiterungen beschränkt. Das reicht aus, um die Grundlagen zu vermitteln, und gewährleistet Kompatibilität mit einer breiten Palette von CPUs.

Der Test-Runner unterstützt jedoch AVX und AVX2 vollständig und sogar die neueren Erweiterungen, die Teil von AVX-512 sind. Du kannst sie gerne verwenden.