Tensorkjerner

Tensorkjerner er specialiserede beregningsenheder i nyere NVIDIA-GPU’er, der accelererer matrixmultiplikation og akkumulering, grundlæggende operationer i kunstig intelligens og maskinlæring. Ved at udføre mange parallelle små matrixmultiplikationer i høj gennemløb muliggør de hurtig træning og inferens med lavere præcision end fuld FP32-nøjagtighed.

Historie og udvikling: Tensor Cores blev introduceret i Volta-arkitekturen (GV100) og er siden forbedret i Turing, Ampere og nyere generationer. Nye præcisioner som TF32, FP8/FP16 og INT8/INT4 giver større fleksibilitet og ydeevne, sammen med større matrixblokstørrelser og bedre hukommelsesadgang.

Sådan virker de: Tensor Cores udfører matrixmultiplikation og akkumulering i blokke af små matricer. Programmører får adgang gennem CUDA WMMA-API’en, og populære biblioteker som cuBLAS, cuDNN og TensorRT optimerer automatisk brugen af Tensor Cores, når data og konfiguration passer. De understøtter forskellige præcisioner og akkumulationsformater, så der kan balanceres mellem nøjagtighed og hastighed.

Anvendelse og betydning: Tensor Cores er centrale for moderne dyb læring på NVIDIA-GPU’er og især gavnlige for store modeller og transformerbaserede netværk samt visse HPC-opgaver, hvor matrixoperationer dominerer.

Begrænsninger: Udnyttelse kræver kompatibel software og dataparametre; ikke alle operationer får hastighedsforbedring, og præcision/ferdigheder skal afvejes. Fordelene er størst ved store batch-størrelser og træning/inferens af komplekse modeller.