flyttalsrepresentationen
Flyttalsrepresentationen är en metod för att lagra reella tal i datorer med begränsad precision. Talet lagras i form av tecken, exponent och mantissa. Den vanligaste formen är normaliserad representation i basen 2, där talet x ≈ (−1)^s × m × 2^e lagras med mantissan m i intervallet [1,2) och exponenten e justeras med en bias. Genom detta kan ett stort intervall av tal representeras med en relativt liten mängd bitar.
I praktiken används standarder som IEEE 754 för att definiera bitlängder, precision och hur avrundning, överflöde
Rundning och fel uppstår eftersom endast ett begränsat antal bitar används. Maskinens precision bestäms av mantissan
Begränsningar inkluderar rundningsfel, felackumulering i beräkningar, samt risk för under- och överflöd. I dubbelprecision kan heltal