Parallelrechnern

Der Begriff Parallelrechnern bezeichnet Computersysteme, die Rechenaufgaben durch mehrere Prozessoren oder Rechenmodule gleichzeitig ausführen. Ziel ist die höhere Rechenleistung und die Lösung größerer oder zeitkritischer Aufgaben durch Aufteilung von Arbeitslast und gleichzeitige Bearbeitung. Typische Merkmale sind die Möglichkeit, Aufgaben in Teilaufgaben zu zerlegen, diese parallel zu bearbeiten und Ergebnisse zu kombinieren.

Man unterscheidet grob zwischen Shared-Memory-Systemen (mehrere Prozessoren greifen auf denselben Speicher zu) und Distributed-Memory-Systemen (jeder Knoten hat eigenen Speicher, Kommunikation erfolgt über ein Netz). Außerdem gibt es SIMD-Architekturen, die dieselbe Operation auf vielen Daten gleichzeitig ausführen, und MIMD-Architekturen, bei denen Prozessoren unabhängig arbeiten. Typische Implementierungen umfassen Mehrkern- und Mehrprozessor-Systeme in Servern, Rechnercluster, Massively Parallel Processors (MPP) und GPUs als Many-Core-Beschleuniger.

Programmiermodelle umfassen MPI (Message Passing Interface) für verteilte Systeme, OpenMP für geteilten Speicher sowie GPGPU-Ansätze mit CUDA oder OpenCL. Die Leistung wird durch Speedup, Skalierbarkeit und parallele Effizienz gemessen; entscheidend sind Load Balancing, Kommunikations- und Synchronisationsaufwand. Theoretische Rahmenwerke wie Amdahls Gesetz und Gustafsons Erweiterungen helfen bei der Einschätzung der erreichbaren Skalierung.

Anwendungsgebiete reichen von wissenschaftlichen Simulationen über Wetter- und Klimamodellen bis hin zu maschinellem Lernen und Big-Data-Analysen. Die Geschichte der Parallelrechner reicht von frühen Multiprozessor- und Supercomputersystemen bis zu modernen GPU-Cluster-Lösungen. Aktuelle Entwicklungen fokussieren exascale Computing, Energieeffizienz und heterogene Architekturen.