并行计算机主要由以下几部分组成：
处理单元：
这是并行计算机的核心部分，由多个CPU或处理器组成，它们能够独立执行指令并处理数据。这些处理单元通过高速通信网络连接，以便于相互协作，共同完成复杂的计算任务。
内存系统：
包括共享内存和分布式内存。共享内存系统中，所有处理单元都能访问同一块内存，而非一致内存访问系统（NUMA）则允许处理单元访问自己的本地内存以及共享内存，但速度可能较慢。
控制单元：
负责协调和控制处理单元的工作，包括指令的获取、分发和执行等。
互连网络：
用于连接各个处理单元，提供高速的数据传输通道，使得处理单元之间可以进行有效的通信和协作。
输入输出处理机（IOP）：
负责处理输入输出设备的数据，如键盘、鼠标、显示器等。
显卡（GPU）：
在并行计算中，GPU因其高并行处理能力和高带宽，常用于加速图形处理和大规模数据并行计算任务。
存储器及控制单元：
存储器用于存储数据和程序，控制单元则负责协调存储器的访问和数据的传输。
总接线口：
用于连接各种硬件设备，确保它们能够正确地协同工作。
这些组件共同工作，使得并行计算机能够以更高的速度和效率处理大规模计算任务。根据不同的应用需求和架构设计，并行计算机还可以包括其他辅助部件，例如网络接口卡、加速器卡等。