Importance of explicit vectorization for CPU and GPU software performance

Much of the current focus in high-performance computing is on multi-threading, multi-computing, and graphics processing unit (GPU) computing. However, vectorization and non-parallel optimization techniques, which can often be employed additionally, are less frequently discussed. In this paper, we present an analysis of several optimizations done on both central processing unit (CPU) and GPU implementations of a particular computationally intensive Metropolis Monte Carlo algorithm. Explicit vectorization on the CPU and the equivalent, explicit memory coalescing, on the GPU are found to be critical to achieving good performance of this algorithm in both environments. The fully-optimized CPU version achieves a 9× to 12× speedup over the original CPU version, in addition to speedup from multi-threading. This is 2× faster than the fully-optimized GPU version, indicating the importance of optimizing CPU implementations.     

Fast evaluation of Helmholtz potential on graphics processing units (GPUs)

This paper presents a parallel algorithm implemented on graphics processing units (GPUs) for rapidly evaluating spatial convolutions between the Helmholtz potential and a large-scale source distribution. The algorithm implements a non-uniform grid interpolation method (NGIM), which uses amplitude and phase compensation and spatial interpolation from a sparse grid to compute the field outside a source domain. NGIM reduces the computational time cost of the direct field evaluation at N observers due to N co-located sources from O(N²) to O(N) in the static and low-frequency regimes, to O(N log N) in the high-frequency regime, and between these costs in the mixed-frequency regime. Memory requirements scale as O(N) in all frequency regimes. Several important differences between CPU and GPU implementations of the NGIM are required to result in optimal performance on respective platforms. In particular, in the CPU implementations all operations, where possible, are pre-computed and stored in memory in a preprocessing stage. This reduces the computational time but significantly increases the memory consumption. In the GPU implementations, where handling memory often is a critical bottle neck, several special memory handling techniques are used to accelerate the computations. A significant latency of the GPU global memory access is hidden by implementing coalesced reading, which requires arranging many array elements in contiguous parts of memory. Contrary to the CPU version, most of the steps in the GPU implementations are executed on-fly and only necessary arrays are kept in memory. This results in significantly reduced memory consumption, increased problem size N that can be handled, and reduced computational time on GPUs. The obtained GPU–CPU speed-up ratios are from 150 to 400 depending on the required accuracy and problem size. The presented method and its CPU and GPU implementations can find important applications in various fields of physics and engineering.     

结构材料辐照损伤的分子动力学程序GPU并行化及优化

基于NIVIDIA公司的CUDA架构对结构材料辐照损伤的分子动力学程序在单个GPU上进行并行化,并对影响程序运行效率的相关因素进行分析和测试.经过一系列优化,当粒子数为两百万时,对比单CPU的执行时间,优化后的GPU程序其双精度加速比可达112倍,单精度加速比达到了三百倍,为后续扩展多GPU结构材料辐照损伤的分子动力学程序奠定基础.     

GPU accelerated simulations of bluff body flows using vortex particle methods

We present a GPU accelerated solver for simulations of bluff body flows in 2D using a remeshed vortex particle method and the vorticity formulation of the Brinkman penalization technique to enforce boundary conditions. The efficiency of the method relies on fast and accurate particle-grid interpolations on GPUs for the remeshing of the particles and the computation of the field operators. The GPU implementation uses OpenGL so as to perform efficient particle-grid operations and a CUFFT-based solver for the Poisson equation with unbounded boundary conditions. The accuracy and performance of the GPU simulations and their relative advantages/drawbacks over CPU based computations are reported in simulations of flows past an impulsively started circular cylinder from Reynolds numbers between 40 and 9500. The results indicate up to two orders of magnitude speed up of the GPU implementation over the respective CPU implementations. The accuracy of the GPU computations depends on the Re number of the flow. For Re up to 1000 there is little difference between GPU and CPU calculations but this agreement deteriorates (albeit remaining to within 5% in drag calculations) for higher Re numbers as the single precision of the GPU adversely affects the accuracy of the simulations.     

激波与火焰面相互作用数值模拟的GPU加速

为考察计算机图形处理器（GPU）在计算流体力学中的计算能力,采用基于CPU/GPU异构并行模式的方法对激波与火焰界面相互作用的典型可压缩反应流进行数值模拟,优化并行方案,考察不同网格精度对计算结果和计算加速性能的影响.结果表明,和传统的基于信息传递的MPI 8线程并行计算相比,GPU并行模拟结果与MPI并行模拟结果相同;两种计算方法的计算时间均随网格数量的增加呈线性增长趋势,但GPU的计算时间比MPI明显降低.当网格数量较小时（1.6×10⁴）,GPU计算得到的单个时间步长平均时间的加速比为8.6;随着网格数量的增加,GPU的加速比有所下降,但对较大规模的网格数量（4.2×10⁶）,GPU的加速比仍可达到5.9.基于GPU的异构并行加速算法为可压缩反应流的高分辨率大规模计算提供了较好的解决途径.     

图形处理器并行计算用于离子发动机粒子模拟

 为了研究离子发动机羽流对航天器的影响,采用质点网格-蒙特卡罗碰撞方法对离子发动机羽流中的交换电荷离子进行了模拟。利用计算设备统一架构技术,开发出一套基于图形处理器的并行粒子模拟程序。随机数生成采用并行MT19937伪随机数生成器算法,电场方程使用完全近似存储格式的代数多重网格法求解。r-z轴对称坐标系中,在z=0 m处获得的电流密度均值为4.5×10^-5 A/m²,图形处理器所得结果与中央处理器模拟结果吻合。在16核心的NVIDIA GeForce 9400 GT图形显示卡上,取得相对于Intel Core 2 E6300中央处理器4.5~10.0倍的加速比。     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度,在应用于二维或准二维问题时,要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略,可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分,实现了数据的分布式存储,并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例,测试了异构并行程序在不同DMRG保留状态数下的运行表现,并给出了相应的性能基准.应用于4腿梯子时,观测到了高温超导中常见的电荷密度条纹,此时保留状态数达到10⁴,使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度,在应用于二维或准二维问题时,要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略,可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分,实现了数据的分布式存储,并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例,测试了异构并行程序在不同DMRG保留状态数下的运行表现,并给出了相应的性能基准.应用于4腿梯子时,观测到了高温超导中常见的电荷密度条纹,此时保留状态数达到10⁴,使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度,在应用于二维或准二维问题时,要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略,可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分,实现了数据的分布式存储,并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例,测试了异构并行程序在不同DMRG保留状态数下的运行表现,并给出了相应的性能基准.应用于4腿梯子时,观测到了高温超导中常见的电荷密度条纹,此时保留状态数达到10⁴,使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度,在应用于二维或准二维问题时,要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略,可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分,实现了数据的分布式存储,并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例,测试了异构并行程序在不同DMRG保留状态数下的运行表现,并给出了相应的性能基准.应用于4腿梯子时,观测到了高温超导中常见的电荷密度条纹,此时保留状态数达到10⁴,使用的GPU显存小于12 GB.     

密度矩阵重正化群的异构并行优化

密度矩阵重正化群方法（DMRG）在求解一维强关联格点模型的基态时可以获得较高的精度，在应用于二维或准二维问题时，要达到类似的精度通常需要较大的计算量与存储空间.本文提出一种新的DMRG异构并行策略，可以同时发挥计算机中央处理器（CPU）和图形处理器（GPU）的计算性能.针对最耗时的哈密顿量对角化部分，实现了数据的分布式存储，并且给出了CPU和GPU之间的负载平衡策略.以费米Hubbard模型为例，测试了异构并行程序在不同DMRG保留状态数下的运行表现，并给出了相应的性能基准.应用于4腿梯子时，观测到了高温超导中常见的电荷密度条纹，此时保留状态数达到10⁴，使用的GPU显存小于12 GB.