前言 基于CPU(central processing unit,中央处理器)和GPU(graphics processing unit,图形处理器)的异构计算(heterogeneous computing)已逐步发展为高性能计算(high performance computing)领域的主流模式。很多超级计算机大量使用了GPU。CUDA(compute unified device architecture)作为GPU高性能计算的主要开发工具之一,已经在计算机、物理、化学、生物、材料等众多领域发挥了重要作用。掌握CUDA编程也就意味着开辟了一条通往高性能计算的新道路。 本书通过大量实例循序渐进地介绍CUDA编程的语法知识、优化策略及程序开发实践。本书所有源代码都可以通过作者为本书创建的GitHub仓库(https:// github.com/brucefan1983/CUDA-Programming)获得。读者也可以针对该仓库提出问题(issues)与作者进行交流。渤海大学由琪同学的GitHub仓库https://github.com/ YouQixiaowu/CUDA-Programming-with-Python还给出了本书部分程序的py-CUDA版本。本书中的所有程序都在Linux平台通过测试,其中大部分程序也能在Windows平台通过测试。我们会在适当的地方指出哪些程序无法在(作者的)Windows平台通过测试。 本书是一本较理想的学习CUDA编程的入门读物。在计算机方面,读者需要掌握初步的Linux或Windows命令行操作技能,并具有一定的C++语言编程基础。第13章的内容要求读者具有大学物理或普通物理的知识基础。第14章的部分内容要求读者熟悉大学本科理工科的线性代数知识。本书前12章需顺序阅读,后两章可选读,而且可以按任意次序阅读。最后要强调的是,本书不假定读者有并行编程的经验。 本书不是一本CUDA编程手册,不追求面面俱到,但力求做到由浅入深、循序渐进。截至作者交稿之日,最新版本(10.2)的《CUDA C++ Programming Guide》和《CUDA C++ Best Practices Guide》加起来有400多页,再加上CUDA工具箱中各种应用程序库和编程开发工具的文档,总页数可能上万。在本书100多页的篇幅中想要做到面面俱到是不可能的。明确地说: ● 本书只涉及CUDA C++编程,不涉及其他异构编程语言,如OpenCL、OpenACC和CUDA Fortran。 ● 关于CUDA C++编程,本书不涉及动态并行(dynamic parallelism)、CUDA Graph、CUDA与OpenGL和Direct3D的交互、纹理和表面内存的使用。 ● 本书不涉及多GPU编程,只讨论单GPU编程,并且不涉及OpenMP和MPI。 ● 在众多性能分析器(profiler)中,我们将仅偶尔使用nvprof,不使用其他可视化性能分析器。 本书彩图请扫描右侧二维码观看。 本书的出版受到国家自然科学基金的支持,项目编号为11974059,名称为《基于石墨烯及其他两维材料的柔性热电材料的多尺度模拟》。本书中相关程序的开发和测试使用了由Aalto Science-IT project和Finland’s IT Center for Science(CSC)提供的计算资源与技术支持。 复旦大学的周麟祥教授于2011年在厦门大学开设的CUDA编程讲座让作者有幸较早地接触CUDA编程。厦门大学的博士后导师郑金成和王惠琼教授及芬兰Aalto大学的博士后导师Ari Harju博士和Tapio Ala-Nissila教授在作者学习与使用CUDA的过程中给予了很大的支持。在此对以上老师表示由衷的感谢! 特别感谢苏州吉浦讯科技有限公司的技术团队。该团队的工程师们为本书的初稿指出了300多个问题,并为作者解答了很多有关CUDA编程的问题。如果没有该团队的帮助,本书一定有很多错误。厦门大学的徐克同学和渤海大学的由琪同学先后为本书制作了若干插图。中国科学技术大学的黄翔同学、潍坊学院高性能计算中心的李延龙同学及西安理工大学的范亚东同学帮助审阅了全部书稿。在此对以上同学一并表示感谢。 本书从构思到完成大概花了一年半的时间。在这一年半的时间里,此书的写作占用了我很多本应该陪伴家人的时间。所以,我将此书献给我的妻子秦海霞、大女儿樊怀瑾和小女儿樊婉瑜,以及我的父亲樊明营与母亲张珍艳。 |