摘 要: 并行計算一直是計算機和軟件工程學科的專業基礎課程，具有較強的綜合性、方法性和實踐性。結合天津大學高性能計算實驗室多年來在并行計算課程建設上的實際經驗和成果，從知識體系、實驗設計、創新訓練、實驗平臺、實驗考核等多方面進行總結，并針對不同專業和年級的學生對并行計算課程的實際需求，重點說明了利用虛擬化和云計算技術構建綜合實驗平臺的方法，以及以具體任務和問題為驅動的實驗教學模式和多角度的考核機制。探討了并行計算實驗教學如何緊跟前沿技術發展的途徑，以便有效地應對云計算、大數據時代對專業人才培養的基本要求。

　　關鍵詞: 并行計算; 實驗設計; 實驗平臺; 云計算

　　0 引 言

　　并行計算一直以來都是大規模科學與工程計算、數據分析的基礎工具，內容涉及了體系結構、操作系統、計算機網絡、程序設計、數據結構等計算機學科的絕大部分專業基礎知識，是一門綜合性和實踐性都很強的前沿應用類課程[1]。近年來，隨著現代計算機普遍采用了多核異構的體系結構，以及互聯網、大數據、云計算、人工智能的興起，并行計算的應用領域在不斷擴大，重要性也不斷提高，尤其是我國自主研發的超級計算機發展迅猛，高性能計算能力已經世界領先[2-3]; 這也要求并行計算的課程建設要與時俱進，實驗環節要緊密聯系具體應用，提高學生的實踐動手能力。

　　近 20 年來，我校高性能計算實驗室一直進行并行計算課程的持續建設，期間完成了教育部-英特爾精品課程—并行計算的建設，除計算機專業外，還面向全校相關專業的研究生開設并行計算的高級選修課程。本文將從知識體系、實驗設計、實驗環境、實驗考核等方面進行詳細論述。

　　1 重視知識體系的相互聯系和專業基礎的融會貫通

　　課程建設過程中，十分重視知識體系的梳理和專業基礎的融會貫通[4]。并行計算是一門應用性非常強的綜合性課程，也是聯系計算機學科與其他學科的一個橋梁，圖 1 顯示了并行計算的這種橋梁作用: 一方面，并行計算是計算機學科專業基礎知識的綜合應用，一個并行計算環境的構建涉及到一系列的硬件( CPU、協處理器、I/O、存儲、網絡、) 和軟件( 操作系統、編譯技術、數據結構、程序設計) 技術; 另一方面，由于大規模科學計算和工程仿真的廣泛應用，并行計算在環境、生物、航天、大氣、海洋、水利、電路設計等諸多領域中都有重要應用，而且隨著在現代社會進入大數據、云計算時代，各行各業越發需要數據和計算的支持，并行計算的應用外延正在不斷擴大，這個橋梁結構也正在逐步加強。因此，高校在本科高年級尤其是研究生教育階段對并行計算進行不同程度的普及也十分必要。通過梳理并行計算的知識體系，在課程中將所有相關的知識點串聯起來，有助于學生形成知識網絡，將關聯課程融會貫通。

　　鑒于并行計算課程內容的綜合性較強，且有一定的入門門檻，就需要根據專業和學生已有的基礎，因材施教。對于計算機、軟件學科的高年級本科生，已經有了足夠的專業基礎知識，課程目標是理論與實踐并重，兼顧課程的廣度和深度; 對于計算機、軟件學科的研究生，已經參加了具體的科研課題，側重并行程序設計方法和高性能計算實踐，結合代表性應用，深入解析性能優化的方法與技巧; 而對于其他相關專業的研究生，重在入門知識以及并行工具的應用，適當增加課堂討論，引導學生在科研課題中嘗試應用，更好地解決本領域內的問題。此外，還要密切關注高性能計算相關技術的發展趨勢，以科研反哺教學，保證教學內容的前沿性和實用性[5]。

　　2 基礎實驗與應用實驗并重，加強與實際問題的聯系

　　實驗教學是并行計算課程體系中非常重要的一環，并行計算的實驗可以說是計算機知識的綜合演練，原則是基礎實驗與應用實驗并重，加強與實際問題的聯系。實驗除了鞏固基礎知識外，主要目的是培養學生應用并行計算技術解決實際問題的能力。實驗課程要根據學生的專業背景( 計算機相關、非計算機) 以及所在階段( 本科生、碩士、博士) 進行合理設置[6]。總的來說，本科階段注重基礎，鼓勵探索; 研究生階段以實際問題為導向，加強自學，通過范例分析，以點帶面。

　　面向計算機本科專業的實驗課程側重并行、并發基礎概念的理解和掌握，實驗內容力求全面，實驗難度逐漸增加[7]。實驗涵蓋 3 大類: 基于共享內存的多線程( Pthreads、OpenMP 等) ，基于消息傳遞的多進程 ( MPI) ，以及大數據處理的 Hadoop、Spark 等，具體內容每學年都會有調整，一般包括矩陣運算、方程求解、字串處理、文本分析等。最后的綜合實驗一般是開放性的探索課題，多為某個領域尚未完全解決的實際問題，比如計算生物學中常用的動態規劃算法，天文數據處理中的交叉證認，宇宙大尺度結構模擬中的 N 體問題等，這類問題常常需要綜合考慮計算負載、I/O 瓶頸、通信優化、數據布局等多個方面。實際經驗表明，在本科教學中設計探索類實驗，有助于激發學生的創新思維，發現解決問題的新思路。上面提到的問題中，不少學生嘗試了傳統算法之外的新思路，有的經過改進后總結成論文發表。

　　在研究生階段，大部分學生都是帶著具體應用目標來選修并行計算的，一般是為了解決在科研項目中遇到的性能問題。為此，研究生的課堂上增加了討論交流環節，基礎知識講解更加凝練，旨在拋磚引玉，強化學生的自學能力，同時還邀請業內人士進行前沿技術和應用范例的專題講座; 實驗環節則側重高層概念和綜合應用性，掌握通用并行工具和編程模型的使用，比如線性系統的并行求解器 HYPRE[8]、Intel 的高性能數學函數庫 MKL，支持多核異構并行模式( GPU、MIC) 的線性代數庫 ViennaCL [9]等，旨在引導學生在實際問題中靈活使用。研究生的綜合實驗環節，采用結合科研任務的自主選題模式[10]，考核指標將綜合課題展示和實驗報告兩部分內容。學生通過實際應用，一方面能夠透徹理解并牢固掌握相關知識，另一方面有助于推動科研課題的開展，達到學以致用; 最后，實驗本身還能夠提煉為科學應用范例，反饋到課堂上。

　　除了上述常規的實踐能力訓練外，教學團隊平時注意從科研項目和實際問題中凝練適合大學生創新訓練的課題，指導學生參加大創項目[11]，已經參與的課題涉及并行編程模型、并行程序開發環境、海量天文圖像檢索、射電數據處理、計算金融等多個方面。同時，積極組織并支持學生參加各類相關比賽，包括世界大學生超級計算機競賽( ASC) 、全國并行應用挑戰賽 ( PAC) 、以及業內大公司舉辦的各種挑戰賽等，在實戰中進一步激發學生的創新潛力，提高對知識的綜合應用能力。

　　3 構建統一的綜合實驗平臺，兼顧定制需要

　　并行計算實驗環境的構建相對復雜，近年來隨著大數據相關實驗的增加以及計算規模的擴大，傳統的單機環境很難滿足實驗要求。依托我校超級計算中心，利用虛擬化、云計算技術，構建了統一的并行計算綜合實驗平臺[12-14]，圖 2 顯示了該平臺的體系結構。

　　整個實驗平臺分為物理層、中間管理層、實驗應用層 3 個部分，可以提供傳統的多用戶集群環境和基于虛擬機的云計算環境。底層物理環境包括高性能計算節點、由普通商用服務器搭建的普通計算節點、共享存儲及其上的并行文件系統。高性能計算節點是我校超算中心為并行計算實驗專門劃出的一個相對獨立的計算集群，主要用于稍大規模的綜合性實驗，也為學生參加各類競賽提供測試環境; 普通計算節點則以虛擬機的形式提供實驗資源，主要用于入門訓練、基礎練習等小型實驗，也可以用于大規模計算的前期調試。

　　對于高性能計算節點，中間管理層主要是任務調度系統 PBS( Portable Batch System) ，實驗任務需要編寫 PBS 腳本，提交到任務隊列。普通計算節點的資源由開源的云計算平臺 CloudStack 統一管理，根據課程需要，提供了各類主流操作系統的虛擬機模板。基礎模板只包含操作系統，學生需要從零開始安裝配置實驗環境; 標準模板增加了并行計算的編譯、運行環境，學生可以直接開始實驗; 專業模板包含了針對特定領域定制的工具集，主要為相關學科的并行計算培訓使用。基于虛擬化的云計算實驗環境，可以在短時間內準備好一套標準化的實驗環境，簡化配置過程，讓學生快速上手，非常適合非計算機專業的上機課程。除此之外，虛擬機環境還可以支持操作系統、云計算、網絡安全等相關課程的實驗教學。

　　高速共享存儲是整個系統的橋梁，通過統一的用戶管理，實驗平臺在共享存儲上為每個用戶都分配了一個私有空間，通過定制虛擬機模版的初始化程序，虛擬機在啟動時將執行掛載網絡存儲空間的腳本，同一個賬戶在虛擬機和集群中均可以訪問這個用戶空間，從而方便用戶在不同的實驗環境中進行切換。目前平臺只有少數幾個物理節點可以提供 OpenCL /CUDA 的編譯和運行環境，為提高硬件資源的利用率，也為了避免資源競爭，開發了一個基于 Web 的實驗資源管理系統，系統實時顯示所有資源的當前利用情況，如果用戶要使用超過標準配額的虛擬機或者物理節點，都需要在系統中提交申請。

　　實驗應用層包含了前面提到的各類實驗以及各個實驗對應的虛擬機鏡像，提供一個從基礎、到綜合、再到實際問題求解的進階流程。由于采用了基于虛擬機的云計算模式，一些業內前沿技術，比如，近年來在互聯網應用中大行其道的協程( co-routine) 、大數據框架 Hadoop /Spark 等，很容易被引入到實驗環境中，從而加速并加強了課堂知識與實際應用的聯系，也有利于提高學生的就業競爭力。此外，基于我國虛擬天文臺的開放共享標準，實驗平臺通過 IPv6 高速網絡連接了天文科技領域云系統，學生可以直接利用中國天文數據中心的海量數據資源，進行大數據相關實驗[15]。

　　4 細化評分標準，重視實驗分析

　　前面提到，針對本科生、研究生、計算機專業和非計算機專業分別開設了并行計算課程，不同課程以及實驗教學的側重點也有所不同，對應的考核形式和評分標準都是單獨制定，以保證實驗教學的質量[16]，總的原則是細化評分標準，重視結果分析。

　　5 結 語

　　隨著大數據、高性能計算在推動行業發展中所起的作用越來越重要，并行計算技術正從計算機專業向其他相關專業領域開始普及，相關課程在工科院校中的受歡迎度也在不斷增加。本文梳理了并行計算在計算機學科和其他領域之間的橋梁作用，以及計算機應用技術創新發展面臨的問題及解決措施，說明了循序漸進式的實驗課程體系，展示了基于云計算技術的綜合實驗環境的構建方法，最后介紹了如何通過細化實驗考核指標來強化學習效果的作法。近年來，MOOC 在全球范圍發展迅速，未來希望進一步提高并行計算實驗平臺的開放性，不斷豐富實驗內容，優化訓練方法，讓更多的學生收益。

　　參考文獻(References):

　　[1] 陳國良，孫廣中，徐 云，等. 精品課程“并行計算”的建設[J].中國大學教學，2006( 1) : 18-20.

　　[2] 遲學斌，胡永宏. 我國超級計算發展狀況研究[J]. 調研世界， 2013( 8) : 56-60.

　　[3] 葛 蔚，郭 力，李靜海，等. 關于超級計算發展倡議方向的思考[J]. 中國科學院院刊，2016( 6) : 614-623.

　　[4] Wan H，Luo X，Gao X，et al. Parallel computing education through simulation[C]/ /Asian Simulation Conference. Singapore. [s. l. ]: [s. n. ]，2016: 585-591.

　　[5] 郭衛斌，鄭 紅，李建華，等. 并行與分布計算課程建設探索[J]. 計算機教育，2009( 3) : 82-84.

　　[6] 徐新海，唐玉華，林宇斐. 跨專業并行計算基礎課程教學設計[J]. 計算機教育，2014( 23) : 106-109.

　　[7] 于 泠，陳 波. 認知負荷理論指導下的并行計算實驗教學探究[J]. 計算機教育，2016( 12) : 77-80.

　　[8] Falgout R D，Yang U M，HYPRE: A library of high performance preconditioners[C]/ /International Conference on Computational Science. Amsterdam，Netherlands: [s. n. ]，2002: 632-641

　　[9] Rupp K，Rudolf F，Weinbub J. ViennaCL-a high level linear algebra library for GPUs and multi-core CPUs[C]/ /Proceedings of the International Workshop on GPUs and Scientific Applications. Vienna，Austria: [s. n. ]，2010: 51-56.

　　[10] 金 毅. 基于案例-任務驅動教學法的高性能計算課程研究[D]. 烏魯木齊: 新疆師范大學，2010

　　[11] 陸 楓，金 海. 將并行計算納入本科教育深化計算機學科創新人才培養[J]. 高等工程教育研究，2016( 6) : 108-112

　　.[12] Ivica C， Riley J T， Shubert C. StarHPC—teaching parallel programming within elastic compute cloud[C]/ /Proceedings of International Conference on Information Technology Interfaces. Dubrovnik，Croatia: [s. n. ]，2009: 353-356

　　[13] 張克非. 基于 MPI 的網絡并行計算實驗系統構建[J]. 實驗室研究與探索，2012，31( 9) : 63-66.

　　[14] 鄒 溪，張瀾宇，周 航. 并行計算實驗的作業調度與遠程提交[J]. 實驗室研究與探索，2012，31( 8) : 59-61

　　[15] 肖 健，李長華，樊東衛，等. 基于云環境的天文大數據開放實驗平臺[J]. 實驗技術與管理，2016( 12) : 158-162.

　　[16] 王 勇，宋萬年. 改進綜合性、設計性實驗考核辦法提高學生實驗能力[J]. 實驗技術與管理，2006( 4)