并行計算、集群與網(wǎng)格技術在虛擬天文臺中應用探討

單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,,,?#?,,Internet,,,Storage,Element,,,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,,,,Front End,Certificate Server,TESTBED SITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術在虛擬天文臺中應用探討,,,,內(nèi)容大,綱,綱,并行計,算,算技術,集群及,相,相關技,術,術,網(wǎng)格計,算,算,,,,,如何滿,足,足不斷,增,增長的,計,計算力,需,需求？,用速度,更,更快的,硬,硬件，,也,也就是,減,減少每,一,一條指,令,令所需,時,時間,優(yōu)化算,法,法（或,者,者優(yōu)化,編,編譯）,用多個,處,處理機(器)同時解,決,決一個,問,問題,并行計,算,算,,,,串行計,算,算與并,行,行計算,,,,并行的,層,層次,程序級,并,并行,子程序,級,級并行,語句級,并,并行,操作級,并,并行,微操作,級,級并行,并行粒,度,度,粗,細,,,,共享內(nèi),存,存與分,布,布式內(nèi),存,存,P=處理器,M=內(nèi)存,S=網(wǎng)絡交,換,換設備,P,M,P,…,P,M,P,M,S,…,,,,局部共,享,享內(nèi)存,…,S,P,M,P,…,P,M,P,…,Node,Node,,,,實現(xiàn)并,行,行計算,的,的常見,方,方法,1、多線,程,程程序,2、基于OpenMP的并行,程,程序,3、基于,消,消息傳,遞,遞的并,行,行程序,PVM,MPI,,,,XPVM,,,,XPVM,,,,并行計,算,算環(huán)境,簡,簡介,PVP（ParallelVectorProcessor）,使用專,用,用向量,處,處理器,銀河I，CrayT90，NEC的地球,模,模擬器,。,。。。,SMP（SymmetricMultiprocessor）,同一主,板,板上多,個,個處理,器,器可以,等,等同訪,問,問共享,存,存儲器,、,、I/O設備和,操,操作系,統(tǒng),統(tǒng)服務,IBMRS6000。。。,Cluster,由很多,連,連接在,一,一起的,獨,獨立計,算,算機組,成,成，像,一,一個單,獨,獨的集,成,成的計,算,算機一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點可,以,以是SMP（或者PVP）,Cluster1350，藍色,基,基因。,。,。。,,,,在虛擬,天,天文臺,中,中的應,用,用情形,處理實,時,時性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務,提,提供,。。。,。,。。。,,,,,集群技,術,術,集群概,念,念最早,由,由IBM于20世紀60年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡,連,連接起,來,來的高,性,性能工,作,作站或PC機組成,。,。集群,在,在工作,中,中像一,個,個統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點,點使用,單,單一界,面,面。,,,,集群,NotaClusterCluster,,,,,集群計,算,算系統(tǒng),體,體系結,構,構,,,,集群相,關,關技術,網(wǎng)絡層,網(wǎng)絡互,聯(lián),聯(lián)結構,、,、通信,協(xié),協(xié)議、,信,信號技,術,術等。,節(jié)點機,及,及操作,系,系統(tǒng)層,高性能PC或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負載,平,平衡、,并,并行I/O、安全,等,等。,應用層,并行程,序,序開發(fā),環(huán),環(huán)境、,串,串行應,用,用、并,行,行應用,等,等。,,,,Cluster1350,Cluster1350是IBM公司目,標,標定位,于,于高性,能,能計算,市,市場的Linux集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多IBM與非IBM的先進,的,的軟硬,件,件技術,，,，有其,特,特有的,技,技術優(yōu),勢,勢與強,大,大的服,務,務支持,。,。,,,,Cluster1350邏輯結,構,構,,,,Cluster1350節(jié)點硬,件,件、網(wǎng),絡,絡和操,作,作系統(tǒng)(天津大,學,學IBM中心）,管理節(jié),點,點,IBMeServerxSeries 345,(,(1),計算節(jié),點,點,IBMeServerxSeries 335,(,(16,),),網(wǎng)絡,千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7,.,.3,,,,CSM,（,（ClusterSystemManagement）,CSM是IBM公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在Cluster1350解決方,案,案集成,。,。,CSM的設計,思,思想與,體,體系結,構,構來自PSSP (IBMParallelSystem SupportProgramsfor AIX)與其它,一,一些開,源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術,術，雖,然,然不直,接,接為用,戶,戶服務,，,，但構,成,成了CSM的不可,或,或缺的,基,基礎，,包,包括RMC、SRC、RSCT等。,,,,CSM,,,,Cluster1350系,統(tǒng),統(tǒng)管理,整個集,群,群由單,一,一結點,控,控制,所有結,點,點的,開機、,關,關機、,狀,狀態(tài)查,詢,詢,顯示遠,程,程控制,臺,臺,安裝操,作,作系統(tǒng),升級(安裝)各結點,系,系統(tǒng)及,應,應用軟,件,件,。。。,一個完,整,整的集,群,群只需,一,一套外,置,置輸入/輸出設,備,備(鍵盤、,鼠,鼠標、,顯,顯示器),,,,Linux,集,集群上,可,可用的,任,任務調(diào),度,度系統(tǒng),Mosix（Multicomputer OperatingSystemfor UnIX）,可以自,動,動完成,節(jié),節(jié)點間,進,進程遷,移,移,需要重,新,新編譯Linux內(nèi)核,對用戶,來,來說是,透,透明的,PBS（PortableBatchSystem）,由NASA的Ames研究中,心,心開發(fā),為了達,到,到集群,系,系統(tǒng)整,體,體上的,負,負載平,衡,衡，對,各,各個節(jié),點,點上的,任,任務進,行,行調(diào)度,，,，但不,進,進行節(jié),點,點間任,務,務遷移,不需要,重,重新編,譯,譯內(nèi)核,,,,集群上,的,的應用,程,程序（,計,計算）,開,開發(fā),適于開,發(fā),發(fā)基于,消,消息傳,遞,遞的并,行,行應用,程,程序,可以使,用,用PVM,/,/MPI,步驟：,配置并,行,行計算,的,的編譯,與,與運行,環(huán),環(huán)境,主要是rsh,/,/ssh,設計、,編,編寫、,編,編譯程,序,序,使用PVM,/,/MPI提供的,程,程序庫,及,及編譯,環(huán),環(huán)境,部署應,用,用程序,ftp、rcp、scp、CSM、NFS、GPFS等方式,運行程,序,序,,,,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務,中,中斷，,而,而不是,容,容錯。,Hearbeat,LVS（LinuxVirtual Sever）,IBM的Tivoli和WebSphere系列軟,件,件,……,,,,,Heartbeat,集,集群,,,,LVS,集,集群,,,,集群在,虛,虛擬天,文,文臺中,的,的角色,高性能,計,計算,構成虛,擬,擬天文,臺,臺網(wǎng)格,環(huán),環(huán)境中,強,強有力,的,的計算,資,資源,高可用,服,服務,在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計,算,算、調(diào),度,度等服,務,務,,,,網(wǎng)格計,算,算,“Resourcesharing &coordinatedproblemsolving in dynamic,,,, multi-institutionalvirtualorganizations”,,,,,,OnDemand,,,,理想的,網(wǎng),網(wǎng)格,,,,理想的,網(wǎng),網(wǎng)格,,,,Thepicture above describesa DataGrid testbedwith three sitesandaCertification Authority.Forspacereasons wedonotshowallthemachinesofeachsite.,Theuserrequestsa certificatetotheCertificateAuthoritywebfront,-,-end.,,ThecertificateisproducedandsignedbytheCertificateServer.,,Theusergetsthecertificate,.,.,,Nowthattheuserhashis/hercertificateinstalledonhis/herUser Interface,he/shecansubmithis/herjobrequests.,,Aftercreatingaproxyprocess withtemporary credentials(“grid-proxy-init”command),theusersubmits his/herjobrequest totheResourceBroker,.,.,Submitted,TheResourceBrokerqueriestheReplicaCatalogandInformationIndextofind suitable resources(storagespace,dataandcomputing power).,Waiting,,TheResourceBrokerselectstheresources.,,Ready,TheResourceBrokersubmitsthejobtotheselectedComputingElement(s),.,.,,Scheduled,TheComputingElement deliversthejobtoitsWorker Node(s),,,,whichwilldotherealwork.,Done,,OutputReady,TheoutputismovedtotheResourceBroker,,,Theusergets his/heroutput,,Cleared,,網(wǎng)格計,算,算環(huán)境,示,示例,Grid,,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,,LAN,Site A,Site B,Site C,UI/API,Grid,UI/API,Grid,,LAN,,,,結束語,虛擬天,文,文臺將,構,構筑于,網(wǎng),網(wǎng)格環(huán),境,境之上,集群將,構,構成網(wǎng),格,格環(huán)境,中,中強有,力,力的計,算,算與服,務,務支撐,平,平臺,并行計,算,算將為,具,具體事,務,務處理,提,提供技,術,術與手,段,段上支,持,持,,,,Thanks,!,!,,,,