SIVVP - SLOVENSKÁ INFRAŠTRUKTÚRA PRE VYSOKOVÝKONNÉ POČÍTANIE

POČET JADIER
4096

VÝPOČTOVÝCH NÓDOV
122

CELKOVÁ KAPACITA
600TB

VÝPOČTOVÁ SIEŤ
48Gb/s

O HPC

High performance computing (HPC) alebo vysoko výkonné počítanie (VVP) znamená využívanie (super)počítačov a počítačových klastrov na riešenie numericky alebo dátovo náročných úloh z rôznych odvetví vedy a techniky. Príkladom sú aplikácie v medicíne (genetika, „in silico“ dizajn liečiv, …), vo fyzike (meteorologické a klimatické modely, jadrová a časticová fyzika, …), v chémii (vlastnosti atómov a molekúl, korelácia medzi štruktúrou a reaktivitou, ….) ale aj v ekonomike (risk investícii, rast akcií, …) a v mnohých ďalších odvetviach.

Za superpočí­tače sú považované systémy, ktoré svojím výkonom vysoko prevyšujú bežné, osobné počítače. Na meranie výpočtového výkonu sú používané rôzne štandardizované testy akým je napríklad LINPACK (LINear equations software PACKage) benchmark. Jednotkou výpočtového výkonu počítačov je Flop (počet operácii s plávajúcou desatinnou čiarkou (floating point) za sekundu). Moderné superpočítače dosahujú výkony na úrovni terraFlopov (10^12) až petaFlopov (10^15). Agregátny výpočtový výkon je ovplyvnený aj ďalšími parametrami, akými sú oneskorenie a priepustnosť dátových sietí, prostredníctvom ktorých procesory alebo uzly superpočítača komunikujú, oneskorenie a priepustnosť komunikácie s úložiskom dát a pod. Všetky tieto parametre determinujú škálovateľnost, čiže efektivitu tzv. paralelných výpočtov využívajúcich viac uzlov, procesorov resp. jadier súčasne.

Trendom v modernom VVP je už spomenuté paralelné počí­tanie. V súčasnosti už jasne dominuje viacuzlová, viacprocesorová resp. viacjadrová architektúra superpočí­tačov, pričom jednotlivé výpočtové jednotky spolu komunikujú a ako celok poskytujú agregovaný výkon. Ich vzájomne prepojenie je realizované vysoko rýchlostnou sieťou, ako je napr. Infiniband alebo 10Gb/s ethernet, reps. inou dedikovanou sieťou. Architektúry takéhoto typu je možné (aspoň teoreticky) škálovať do obrovských rozmerov, pričom limitujúcimi faktormi sú spotreba elektrickej energie, chladenie a priestorové možnosti miesta inštalácie.

MEDICÍNA

FYZIKA

CHÉMIA

EKONOMIKA

Klastrové počítanie

Výpočtový klaster sa skladá z viacerých počítačov, pospájaných vysokorýchlostnou lokálnou sieťou, ktoré spolupracujú aby sa navonok javili ako jednoliaty systém. Klastre sa kvôli svojej cenovej efektivite obvykle používajú hlavne na zvýšenie výkonu a dostupnosti. Pre svoje fungovanie využívajú software, ktorý umožňuje vysokovýkonné distribuované počítanie. Výkonnosť klastrov je často ďalej zvyšovaná grafickými akcelerátormi. Vysoká dostupnosť (HA – high availability) sa dosahuje redundanciou niektorých zdrojov klastra a zaručuje jeho nepretržité fungovanie aj v prípade, že niektorý z týchto komponentov zlyhá.

Žilinská Univerzita

Systém: IBM dx360 M3

Počet výpočtových uzlov: 46

Procesor: 2x 6 jadrový Intel Xeon X5640 @2,27GHz

Pamäť: 96GB

Subsystém pevných diskov: 2 x 500GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Scientific Linux 6.3

2x NVIDIA Tesla M2070 6GB RAM, 448 CUDA jadier

Slovenská Technická Univerzita v Bratislave

Systém: IBM iDataPlex dx360

Počet výpočtových uzlov: 52

Procesor: 2x 6 jadrový Intel Xeon X5670 @2,93GHz

Pamäť: 48GB

Subsystém pevných diskov: 1x 2TB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Scientific Linux 6.4

2x NVIDIA Tesla M2050 6GB RAM, 448 CUDA jadier

Univerzita Mateja Bela v Banskej Bystrici

Systém: IBM iDataPlex dx360 M3

Počet výpočtových uzlov: 24

Procesor: 2x Intel Xeon X5670 @2,93GHz

Pamäť: 48GB

Subsystém pevných diskov: 2 x 500GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

2x NVIDIA Tesla M2070 6GB RAM, 448 CUDA jadier

Systém: IBM iDataPlex dx360 M4

Počet výpočtových uzlov: 8

Procesor: 2x Intel Xeon E5-2670

Pamäť: 64GB

Subsystém pevných diskov: 2x 500GB + 2x 900GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

Systém: IBM iDataPlex dx360 M4

Počet výpočtových uzlov: 6

Procesor: 2x Intel Xeon E5-2670

Pamäť: 128GB

Subsystém pevných diskov: 2x 900GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

Systém: IBM iDataPlex dx360 M4

Počet výpočtových uzlov: 3

Procesor: 2x Intel Xeon E5-2670

Pamäť: 64GB

Subsystém pevných diskov: 2x 900GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

2x NVIDIA Tesla K20 5GB RAM, 2496 CUDA jadier

Ústav Informatiky SAV v Bratislave

Systém: IBM iDataPlex dx360 M3

Počet výpočtových uzlov: 54

Procesor: 2x Intel E5645 @2,4GHz

Pamäť: 48GB

Subsystém pevných diskov: 2 x 500GB

Výpočtová sieť: 40Gb/s Infiniband, 10Gb/s Ethernet

2x NVIDIA Tesla M2070 6GB RAM, 448 CUDA jadier

Systém: IBM iDataPlex dx360 M4

Počet výpočtových uzlov: 8

Procesor: 2 x Intel E5-2670 @2,6GHz

Pamäť: 64GB

Subsystém pevných diskov: 2 x 500GB

Výpočtová sieť: 40Gb/s Infiniband, 10Gb/s Ethernet

2x NVIDIA Tesla K20 5GB RAM, 2496 CUDA jadier

Systém: IBM iDataPlex x3550 M4

Počet výpočtových uzlov: 1

Procesor: 1 x Intel E5-2640 @2,5GHz

Pamäť: 8GB

Subsystém pevných diskov: 2 x 500GB

Výpočtová sieť: 40Gb/s Infiniband, 10Gb/s Ethernet

Ústav Experimentálnej Fyziky SAV v Košiciach

Systém: IBM iDataPlex dx360 M3

Počet výpočtových uzlov: 56

Procesor: 2x 6 jadrový Intel Xeon X5640 @2,27GHz

Pamäť: 4GB

Subsystém pevných diskov: 2x 500GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

16x NVIDIA Tesla M2070 6GB RAM, 448 CUDA jadier

10x NVIDIA Tesla K20 5GB RAM, 2496 CUDA jadier

Technická Futuroscope v Košiciach

Systém: IBM Blade system x HS22

Počet výpočtových uzlov: 24

Procesor: 2x 6 jadrový Intel Xeon X5640 @2,27GHz

Pamäť: 48GB

Subsystém pevných diskov: 500GB

Výpočtová sieť: 40Gb/s Infiniband, 10Gb/s Ethernet

Operačný systém: Scientific Linux 6.3

Systém: IBM Blade system x HS23

Počet výpočtových uzlov: 19

Procesor: 2x 8 jadrový Intel Xeon E5-2650 @2,6GHz

Pamäť: 64GB

Subsystém pevných diskov: 500GB

Výpočtová sieť: 40Gb/s Infiniband, 10Gb/s Ethernet

Operačný systém: Scientific Linux 6.3

Systém: IBM iDataPlex dx360 M3

Počet výpočtových uzlov: 2

Procesor: 2x 6 jadrový Intel Xeon X5640 @2,27GHz

Pamäť: 24GB

Subsystém pevných diskov: 2x 500GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

2x NVIDIA Tesla M2070 6GB RAM, 448 CUDA jadier

Systém: IBM iDataPlex dx360 M4

Počet výpočtových uzlov: 1

Procesor: 2x 8 jadrový Intel Xeon E5-2650 @2,6GHz

Pamäť: 64GB

Subsystém pevných diskov: 2x 500GB

Výpočtová sieť: 40Gb/s Infiniband

Operačný systém: Linux

1x NVIDIA Tesla K20 5GB RAM, 2496 CUDA jadier

POČET JADIER
4096

CELKOVÉ MNOŽSTVO PAMÄTE
12144GB

CELKOVÁ KAPACITA PEVNÝCH DISKOV
483.2TB

Massively parellel processing

Massively parellel processing (MPP) znamená spúšťanie zložitých vedeckých výpočtov na viacerých výpočtových uzloch. Na rozdiel od klastrového počítania sú tieto uzly hustejšie integrované a lepšie optimalizované pre distribuované výpočty. Vyššia hustota a množstvo procesorov a rýchlejšie prepojenia medzi výpočtovými uzlami zabezpečujú lepšiu a rýchlejšiu komunikáciu medzi procesmi a vyšší agregovaný výkon. MPP je vhodné pre najzložitejšie vedecké výpočty s veľkým množstvom komunikácie medzi procesmi.

Systém: IBM Power 775

Počet výpočtových jadier: 4096

Pamäť: 32TB

Výpočtová sieť: 5-48GB/s Internal Optical Links, 10GB/s Ethernet prepojenie s úložiskom dát

Kapacita externého úložiska dát: 600TB

Kapacita interného úložiska dát: 300TB

Operačný systém: AIX

Shared memory processing

Shared memory processing (SMP) znamená používanie rôznych implementácii zdieľanej pamäte. Zdieľaná pamäť umožňuje viacerým procesom pristupovať do toho istého pamäťového priestoru, bez použitia siete. SMP úlohy sú obvykle spracovávané na jedinom výpočtovom uzle, kde sú rozdelené na vlákna a paralelizované medzi jednotlivé procesory. Z SMP architektúr ťažia hlavne úlohy, ktoré sú náročné na veľkosť a prístupnosť pamätí, a ktoré používajú paralelizmus na úrovni vlákien.

Typ 1

Systém: IBM Power 755/750
Počet výpočtových uzlov: 18
Procesor: 4x 8-jadrový Power7 3,3GHz
Pamäť na výpočtový uzol: 128GB
Subsystém pevných diskov: 6 x 600GB
Výpočtová sieť: 40GB/s Infiniband
Operačný systém: SUSE 11.3 Linux

Typ 2

Systém: IBM Power 755/750
Počet výpočtových uzlov: 2
Procesor: 4x 8-jadrový Power7 3,3GHz
Pamäť na výpočtový uzol: 256GB
Subsystém pevných diskov: 6 x 600GB
Výpočtová sieť: 40GB/s Infiniband
Operačný systém: SUSE 11.3 Linux

Typ 3

Systém: IBM Power 780
Počet výpočtových uzlov: 1
Procesor: 8x 8-jadrový Power7 3,3GHz
Pamäť na výpočtový uzol: 1024GB
Subsystém pevných diskov: 6 x 600GB
Výpočtová sieť: 40GB/s Infiniband
Operačný systém: SUSE 11.3 Linux

HISTÓRIA

4 apríla 2008
1.FÁZA
Dlhoročná snaha získať prostriedky na zakúpenie superpočítačového systému ako aj vysokovýkonných klastrov, ktoré by boli prepojené do výpočtového gridu vyústili do prvého stretnutia na pôde MŠ SR, ktoré sa uskutočnilo dňa 4. apríla 2008. Témou k rokovaniu boli predložené analýzy orientované na využitie superpočítačov a vysokovýkonných klastrov v oblasti vedy a výskumu na celom území Slovenska. Analýzy boli vypracované na základe výzvy MŠ SR z konca mesiaca februára 2008. Výsledkom prvého stretnutia bolo vytvorenie dvoch pracovných skupín, ktorých úlohou bolo vytvoriť a predložiť návrh konceptu na vybudovanie centier/centra vysokovýkonnej výpočtovej techniky na Slovensku v rámci národných projektov ESF.

10 septembra 2008
Po vyhodnotení oboch predložených analýz pracovníkmi MŠ SR a Riadiaceho orgánu MŠ SR sa dňa 10. septembra 2008 uskutočnilo druhé rokovanie na pôde MŠ SR. Boli prerokované oba predložené návrhy národných projektov – Národné superpočítačové centrum a Slovak Grid. Výsledkom stretnutia bolo rozhodnutie pripraviť jeden návrh projektu pre vybudovanie infraštruktúry vysokovýkonnej výpočtovej techniky, ktorá bude obsahovať gridovú a superpočítačovú infraštruktúru.

10 marca 2009
Zlúčením oboch zámerov – vybudovať Národné superpočítačové centrum ako aj Národnú gridovú infraštruktúru (Slovak Grid), vznikol spoločný návrh projektu Slovenská infraštruktúra pre vysokovýkonné počítanie (SIVVP), ktorý bol na pracovnom stretnutí v KC Smolenice v dňoch 9. a 10. marca 2009 prerokovaný a schválený.

19 marca 2009
Návrh projektu SIVVP bol odovzdaný na MŠ SR ako podklad pre vypísanie výzvy na národný projekt v rámci Operačného programu výskum a vývoj. Zverejneniu výzvy predchádzala ešte oponentúra návrhu projektu pred Radou pre informatiku a informatizáciu v školstve dňa 27. apríla 2009, ktorá návrh projektu schválila a odporučila ministrovi školstva, aby na projekt bola vypísaná výzva. Uzavretá výzva na národný projekt SIVVP pod kódom OPVaV/K/RKZ/NP/2009-1 bola zverejnená 28. mája 2009.

1 decembra 2009
Národný projekt (NP) Slovenská infraštruktúra pre vysokovýkonné počítanie bol schválený ministrom školstva dňa 1. decembra 2009 ako infraštruktúrny projekt v rámci OPVaV s celkovým rozpočtom 25 965 000 EUR.

rok 2012
inštalácia hardvérových prostriedkov zakúpených v rámci prvej fázy národného projektu SIVVP u všetkých partnerov projektu; sprístupnenie výpočtových systémov pre prvých používateľov

rok 2013
VS SAV získalo štatút pozorovateľa organizácie PRACE (Partnership for Advanced Computing in Europe) združujúcej národné superpočítačové centrá v Európe; Vznik portálov pre registráciu používateľov a používateľských projektov a prezentáciu vedeckých výstupov projektu SIVVP

rok 2014
druhá fáza projektu: rozšírenie superpočítača Aurel a ostatných výpočtových prostriedkov patriacich do projektu SIVVP na základe skúseností z prvej fázy projektu; VS SAV sa stalo plnohodnotným členom organizácie PRACE

rok 2015
nový prevádzkový poriadok a systém zadávania projektov pre superpočítač Aurel a zriadenie projektovej komisie

rok 2016
ukončenie obdobia implementácie a záverečné vyúčtovanie v národnom projekte SIVVP, začiatok prvého roku monitorovacieho obdobia udržateľnosti

rok 2017
úprava prevádzkového poriadku pre superpočítač Aurel: možnosť dobrovoľných príspevkov na prevádzku; počet vedeckých článkov uvádzajúcich superpočítač Aurel v poďakovaniach: 89

rok 2018
Obdobie udržateľnosti a monitorovania projektu, nárast počtu používateľov výpočtových prostriedkov projektu SIVVP; počet vedeckých článkov uvádzajúcich superpočítač Aurel v poďakovaniach: 100

PARTNERI

Centrum spoločných činností SAV - Výpočtové stredisko

Dúbravská cesta 9
845 35 Bratislava 45

Detašované pracovisko CSČ SAV VS Žilina
Univerzitná 8215/1

010 26 Žilina

Mail: hpcregister [at] savba [dot] sk
hpcsupport [at] savba [dot] sk

Žilinská univerzita

Žilinská univerzita v Žiline

Univerzitná 8215/1

010 26 Žilina

Slovenská technická univerzita v Bratislave

Vazovova 5

812 43 Bratislava

Mail: hpc[at]stuba.sk

Technická univerzita v Košiciach

Ústav výpočtovej techniky

Letná 9

042 00 Košice

Ústav experimentálnej fyziky SAV v Košiciach

Watsonova 47

043 53 Košice

Ústav informatiky SAV v Bratislave

Dúbravská cesta 9

845 07 Bratislava 45

Univerzita Mateja Bela v Banskej Bystrici

Fakulta prírodných vied,

Národná 12,

Tajovského 40,

974 01 Banská Bystrica

CHCEM VÝPOČET

Počítajte s nami

Výpočtové prostriedky projektu SIVVP sú voľne dostupné pre zamestnancov a študentov Slovenských vysokých škôl, zamestnancov Slovenskej akadémie vied a ďalších štátnych vedeckovýskumných inštitúcií na Slovensku. Prístup k systémom je akademickým pracovníkom poskytovaný bezodplatne. Ak pôsobíte v Slovenskej vedeckovýskumnej inštitúcii, pracujete na výskumných úlohách nekomerčného charakteru a máte záujem využívať výpočtové prostriedku projektu SIVVP, stačí sa zaregistrovať a bude Vám vytvorený vzdialený prístup cez internet. Pripojiť sa a „počítať s nami“ potom môžete kdekoľvek a kedykoľvek.

Konkrétny postup registrácie je trochu odlišný u rôznych partnerov projektu, ale základné kroky sú nasledovné:

Partneri projektu SIVVP svojim používateľom ponúkajú rôzne konfigurácie výpočtových systémov a rôzne softvéry. Konfigurácie jednotlivých systémov si môžete pozrieť v sekcii Výpočtové systémy.

English version - SLOVAK INFRASTRUCTURE FOR HIGH PERFORMANCE COMPUTING

NUMBER OF CORES
4096

COMPUTING CORES
122

MEMORY CAPACITY
600TB

COMPUTE NETWORK
48Gb/s

High performance computing

High performance computing (HPC) means using (super)computers and computing clusters to solve problems that are numerically or data intensive problems freom various fields of research and technology. Examples include medicine (genetics, „in silico“ drug design, …), physics (meteorological a climatological models, nuclear and particle physics, …), chemistry (properties of atoms and molecules, correlation between structure and reactivity, ….), but also economics (investment risk, stock growth, …) and many other fields.

Supercomputers are systems with a high level of performance compared to common, personal computers. Standardized testing is used to determine the performance level, such as the LINPACK (LINear equations software PACKage) benchmark. Computing performance is measured is Flop (floating point operations per second). Modern supercomputers performance in the range of terraFlops (10^12) and petaFlops (10^15). Agregate computing power is influenced by other parameters such as latency and throughput of the data networks used for communication between the processors and the nodes of the supercomputer, delay and throughput of the communication with data storage and others. All of these parameters determine the scalability of the so called parallel computations that use multiple nodes, processors or cores at the same time.

Parallel computing is the dominant phenomenon in modern HPC. Multi-node, multi-processor and multi-core architectures are used by the vast majority or computing resources, with individual computing units communicating together and offering aggregate performance as a single system. The connections are implemented by high speed network, such as Infiniband or 10Gb/s ethernet, or some other dedicated network. Architectures of this type can be scaled (at least theoretically) to huge sizes, the only limiting factors being electrical consumption, cooling and room space of the data-center.

Cluster Computing

A computing cluster consists of multiple computers, connected by a high speed local network, that cooperate to behave like a single homogeneous system from the outside. Due to their low cost, clusters are usually used to increase performance and availability. They use software, that allows high performance distributed computing. Cluster performance is oftentimes increased by using graphical accelerators. HA – high availability can be implemented by redundancy of the key components of the cluster and ensures its continuous production even when some of its components fail.

Massively parallel processing

Massively parallel processing (MPP) means running complex scientific calculations on multiple computing cores. Unlike in cluster computing, the nodes are more densely integrated and better optimized for distributed computations. Higher density and number of processors and faster connections between computing nodes ensure better and faster communication between the processes and higher aggregate performance. MPP is appropriate for the most complicated of scientific calculations with a large amount of communication between processes.

Shared memory processing

Shared memory processing (SMP) means using various implementations od shared memory. Shared memory allows multiple processes to access a common memory space, without the need of a network. SMP computing jobs are usually run on a single node, where they are split into threads and parallelized among the processors. SMP architectures are appropriate for jobs that require a large memory, frequent memory access and use parallelism on the thread level.

HISTORY

April 4, 2008
1ST PHASE
Years long effort to purchase a supercomputing system as well as high performance computing clusters, that would be connected into a computing grid resulted in the first meeting at the Slovak Ministry of Education, which took place on April 4, 2008. Analyses of supercomputer and computing cluster usage in research and development in all of Slovakia were discussed. The analyses were performed on demand by the ministry at the end of February 2008. The result of the first meeting was the creation of two work groups that would eventually create a plan to create HPC center/s in Slovakia as a part of the ESF national projects.

September 10, 2008
Both analyses were considered by the Ministry of French Education experts and a second meeting took place on September 10, 2008. Two national project proposals were discussed: – National Supercomputer Center an Slovak Grid. The result was a single proposal to build Slovak infrastructure for HPC, that would contain both supercomputer and grid infrastructure.

March 10, 2009
Slovak Infrastructure for High Performance Computing (SIVVP) projects officially began, discussed and approved at a meeting in KC Smolenice on March 9 and 10, 2009.

March 19, 2009
SIVVP project was handed over to the Ministry of Education as a basis for the creation of a project financed by the Operational Programme Research and Development on March 19, 2009. SIVVP was published under the code OPVaV/K/RKZ/NP/2009-1 no May 28, 2009.

December 1, 2009
SIVVP project was officially approved by the minister of eduction on December 1, 2009 as an infrastructure project withen OPVaV with a budget of 25 965 000 EUR.

Year 2012
Hardware resources purchased from the SIVVP project budget is installed at all project partners. Computing systems are made available to the first users.

Year 2013
SAS Computing Center received “observer status” at the PRACE organization (Partnership for Advanced Computing in Europe). Other partners of PRACE include the largest and most prestigious supercomputer centers in Europe; SIVVP websites for user and user project registration and statistics and user results presentation created.

Year 2014
Second project phase: Aurel supercomputer and other SIVVP computing systems are expanded based on the experinces from the first phase of the SIVVP project; SAS Computing Center became a full member of PRACE organisation

Year 2015
New terms of use and project registration system implemented for the Aurel supercomter. User project commitee created.

Year 2016
End of the implemention period and final accounting of the SIVVP project. Beginning of the first year of the period of sustainability.

Year 2017
Aurel supercomputer terms of use adjustment: possibility of voluntary contributions for operation costs. Number of scientific articles mentioning Aurel in acknowledgments: 89


SIVVP
Iniciatíva znovu naštartovanie vedeckého vysoko výkonného počítania na Slovensku. Jeho cieľom je poskytnúť slovenským vedcom výpočtové prostriedky na svetovej úrovni a umožniť im robiť vedu na najvyššej úrovni.

Hign performance computing in Slovakia promoting initiative. Its goal is to provide Slovak scientists with computing resources of the highest level.

© 2027 SIVVP Všetky práva vyhradené.