En reise gjennom norsk e-infrastrukturhistorie

Banebrytende forskning og nye oppdagelser, spesielt innen teknologi, naturvitenskap og medisin, er avhengige av rask og effektiv analyse av store mengder data. Datasimuleringer brukes for eksempel til å studere klimaendringer, løse problemer med fornybar energi, eller utvikle vaksiner raskere enn før. Digitalisering endrer måten vi forsker på, og vi får stadig mer data å jobbe med.

Hva er e-infrastruktur?

For å behandle og lagre store mengder data trenger forskere kraftige datamaskiner for tungregning og spesialiserte lagringssystemer. Datamaskiner med mye regnekraft kalles ofte HPC-systemer (High-Performance Computing), eller superdatamaskiner. HPC, inkludert høykapasitets dataanalyse, kunstig intelligens (KI) og maskinlæring (ML), innebærer at tusenvis av prosessorer arbeider parallelt for å analysere enorme mengder data i sanntid. Slike omfattende operasjoner ville tatt tusenvis av år å utføre på en vanlig PC.

E-infrastruktur er samlebetegnelsen for datasystemene som brukes til tungregning stordatabehandling og -lagring, og høykapasitetsnettverkene som kobler sammen datasystemene og forskerne. I tillegg inkluderer e-infrastruktur også programvare og spesialiserte driftstjenester som er nødvendige for at forskere skal kunne bruke systemene.

Norge var tidlig ute med å investere i tungregning. Investeringer ble gjort av Norges forskningsråd, Statoil, Hydro, SINTEF og NTNU allerede på midten av 1980-tallet (ref: Nasjonal strategi for eInfrastruktur, Forskningsrådet).

Bilde
Supercomputer Betzy.
Norges kraftigste superdatamaskin heter Betzy, og er plassert ved NTNU i Trondheim.

Norges steg inn i tungregningens verden

Fra midten av 1980-tallet oppstår behovet for økt regnekraft i norske forskningsmiljøer. Norges tekniske høgskole (nå NTNU) anskaffer Norges første superdatamaskin i 1986. Dette er en Cray XMP til en estimert kostnad på 85 millioner kroner. Ved Christian Michelsen Institutt i Bergen installeres "hypercube", kjent som INTEL PSC, den første som ble eksportert utenfor USA.

Fra værmelding til forskning

Meteorologisk institutt bruker mye regnekraft for å varsle været, og bidrar også mye økonomisk til kjøp av superdatamaskiner. I tillegg til Meteorologisk institutt er det hovedsakelig akademiske miljøer ved universitetene i Bergen, Oslo, Tromsø og NTNU (kollektivt kalt BOTT-universitetene) som trenger regnekraft til forskningsprosjekter.

Konkurranse om finansiering fremmer nasjonal koordinering

Hvert universitet kjøper datasystemer for å møte lokal etterspørsel fra egne forskere og må konkurrere med hverandre om finansiering. Den første felles nasjonale koordineringen startet i 1985 da Utdanningsdepartementet etablerte et felles tilskudd på 22 millioner kroner per år som skulle forvaltes av Norges forskningsråd.

Oppbyggin av Norges samarbeid innen e-infrastruktur

Behovet for å koordinere universitetenes tilbud innen tungregning blir mer fremtredende mot slutten av 90-tallet. Over en periode på 10-15 år etableres gradvis et distribuert senter bestående av IT-eksperter ved universitetene - et "Metasenter" - som gir brukerstøtte til forskere, uavhengig av hvilken institusjon de tilhører.

Sikring av en robust nettverksforbindelse for universitetene

Det oppstår også gradvis et økende behov for langtids-lagringsløsninger for data. Tidlig på 2000-tallet begynner de fire BOTT-universitetene å samarbeide om å tilby e-infrastruktur til universitets- og høyskolesektoren. Først innen tungregning, og senere også innen lagring av vitenskapelige data. Forskningsnettet UNINETT sikrer en kraftig og sikker nettverksforbindelse for dataoverføring mellom universitetenes datamaskiner.

Samarbeid gjennom prosjekter

Formålet med universitetssamarbeidet er å gjøre tungregnings- og lagringssystemene tilgjengelige for alle forskningsinstitusjoner i Norge, uavhengig av hvilken institusjon forskeren tilhører. Universitetssamarbeidet er organisert gjennom ulike prosjekter, finansiert av universitetene selv og Norges forskningsråd. Universitetene må imidlertid fortsatt konkurrere om de samme finaniseringsmidlene, og en felles strategi for videreutvikling av e-infrastrukturen mangler.


Milepæler fra tidlig 2000-tall og fremover

2000: NOTUR prosjektet for tungregning etableres

NOTUR (Norsk tungregning) prosjektet etableres av BOTT-universitetene og Meteorologisk institutt. Prosjektet koordineres fra NTNU og finansieres av konsortiepartnere og Forskningsrådet, som bidrar med 100 millioner kroner til implementeringen av en nasjonal infrastruktur for tungregning med flere distribuerte datakilder.

Prosjektets mål er å gi Norge en moderne infrastruktur for kraftig databehandling som kan konkurrere internasjonalt, og å fremme bruk av slik databehandling som en viktig del av forskningen.

Prosjektet avsluttes i 2004.

2004: UNINETT Sigma etableres

UNINETT Sigma etableres som et datterselskap av UNINETT AS for å koordinere tungregningstjenester i samarbeid med BOTT-universitetene.

2005: NOTUR II-prosjektet starter

NOTUR II prosjektet mottar 290 millioner kroner fra Norges forskningsråd for å bygge en nasjonal infrastruktur for tungregning. Deltakere er UNINETT Sigma, NTNU, UiB, UiO, UiT og Meteorologisk institutt.

Prosjektet finansieres av Forskningsrådet og skal videreutvikle elementer fra det første NOTUR prosjektet og andre tungregningsprosjekter. Prosjektet avsluttes i 2014.

2007: NorStore-prosjektet for lagring starter

Prosjektet NorStore (Norwegian Data Storage Infrastructure) settes i gang av UNINETT Sigma i samarbeid med BOTT-universitetene for å sikre at data brukt i tungregning samles i felles tjenester. Det planlegges og driftes separat fra tungregningssystemene, og lagringssystemene er lokalisert ved UiO og UiT.

2015: UNINETT Sigma2 AS etableres

UNINETT Sigma2 AS etableres som et ikke-kommersielt selskap under UNINETT AS, basert på en avtale mellom BOTT-universitetene og Norges forskningsråd.

Selskapet blir den formelle eieren av de nasjonale tungregnings- og lagringssystemene. Sigma2 skal også koordinere norges deltakelse i nordiske og europeiske samarbeid om e-infrastruktur.

Selskapet finansieres i fellesskap av BOTT-universitetene og Forskningsrådet, og samarbeider tett med de fire partneruniversitetene. Sigma2 opererer på en 6+6 års modell som innebærer evaluering hvert sjette år.

2019: UNINETT Sigma2 evalueres

En komité bestående av medlemmer utnevnt av BOTT-universitetene og Norges forskningsråd evaluerer UNINETT Sigma2, som får meget gode tilbakemeldinger og sikrer finansiering for ytterligere fem år.

2020: Nasjonalt kompetansesenter for HPC (tungregning) etableres for å bistå industrien

Nasjonalt kompetansesenter for HPC (tungregning) etableres i et samarbeid mellom Sigma2, NORCE og SINTEF, for å bidra til økt teknologikompetanse i industrien og offentlig forvaltning.

Etableringen av senteret er et europeisk initiativ, og lignende sentre etableres over hele Europa. Finansieringen kommer fra EU og fra Kunnskapsdepartementet via Forskningsrådet.

2021: Ekstern datasenterleverandør og navneskifte for Metasenteret

Lefdal Mine Datacenter (LMD) velges som ekstern datasenterleverandør for samlokalisering av fremtidige nasjonale tungregnings- og lagringssystemer

"Metasenteret" endrer navn til "NRIS" og blir Norwegian research infrastructure services.

2022: Sigma2 blir et datterselskap under Sikt

UNINETT Sigma2 endrer navn til Sigma2 og går fra å være et datterselskap under UNINETT til å bli et datterselskap under det nyetablerte Sikt — Kunnskapssektorens tjenesteleverandør, som består av organisasjonene som tidligere utgjorde NSD, UNIT og UNINETT.

Den nasjonale e-infrastrukturen er tilgjengelig for alle forskningsinstitusjoner i Norge. Regnetid og lagringskapasitet tildeles basert på vitenskapelig kvalitet.

Superdatamaskinene

Superdatamaskiner anskaffet etter etableringen av Sigma og NOTUR II prosjektet.

2006: Njord

Njord, et IBM p575+ system, installeres ved NTNU i Trondheim og gjøres tilgjengelig for forskere i Norge.

Njord er operativ til 2012.

2007: Titan

Titan, et Dell 1425 / Sun X2200-system, installeres ved Universitetet i Oslo.

Titan er operativ til 2012.

2008: Stallo og Hexagon

Stallo, et HP BL 460c-system, installeres ved Universitetet i Tromsø.

Hexagon, et Cray XT4-system, installeres ved Universitetet i Bergen.

Hexagon er operativ til 2017.

2012: Abel, Gardar og Vilje

Abel, et MEGWARE MiriQuid 2600-system, installeres ved Universitetet i Oslo.

Gardar, et HP BL280cG6-system installert ved Universitetet på Island, inkluderes i Notur.

Vilje, et SGI Altix 8600-system, installeres ved NTNU i Trondheim og når 44. plass på listen over verdens 500 beste superdatamaskiner.

Vilje er operativ til 2021.

2016: Fram og NIRD

Fram, et Lenovo NeXtScale nx360-system, installeres ved Universitetet i Tromsø. Fram er fortsatt i bruk av forskere i Norge.

Samme år anskaffes lagringssystemet NIRD (Norwegian Infrastructure for Research Data) og erstatter NorStore. NIRD består av to fasiliteter med en total lagringskapasitet på 2x11 PB, og blir lokalisert henholdsvis ved NTNU i Trondheim og ved Universitetet i Tromsø.

NIRD slås av i 2023 og erstattes av en ny generasjon NIRD-lagringssystem.

2018: Saga

Saga, et Apollo 2000/6500 Gen10-system, installeres ved NTNU i Trondheim og er fortsatt i bruk av forskere i Norge.

2020: Betzy

Betzy, et BullSequana XH2000-system, installeres ved NTNU i Trondheim.

Betzy entrer på 56. plass på topp 500-listen, og er Norges kraftigste superdatamaskin til dags dato.

2022: LUMI og nye NIRD

Den nye pan-europeiske superdatamaskinen LUMI, en HPE Cray EX-superdatamaskin, åpnes for forskere og tar umiddelbart 3. plass på Top500-listen. LUMI er installert i et datasenter i Kajaani, Finland.

Norge er medeier av LUMI gjennom Sigma2.

Neste generasjon av NIRD-lagringssystemet installeres som første nasjonale system ved Lefdal Mine Datacentre og åpnes for norske forskere. Ved åpningstidspunktet har den nye NIRD en lagringskapasitet på 32 petabyte (PB), som kan utvides til totalt 70 PB ved behov.