vfNIdemo.Rmd

---
title: "Illustrasjon av dataflyt fra vannforskrift til naturindeks"
author: "Hanno Sandvik"
date: "12 June 2024"
output:
  md_document:
    toc: yes
---


Dette dokumentet viser gangen i å forberede og gjennomføre opplasting av data som har blitt samla inn i rammen av vannforskriften, til naturindeks-databasen.


## Forberedelser

Laste inn nødvendige **R**-pakker:
```{r, eval=FALSE, echo=TRUE}
library(foreign)
library(sf)
library(readxl)
library(raster)
library(NIcalc)
```
```{r, eval=TRUE, echo=FALSE}
library(foreign)
library(sf)
library(readxl)
library(raster)
# library(NIcalc)
# I demo-varianten kjøres ikke NIcalc-funksjonene, de vises bare
```

Laste inn funksjoner:
```{r}
source("R/Funksjon.R")
for (filnavn in list.files("R", full.names = TRUE)) {
  source(filnavn)
}
```


## Nødvendig informasjon om vannforekomster

Før vannforskrift-parametere kan analyseres og forberedes for naturindeksen, må informasjon om vannforekomster og vannlokaliteter komme på plass. 
Det forutsetter inntil videre at man manuelt har lasta ned oppdaterte versjoner av disse filene.
Skal flere vannforskrift-parametere "flyttes over" til naturindeks, trenger man bare å gjøre dette trinnet én gang. 
Eksempelkoden er basert på datafilene som ble lasta ned i juli 2023.


### Vannforekomster

Informasjon om vannforekomstenes (1) beliggenhet og deres (2) typologi må lastes ned separat.

(1) Data over vannforekomstenes beliggenhet må lastes ned som formfil (gdb) fra Miljødirektoratet ([https://karteksport.miljodirektoratet.no/](https://karteksport.miljodirektoratet.no/)). I menyen må man foreta de følgende valg:

  - Produkt: "Vannforekomster"
  - Definer område: "nasjonalt"
  - Format: "ESRI Filgeodatabase (ESPG:4326)"

  Datasettet man da får tilsendt per e-post, må dekomprimeres og døpes om til "**VF.gdb**".

(2) Filer over vannforekomstenes typologi må lastes ned som excel-filer (csv) fra [vann-nett](https://vann-nett.no/portal/):

  `https://vann-nett.no/portal/ > Rapporter > Vanntyper`

  Filer for de ulike vannkategoriene må lastes ned hver for seg:

  - Innsjøvannforekomster med vanntypeparametere, påvirkninger, tilstand, potensial og miljømål
  - Elvevannforekomster   med vanntypeparametere, påvirkninger, tilstand, potensial og miljømål
  - Kystvannforekomster   med vanntypeparametere, påvirkninger, tilstand, potensial og miljømål

  For at filene kan leses inn, må de gis følgende navn:

  - "**V-L.csv**" for innsjøvannforekomstene
  - "**V-R.csv**" for elvevannforekomstene
  - "**V-C.csv**" for kystvannforekomstene

  Man trenger ikke å laste ned alle tre. Det holder med den vannkategorien som er relevant for vannforskrift-parameteren eller -parameterne. Benytta vannkategorier må også spesifiseres ved innlesing (se under).

  I tillegg trenger man en tabell som forklarer kolonnenavne i fila fra vann-nett. Denne fila er nødvendig for å lese inn vannforekomstdataene, og den ligger i dette arkivet under navnet "[**navnVN.csv**](data/navnVN.csv)". Hvis vann-nett endrer kolonnenavnene i sin nedlastingsløsning, må denne fila [oppdateres tilsvarende](forklar/hjelpfil.md#vannforekomster-v-.csv-navnvn.csv).

De nødvendige filene er plassert i mappa "[data](data/)".
De leses da inn i **R** ved hjelp av funksjonen [`lesVannforekomster`](forklar/lesVannforekomster.md) på følgende måte:

```{r, eval=FALSE, echo=TRUE}
V <- lesVannforekomster(c("L", "R", "C"))
```
```{r, eval=TRUE, echo=FALSE}
# Formfila var for stor til å legges ut på GitHub.
# Derfor må det her kjøres en modifisert versjon, som laster inn en dataramme som ble innlest tidligere:
V <- lesVannforekomster(c("L", "R", "C"), CACHE = "VF.RData")
```

Utmatinga forteller om mindre avvik fra det man kunne forvente.
Men ingen av dem var kritisk for den videre analysen.
I så fall hadde innlesinga blitt avbrutt med beskjeden "FEIL" og en forklaring.


### NVEs innsjødatabase

Dette trinnet er ikke nødvendig for elve- og kystvannforekomster. 
Men for innsjøvannforekomster bør man laste ned en fil over Norges innsjøer fra [NVE](http://nedlasting.nve.no/gis/):

`http://nedlasting.nve.no/gis/ > Innsjø > Innsjø`

I menyen må man foreta de følgende valg:

- kartformat "ESRI shapefil (.shp)"
- koordinatsystem "Geografiske koordinater ETRS89"
- utvalgsmetode "Overlapper"
- dekningsområde "Landsdekkende"

Datasettet man da får, er en formfil som heter "Innsjo_Innsjo".

I tillegg trenger man en tabell som forklarer kolonnenavne i fila fra NVE.
Denne fila er nødvendig for å lese inn innsjødataene, og den ligger i dette arkivet under navnet "[**navnNVEl.csv**](data/navnNVEl.csv)".
Hvis NVE endrer kolonnenavnene i sin nedlastingsløsning, må denne fila [oppdateres tilsvarende](forklar/hjelpfil.md#innsjødatabasen-navnnvel.csv).

Filnavnet oppgis som parameter når dataene leses inn i **R** ved hjelp av funksjonen [`lesInnsjodatabasen`](forklar/lesInnsjodatabasen.md):
```{r, eval=FALSE, echo=TRUE}
nve <- lesInnsjodatabasen("Innsjo_Innsjo.dbf")
```
```{r, eval=TRUE, echo=FALSE}
# Eksporten fra innsjødatabasen var for stor til å legges ut på GitHub.
#  Derfor må det her kjøres en modifisert versjon, som laster inn en dataramme som ble innlest tidligere:
nve <- lesInnsjodatabasen("Innsjo_Innsjo.dbf", CACHE = "NVE.RData")
```

Utmatinga forteller om mindre avvik fra det man kunne forvente.
Men ingen av dem var kritisk for den videre analysen.
I så fall hadde innlesinga blitt avbrutt med beskjeden "FEIL" og en forklaring.


### Vannlokaliteter

Fila over vannlokaliteter må lastes ned som en excel-fil (xlsx) fra [vannmiljø](https://vannmiljo.miljodirektoratet.no/)-databasen:

`https://vannmiljo.miljodirektoratet.no/ > Jeg vil > Søke > Søk i vannlokaliteter`

I fanen "Søk i vannlokaliteter" må man

- velge riktig "Vannkategori",
- trykke "Søk",
- trykke "Eksporter",
- velge eksporttype "Excel",
- trykke "Eksporter til epost".

Filer for de like vannkategoriene må lastes ned hver for seg. 
For at filene kan leses inn, må de gis følgende navn:

- "**VL-L.xlsx**" for innsjøvannlokaliteter
- "**VL-R.xlsx**" for elvevannlokaliteter
- "**VL-C.xlsx**" for kystvannlokaliteter

Man trenger ikke å laste ned alle tre. Det holder med den vannkategorien som er relevant for vannforskrift-parameteren eller -parameterne.
Benytta vannkategorier må også spesifiseres ved innlesing (se under).

I tillegg trenger man en tabell som forklarer kolonnenavne i fila fra vannmiljø.
Denne fila er nødvendig for å lese inn vannforekomstdataene, og den ligger i dette arkivet under navnet "[**navnVL.csv**](data/navnVL.csv)".
Hvis vannmiljø endrer kolonnenavnene i sin nedlastingsløsning, må denne fila [oppdateres tilsvarende](forklar/hjelpfil.md#vannlokaliteter-vl-.xlsx-navnvl.csv).

Filene er plassert i mappa "[data](data/)". De leses da inn i **R** ved hjelp av funksjonen [`lesVannlokaliteter`](forklar/lesVannlokaliteter.md) på følgende måte:
```{r}
VL <- lesVannlokaliteter(c("L", "R", "C"))
```

Alt i orden.
Ved feil hadde innlesinga blitt avbrutt med beskjeden "FEIL" og en forklaring.


### Kobling av informasjon

Til slutt kan informasjonen om innsjøvannforekomster (fra vann-nett) utvides med informasjon fra innsjødatabasen (fra NVE).
Dette besørges av funksjonen [`oppdaterVannforekomster`](forklar/oppdaterVannforekomster.md).
Den tester samtidig for en rekke mulige feilkilder.
Dette trinnet er bare nødvendig om de(n) aktuelle vannforskrift-parameteren (-parameterne) er relevant for innsjøer.
```{r}
V <- oppdaterVannforekomster(V, nve)
```

Igjen forteller utmatinga om mindre avvik fra det man kunne forvente.
Her gjelder det at typifiseringa av vannforekomstene ikke stemte overens med størrelse og høyde over havet, slik de fremgår av innsjødatabasen.
Under antagelse av at innsjødatabasen er mer pålitelig enn vannforekomsttypifisering, har typifiseringa blitt justert for enkelte vannforekomster.


### Ytterligere datafiler

Til slutt trengs det lister over kommune- og fylkesnummer og -navn, vannforskriftsparametere og overvåkingsaktiviteter.
Denne informasjonen leses inn automatisk, gitt at den er lagra i excel-regneark som heter henholdsvis "**knr.xlsx**", "**fnr.xlsx**", "**VM-param.xlsx**" og "**VM-aktiv.xlsx**", og at disse er plassert i mappa "data".
Det tas forbehold om at enkelte målinger kan bli tilordna feil kommune, i tilfeller der målinger ble tatt i en sammenslått kommune og tilbakedateres til et tidspunkt før sammenslåinga.

Strukturen på filene ser slik ut:
```{r}
Fylker <- as.data.frame(read_xlsx("data/fnr.xlsx", col_types = "text"))
Parametere <- as.data.frame(read_xlsx("data/VM-param.xlsx", na = "NA",
                                       col_types = c("text", "text", 
                                                     "numeric", "numeric")))
Aktiviteter <- as.data.frame(read_xlsx("data/VM-aktiv.xlsx", na = "NA",
                                       col_types = c("text", "text", "numeric")))

head(Fylker)

head(Parametere)

head(Aktiviteter)
```

Filene bør bare [endres](forklar/hjelpfil.md) om bakgrunnsinformasjonen har blitt endra, og de bør ligge i mappa "data".


## Målinger fra vannmiljø-databasen

Målingene fra [vannmiljø](https://vannmiljo.miljodirektoratet.no/)-databasen må også lastes ned manuelt som excel-fil (xlsx).
Det enkleste er å laste ned én parameter av gangen, og å oppkalle fila etter parameteren.
Det gjøres slik:

`https://vannmiljo.miljodirektoratet.no/ > Jeg vil > Søke > Søk i vannregistreringer og miljøgifter`

I fanen "Søk i registreringer" må man

- velge riktig "Parameter",
- eventuelt avgrense med andre kriterier (f.eks. "Prøvedato")
- trykke "Søk",
- trykke "Eksport",
- velge eksporttype "Redigeringsformat",
- trykke "Eksporter til epost".

I tillegg trenger man en tabell som forklarer kolonnenavne i fila fra vannmiljø.
Denne fila er nødvendig for å lese inn målingene, og den ligger i dette arkivet under navnet "[**navnVM.csv**](data/navnVM.csv)".
Hvis vannmiljø endrer kolonnenavnene i sin nedlastingsløsning, må denne fila [oppdateres tilsvarende](forklar/hjelpfil.md#vannmiljø-data-navnvm.csv).

Filene er plassert i mappa "[data](data/)". De leses da inn i **R** ved hjelp av funksjonen [`lesMaalinger`](forklar/lesMaalinger.md) på følgende måte:
```{r}
DATA <- lesMaalinger("ASPT.xlsx")
```


## Analysen

Når man har kommet hit, kan selve analysen begynne.
Den må gjøres separat for hver vannforskrift-parameter og for hver vannkategori.
Hvis en parameter f.eks. brukes i både innsjøer og elver, må disse analyseres separat.
Som eksempel er ASPT valgt, en bunndyr-forsuringsindeks for elver. 

Analysen består i å

- koble alle målinger til sine respektive vannforekomster,
- omregne (skalere) måleverdiene til [mEQR-verdier](forklar/asympEQR.md),
- [tilpasse en modell](modell.md) som forklarer variasjonen i måleverdier med tidsperiode, typologifaktorer og [overvåkingsaktivitet](forklar/aktiv.md),
- [ekstrapolere](extrapol.md) trolige verdier til vannforekomster som det ikke foreligger målinger fra,
- simulere usikkerheten (sannsynlighetsfordelinga) for de sistnevnte og
- [aggregrere](arealvekt.md) resultatene opp til de ønska administrative enhetene.

Dette trinnet tar sin tid.
Utmatinger underveis viser progresjonen.
Simuleringa kan ta spesielt mye tid, avhengig av antall iterasjoner.
For illustrasjonen her er det valgt 1000 iterasjoner.
For bruk i naturindeks bør man velge en større verdi (f.eks. 100&nbsp;000).

Funksjonen som gjennomfører analysen, heter [`fraVFtilNI`](R/fraVFtilNI.R) ("fra vannforkrift til naturindeks").
De første fem funksjonsargumentene må alltid oppgis.
De resterende argumentene, inkludert mange som ikke vises i eksempelkjøringa under, trenger man bare å oppgi om man ønsker å endre på standardinnstillingene (som er [forklart her](forklar/VFtilNI.md)).

```{r, eval=FALSE, echo=TRUE}
utmating <- fraVFtilNI(
                       DATA, 
                       vannforekomster = V,
                       vannlokaliteter = VL,
                       parameter = "ASPT",
                       vannkategori = "R",
                       NI.aar = c(1990, 2000, 2010, 2014, 2019, 2024),
                       rapportenhet = c("kommune", "fylke", "landsdel", "norge"),
                       adminAar = 2010,
                       interaksjon = FALSE,
                       iterasjoner = 1000,
                      )
```
```{r, eval=TRUE, echo=FALSE}
# For ikke å rote til visninga i markdown-fila, tilføyes bredde = 90 og tell = FALSE.
# Dette medfører en rent layoutmessig forskjell. Alt ennet er identisk.
utmating <- fraVFtilNI(
                       DATA, 
                       vannforekomster = V,
                       vannlokaliteter = VL,
                       parameter = "ASPT",
                       vannkategori = "R",
                       NI.aar = c(1990, 2000, 2010, 2014, 2019, 2024),
                       rapportenhet = c("kommune", "fylke", "landsdel", "norge"),
                       adminAar = 2010,
                       interaksjon = FALSE,
                       iterasjoner = 1000,
                       bredde = 90,
                       tell = FALSE
                      )
```


## Visualisering

Her kommer noen eksempler på visualiseringer av resultatene.
For det første kan man plotte den simulerte sannsynlighetsfordelinga som et histogram, f.eks. slik:
```{r}
hist(utmating$fylke["1200", "2019", ], 
     breaks=36, 
     main="ASPT i Troms i 2019", 
     xlab="nEQR-verdi", 
     ylab="Trolighet", 
     cex.lab=1.2, cex.main=1.8)
```


De fylkesvise gjennomsnittsresultatene kan vises på kart:
```{r}
load("data/norge.map")
fylkeshistorikk  <- as.data.frame(read_xlsx("data/fnr.xlsx", col_types = "text"))
rownames(fylkeshistorikk)  <-  fylkeshistorikk$nr
fylke <- function(i) fylkeshistorikk[as.character(i), "navn"]
plot(Norge.fylker, asp = 2.1)
text(6, 70, "ASPT", cex = 2.4, font = 1.6)
text(6, 69, "fylkesvis", cex = 0.96)
for (i in dimnames(utmating$fylke)$fylke) {
  plot(Norge.fylker[which(Norge.fylker@data$NAME_1 == fylke(i)), ],
       col=farge(min(1, utmating$fylke[i, "2019", 1])), add = T)
}
for (i in seq(0, 0.999, 0.001)) {
  rect(24, 59+i*8, 26, 59+(i+0.001)*8, col = farge(i), border = farge(i))
  }
for (i in 1:5) {
  rect(24, 59+(i-1)*1.6, 26, 59+i*1.6, col = NA, border = T, lwd = 2.4)
}
text(rep(24, 6), 59+0:5*1.6, c("0,0", "0,2", "0,4", "0,6", "0,8", "1,0"), 
     pos = 2, cex = 0.96)
text(rep(26, 5), 59.8+0:4*1.6, c("SD", "D", "M", "G", "SG"), pos = 4, cex = 1.2)
```


Det samme gjelder de kommunevise resultatene:
```{r}
kommunehistorikk <- as.data.frame(read_xlsx("data/knr.xlsx", col_types = "text"))
kommunehistorikk$Nummer[which(nchar(kommunehistorikk$Nummer) == 3)] <-
  "0" %+% kommunehistorikk$Nummer[which(nchar(kommunehistorikk$Nummer) == 3)]
rownames(kommunehistorikk) <- kommunehistorikk$Nummer
plot(Norge.kontur, asp = 2.1, col = grey(0.84))
text(6, 70, "ASPT", cex = 2.4, font = 1.6)
text(6, 69, "kommunevis", cex = 0.96)
for (i in dimnames(utmating$kommune)$kommune) {
  for (kmn in kommunehistorikk[which(kommunehistorikk[, "2008"] == i), "1992"]) {
    plot(Norge.kommuner[which(Norge.kommuner@data$NAME_2 == kmn),], 
         col=farge(min(1, utmating$kommune[i, "2019", 1])), border = NA, add = T)
  }
}
plot(Norge.fylker, add = T)
for (i in seq(0, 0.999, 0.001)) {
  rect(24, 59+i*8, 26, 59+(i+0.001)*8, col = farge(i), border = farge(i))
  }
for (i in 1:5) {
  rect(24, 59+(i-1)*1.6, 26, 59+i*1.6, col = NA, border = T, lwd = 2.4)
}
text(rep(24, 6), 59+0:5*1.6, c("0,0", "0,2", "0,4", "0,6", "0,8", "1,0"), 
     pos = 2, cex = 0.96)
text(rep(26, 5), 59.8+0:4*1.6, c("SD", "D", "M", "G", "SG"), pos = 4, cex = 1.2)
```


## Opplasting til naturindeks-databasen

Når utmatinga fra modelleringa er klar og har blitt behørig testa, kan den lastes opp til naturindeks-(NI-)databasen.
Disse trinnene er her bare _illustrert_, men ikke _utført_.

```{r, eval=FALSE, echo=TRUE}
# For å logge seg inn til NI-databasen trenger man et brukernavn (epost-adressen) og passord.
# Koden fungerer om disse er lagra som to variabler som heter henholdsvis 
# "epost.adressen.min" og "passordet.mitt".
NIcalc::getToken(username = epost.adressen.min, password = passordet.mitt)

# Så bør man sjekke hvilke indikatorer man har tillatelse til å endre:
NIindikatorer <- NIcalc::getIndicators()
# Utmatinga viser indikator-id-en(e) som må benyttes i neste trinn.
# Indikator-id-ens verdi antas å være lagret i variabelen "indikatorID".

# Siste trinn er selve opplastinga:
oppdaterteIndikatorverdier <- oppdaterNImedVF(indikatorID, utmating)
```

Før en opplasting sjekkes det oppdaterte datasettet (`utmating`) for eventuelle inkompatibiliteter med NI-databasen. 
Slike vises i så fall som feilmeldinger.
Om det derimot ikke skjer noen feil, har man mulighet til å fullføre opplastinga.
Velger man å avbryte før opplasting, lagres det oppdaterte datasettet som variabel i stedet (i eksempelet over som `oppdaterteIndikatorverdier`).