2-tiedon-yhdistely.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "26ee6e6e",
   "metadata": {},
   "source": [
    "# 2. Tiedon yhdistely"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "31482291",
   "metadata": {},
   "source": [
    "## 2.1 Taustaa"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4d8a82b1",
   "metadata": {},
   "source": [
    "Kunnilta saatavat lähtötiedot (kaava-aineistot) voivat vaihdella sisällöiltään valtavasti. Stabiilin vertailun ja validoinnin mahdollistamiseksi ETL-työkalussa luodaan sekä KTJ- että kunta-aineistoille yhdistetty kaava-aineisto yhtenäisellä skeemalla. Tiedot tallennetaan omina tasoinaan yhteisen master-geopackagen alle. Tasot ovat seuraavat:\n",
    "\n",
    "- Asemakaavat_kunta\n",
    "- Asemakaavat_ktj\n",
    "- Yleiskaavat_kunta\n",
    "- Yleiskaavat_ktj\n",
    "\n",
    "**ETL-työkalussa asemakaava-tasot kattavat sekä asema- että ranta-asemakaavat!**\n",
    "\n",
    "Kaavalajit on ilmoitettu KTJ-aineistossa valmiina [Kiinteistötietojärjestelmän kiinteistörekisterin koodistojen](https://www.maanmittauslaitos.fi/sites/maanmittauslaitos.fi/files/old/KR-koodistokokonaan_20111006_0.pdf) mukaisesti. Ne muunnetaan ETL-työkalussa vastaamaan [Rakennetun ympäristön tietojärjestelmän koodeja](https://koodistot.suomi.fi/codescheme;registryCode=rytj;schemeCode=RY_Kaavalaji).\n",
    "\n",
    "Kuntien aineistoissa kaavalajeja ei ole välttämättä ilmoitettu ollenkaan erillisellä ominaisuustietokentällä. Tästä syystä ETL-päättelee nämä aineiston kaavaselitteistä. Mikäli selitteitä ei ole aineistoissa kerrottu, kaavalajeiksi ilmoitetaan oletuksena:\n",
    "\n",
    "- Yleiskaavoilla 23 = osayleiskaava,\n",
    "- Ranta-asemakaavoilla 33 = ranta-asemakaava ja\n",
    "- Asemakaavoilla 31 = asemakaava.\n",
    "\n",
    "Yhdistetyn kaava-aineiston skeema on esitelty alla olevassa taulukossa. Rasti kuvaa kunta- ja KTJ-aineiston osalta sitä, onko ominaisuustieto mukana aineiston skeemassa vai ei.\n",
    "\n",
    "| Ominaisuustieto | Selite | Kunta-aineisto | KTJ-aineisto |\n",
    "| :--- | :--- | :--- | :--- |\n",
    "| FID | Rivin yksilöivä tunniste | X | X |\n",
    "| originalref | Lähtöaineiston alkuperäinen koordinaattijärjestelmä epsg-koodina | X | X |\n",
    "| vanhakuntakoodi | Kuntaliitosalueiden vanha kuntakoodi |  | X |\n",
    "| kuntakoodi | Tilastokeskuksen mukainen voimassa oleva kuntakoodi | X | X |\n",
    "| kuntanimi | Kunnan nimi | X | X |\n",
    "| kaavatunnus | Kunnan antama kaavatunnus | X |  |\n",
    "| kaavatunnus_1 | KTJ-aineiston kaavatunnuksen alkuosa |  | X |\n",
    "| kaavatunnus_2 | KTJ-aineiston kaavatunnuksen loppuosa |  | X |\n",
    "| kaavaselite | Kaavan tai kaavaindeksin selite/nimi | X | X |\n",
    "| kaavalaji | Rakennetun ympäristön tietojärjestelmän koodistojen mukainen kaavalajikoodi | X | X |\n",
    "| hyvaksymispvm | Kaavan hyväksymispäivämäärä | X | X |\n",
    "| vahvistamispvm | Kaavan vahvistamispäivämäärä | X | X |\n",
    "| voimaantulopvm | Kaavan voimaantulopäivämäärä | X | X |\n",
    "| kohderekisteriyksikot | Lista kaavaindeksiin liittyvistä kiinteistötunnuksista | X | X |\n",
    "| kaavakartta | Kaavakartan PDF-liitteen nimi tai hyperlinkki | X | X |\n",
    "| maaraykset | Kaavamääräysten PDF-liitteen nimi tai hyperlinkki | X | X |\n",
    "| selostus | Kaavaselostuksen PDF-liitteen nimi tai hyperlinkki | X | X |"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4f286fd",
   "metadata": {},
   "source": [
    "**Yhdistetty kaavadata on keskeisessä osassa kaikissa ETL-työkalun vaiheissa, sillä koko toimintalogiikka perustuu muodostetun master-datasetin skeemaan!**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "77357a35",
   "metadata": {},
   "source": [
    "## 2.2 Kohderekisteriyksiköiden linkittäminen"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aecb9c55",
   "metadata": {},
   "source": [
    "Kiinteistötunnuksien sijaintitiedot on saatavilla MML:n kiinteistötietojen OGC API Features -rajapinnasta omana pistetasonaan (katso 1-tiedonkeruu-ja-esikasittely.ipynb). ETL-muunnin linkittää jokaiselle kaavaindeksille tiedon siihen liittyvistä kiinteistötunnuksista, mikäli yksittäisen kiinteistötunnuksen sijaintipiste on kaavaindeksin ulkorajojen sisällä. **Kohderekisteriyksiköiden linkitys kaavadataan tapahtuu osana yhdistetyn kaavadatan luomista (2.3.1 ja 2.3.2)!**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5f5f6706",
   "metadata": {},
   "source": [
    "## 2.3 Yhdistetty kaavadata"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8ad483c4",
   "metadata": {},
   "source": [
    "### 2.3.1 KTJ master geopackage"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "b1830649",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Käytettävien Python moduulien ja kehitettyjen funktioiden sisäänluku\n",
    "import geopandas as gpd\n",
    "import pickle\n",
    "from lib.kiinteistotunnus_to_kaavaindex import kiinteistotunnusToKaavaIndex\n",
    "from lib.ktj_to_master_geopackage import setupKTJMasterDataframe, appendKTJToMaster\n",
    "from lib.accessory_functions import saveGPKG"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "57d637a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "# KTJ kaavadata. Lisää parametreiksi tarvittavat tiedot!\n",
    "ktj = gpd.read_file(r\"<insert filepath here>.gpkg\", layer=\"<insert layer_name here>\")\n",
    "\n",
    "# Kohderekisteriyksiköt\n",
    "with open(r\"<insert filepath here>.pkl\", \"rb\") as f:\n",
    "    kiinttunnukset = pickle.load(f)\n",
    "\n",
    "# Prosessointi\n",
    "# Käsittele aineistot kunta kerrallaan!\n",
    "kunta_ktj = ktj.loc[ktj['kuntakoodi'] == '<insert kuntanro here>']\n",
    "kunta_ktj_yhd = kiinteistotunnusToKaavaIndex(kiinttunnus_data=kiinttunnukset, kaava_data=kunta_ktj)\n",
    "\n",
    "# Aja vain kerran ennen ensimmäistä appendia!\n",
    "master_df = setupKTJMasterDataframe()\n",
    "\n",
    "master_df = appendKTJToMaster(masterdf=master_df, ktjdata=kunta_ktj_yhd, geometry='geometry') \n",
    "\n",
    "# Tallennus\n",
    "asemakaavat = [31, 32, 33, 34, 35, 39]\n",
    "yleiskaavat = [21, 22, 23, 24, 25, 26]\n",
    "\n",
    "asema = master_df.loc[master_df['kaavalaji'].isin(asemakaavat)]\n",
    "yleis = master_df.loc[master_df['kaavalaji'].isin(yleiskaavat)]\n",
    "\n",
    "saveGPKG(asema, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"asemakaavat_ktj\")\n",
    "saveGPKG(yleis, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"yleiskaavat_ktj\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c4d567a8",
   "metadata": {},
   "source": [
    "### 2.3.2 Kunta master geopackage"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6d333ca2",
   "metadata": {},
   "source": [
    "Ominaisuustiedot vaihtelevat kunta-aineistoissa valtavasti. Tästä syystä suuri osa master-geopackagen kentistä on annettu appendKuntaToMaster-funktiolle valinnaisena parametrina. Mikäli jotain tietoa ei kunta-aineistosta löydy, kyseisen parametrin voi jättää antamatta funktiolle, jolloin dataan ilmeistyy riveille tieto None. Jos taas tieto löytyy, appendKuntaToMaster-funktiolle syötetään kunta-aineiston vastaavan kentän nimi parametrina."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "61ce09ac",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kehitettyjen funktioiden sisäänluku\n",
    "from lib.kunta_to_master_geopackage import setupKuntaMasterDataframe, appendKuntaToMaster"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "665077e6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Kunta kaavadata. Lisää parametriksi tarvittavat tiedot!\n",
    "kunta_kaavadata = gpd.read_file(r\"<insert filepath here>.shp\")\n",
    "\n",
    "# Kohderekisteriyksiköiden linkittäminen\n",
    "kunta_kaavadata_yhd = kiinteistotunnusToKaavaIndex(kiinttunnus_data=kiinttunnukset, kaava_data=kunta_kaavadata)\n",
    "\n",
    "# Aja vain kerran ennen ensimmäistä appendia!\n",
    "master_df = setupKuntaMasterDataframe()\n",
    "\n",
    "# Lisää tarvittavat parametrit! Lisätietoja kunta_to_master_geopackage.py docstringissa*!\n",
    "master_df = appendKuntaToMaster(masterdf=master_df,\n",
    "                                kaavadata=kunta_kaavadata_yhd,\n",
    "                                kaavalaji='<insert column name here>',\n",
    "                                geometry='<insert column name here>',\n",
    "                                kuntakoodi='<insert column name here>',\n",
    "                                kuntanimi='<insert column name here>',\n",
    "                                kaavaselite='<insert column name here>')  # Valinnainen parametri (myös muita*!)\n",
    "\n",
    "# Tallennus\n",
    "asema = master_df.loc[master_df['kaavalaji'].isin(asemakaavat)]\n",
    "yleis = master_df.loc[master_df['kaavalaji'].isin(yleiskaavat)]\n",
    "\n",
    "saveGPKG(asema, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"asemakaavat_kunta\")\n",
    "saveGPKG(yleis, outputfp=r\"<insert filepath here>.gpkg\", layer_name=\"yleiskaavat_kunta\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.11"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}