data-development-code/0-extract_sample_from_MaCoCu-Genre.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Extract a sample of 10.000 texts, annotated as News, from the following MaCoCu/CLASSLA-web corpora: Croatian, Slovenian, Catalan, Greek"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "I took the CLASSLA/MaCoCu corpora from `http://hdl.handle.net/11356/1969` that I previously prepared as JSONL files for the automatic genre annotation. The preparation of texts included the following additional post-processing steps:\n",
    "- truncating texts to the first 512 words of each text (because the max_sequence_length that model can take is 512 tokens)\n",
    "- removal of all texts that are in multiple languages - only texts that are only in the target language are kept"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define paths to the MaCoCu-Genre datasets - an example\n",
    "dataset_paths = {\n",
    "\t\"el\": \"path_example\"\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Open jsonl file\n",
    "\n",
    "lang = \"el\"\n",
    "\n",
    "df = pd.read_json(dataset_paths[lang], orient=\"records\", lines=True)\n",
    "\n",
    "display(df.head())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(5301458, 7)"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Take only texts, labeled as \"News\"\n",
    "\n",
    "df = df[df[\"genre\"] == \"News\"]\n",
    "\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>document_id</th>\n",
       "      <th>text</th>\n",
       "      <th>genre</th>\n",
       "      <th>logit</th>\n",
       "      <th>lang_distr</th>\n",
       "      <th>lang</th>\n",
       "      <th>text_length</th>\n",
       "      <th>multitext</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>macocu.el.4</td>\n",
       "      <td>Πιο σοβαροί αποδεικνύονται οι τραυματισμοί των...</td>\n",
       "      <td>News</td>\n",
       "      <td>[-1.4598587751, -0.6933389306000001, 7.8427786...</td>\n",
       "      <td>[('el', 1.0)]</td>\n",
       "      <td>el</td>\n",
       "      <td>NaN</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>macocu.el.5</td>\n",
       "      <td>Πρωτοβουλία του ΥφΑΑΤ Σίμου Κεδίκογλου για την...</td>\n",
       "      <td>News</td>\n",
       "      <td>[-1.4910259247, -0.9129921794, 7.8686022758, -...</td>\n",
       "      <td>[('el', 1.0)]</td>\n",
       "      <td>el</td>\n",
       "      <td>NaN</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   document_id                                               text genre  \\\n",
       "1  macocu.el.4  Πιο σοβαροί αποδεικνύονται οι τραυματισμοί των...  News   \n",
       "2  macocu.el.5  Πρωτοβουλία του ΥφΑΑΤ Σίμου Κεδίκογλου για την...  News   \n",
       "\n",
       "                                               logit     lang_distr lang  \\\n",
       "1  [-1.4598587751, -0.6933389306000001, 7.8427786...  [('el', 1.0)]   el   \n",
       "2  [-1.4910259247, -0.9129921794, 7.8686022758, -...  [('el', 1.0)]   el   \n",
       "\n",
       "   text_length multitext  \n",
       "1          NaN        no  \n",
       "2          NaN        no  "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Find texts with \"multiple texts\" inside based on whether there is more than one ellipsis\n",
    "multiple_list = []\n",
    "\n",
    "for text in df[\"text\"].to_list():\n",
    "    if text.count(\"...\") > 1:\n",
    "        multiple_list.append(\"yes\")\n",
    "    else:\n",
    "        multiple_list.append(\"no\")\n",
    "\n",
    "df[\"multitext\"] = multiple_list\n",
    "\n",
    "df.head(2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Number of texts annotated as \"News\" that were removed due to having more than one \"...\":\n",
    "- HR: 196,256 (8.4%)\n",
    "- SL: 103,589 (9.2%)\n",
    "- CA: 96,930 (5.6%)\n",
    "- EL: 739,944 (14.0%)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(4561514, 8)"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Remove from the sample texts that have more than one \"...\"\n",
    "df = df[df[\"multitext\"] == \"no\"]\n",
    "\n",
    "df.shape\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(10000, 8)"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Now slimmer down the sample to 10.000 instances\n",
    "big_sample = df.sample(n=10000)\n",
    "\n",
    "big_sample.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Drop multitext column\n",
    "big_sample.drop(columns=['multitext'], inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>document_id</th>\n",
       "      <th>text</th>\n",
       "      <th>genre</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3973259</th>\n",
       "      <td>macocu.el.6373650</td>\n",
       "      <td>Ομιλία Δημάρχου Πάρου για το Λιμενικό Σύστημα του νησιού Κύριο \\n\\nΗ ομιλία Δημάρχου Πάρου Μάρκου Ι. Κωβαίου, στα πλαίσια του επιστημονικού συνεδρίου με τίτλο \"Φορείς διαχείρισης και εποπτείας λιμένων Ελλάδος, υπάρχουσα κατάσταση, προτάσεις βελτίωσης\" που συνδιοργανώθηκε από το Πανεπιστήμιο Δυτικής Αττικής και τον Δήμο Πάρου, υπό την αιγίδα του Υπουργείου Ναυτιλίας και Νησιωτικής Πολιτικής, στην Πάρο 21 &amp;amp; 22 Σεπτεμβρίου 2018, στην αίθουσα εκδηλώσεων του 1ου ΕΠΑΛ Πάρου, στο Λιαροκόπι Παροικιάς. \\n\\nΑπευθυνόμενος στον Παριανό λαό και τη κατασκευή του Νέου Εμπορικού Λιμένα, ο Δήμαρχος Πάρου επισήμανε: \\n\\n</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3449533</th>\n",
       "      <td>macocu.el.5513105</td>\n",
       "      <td>Βαραίνουν το κόστος οι ανατιμήσεις, ορατά τα 60 λεπτά στο βαμβάκι \\n\\nΩς κορυφή της αγοράς με τα σημερινά επίπεδα, προκύπτουν τα 93 σεντς, με την αγορά να επιχειρεί προ ολίγων ημερών την κατάκτηση των 90 σεντς, προτού μια γενικευμένη πτώση των χρηματαγορών ανακόψει την ορμή στην αγορά βάμβακος. Ακόμα και τότε όμως, η χρηματιστηριακή τιμή ανέκαμψε γρήγορα επιστρέφοντας στα 88 σεντς ανά λίμπρα, επίπεδο κοντά στα υψηλά εξαμήνου για τα συμβόλαια ∆εκεμβρίου '21. \\n\\nΣτην εγχώρια αγορά, ήδη γίνονται προπωλήσεις πάνω από τα 91 σεντς με την αγορά να πληρώνει στα εκκοκκιστήρια πριμ 3 έως και 4 σεντς επί της χρηματιστηριακής βάσης για τα λευκά βαμβάκια. Την ίδια στιγμή, οι προαγορές από τα εκκοκκιστήρια επέστρεψαν σε τιμές στα 55 με 55,5 λεπτά το κιλό για το σύσπορο, αφού πέραν της ανοδικής τάσης στη διεθνή τιμή, η ισοτιμία ευρώ/ δολάριο υποχώρησε από τα 1,21 ευρώ και έχει σταθεροποιηθεί εδώ και μερικές εβδομάδες στα 1,18 με 1,17 ευρώ, βελτιώνοντας άρα τις τιμές για το ελληνικό βαμβάκι. \\n\\nΉδη αρκετοί οργανωμένοι παραγωγοί στην Ελλάδα έχουν προβεί στην προπώληση περίπου του 50% της αναμενόμενης παραγωγής τους, με μπούσουλα τα 250 κιλά ανά στρέμμα, αναμένοντας τα χειμερινά φιξαρίσματα για το υπόλοιπο 50% της παραγωγής τους. Εν προκειμένω, φαίνεται πως η αγορά θα μπορούσε να διαμορφώσει υψηλότερα επίπεδα από τα σημερινά, παρά το γεγονός ότι ιστορικά, κατά τους φθινοπωρινούς μήνες οι τιμές υποχωρούν. Σε κάθε περίπτωση, η διασπορά του ρίσκου με προπωλήσεις καθ' όλη τη διάρκεια της καλλιεργητικής περιόδου, έναντι των φιξαρισμάτων του ∆εκεμβρίου, στέκει ως ένα αξιόλογο εργαλείο στα χέρια των παραγωγών, που φέτος για πρώτη φορά δοκιμάζεται στην εγχώρια αγορά. Εν τω μεταξύ, το φαινόμενο της \"Ψυχρής Λίμνης\" την περασμένη εβδομάδα, ακούγεται ότι θα κόψει κάποιες λίγες ποσότητες από την αναμενόμενη παραγωγή της χώρας, μιας και τουλάχιστον 5.000 στρέμματα βούλιαξαν σε περιοχές των Φαρσάλων και του Παλαμά. Υπενθυμίζεται ότι οι εκτάσεις της χώρας είναι μειωμένες κατά τουλάχιστον 15% φέτος. \\n\\nΕίναι γεγονός, πάντως, πως η φετινή συγκυρία διαφέρει από τον γενικό κανόνα. Εξερχόμενη από την πανδημία, η διεθνής αγορά βάμβακος έχοντας μέσα στο 2020 σημειώσει τιμές ακόμα και κάτω από τα 50 σεντς ανά λίμπρα, δείχνει πιο ενισχυμένη από ποτέ άλλοτε σε βάθος τετραετίας. Η ζήτηση παραμένει υψηλή, κάτι που αποτυπώνουν με συνέπεια οι εκθέσεις προσφοράς-ζήτησης του αμερικανικού υπουργείου Γεωργίας τους τελευταίους μήνες, όσο η φυτική ίνα φαίνεται πως επικρατεί όλο και με μεγαλύτερη αυτοπεποίθηση έναντι της συνθετικής. \\n\\nΣε ό,τι αφορά τα δεδομένα της παραγωγής και της κατανάλωσης, η έκθεση Ιουλίου του USDA περιόρισε στα 87,7 εκατ. δεμάτια τα παγκόσμια αποθέματα, συγκριτικά με τις εκτιμήσεις του περασμένου μήνα, που ανέμεναν ότι στο τέλος της τρέχουσας περιόδου θα έχουν περισσέψει περίπου 89,3 εκατ. δεμάτια. Ταυτόχρονα αυξημένη είναι και η παγκόσμια κατανάλωση, κατά 700.000 δεμάτια, στις 123,2 εκατ. μπάλες, με την αναμενόμενη παραγωγή για το 2021-2022 να αποτιμάται στα 119,4 εκατ. δεμάτια, κάτι που δεν έχει πείσει την αγορά, η οποία θεωρεί πως το συνολικό τονάζ θα είναι μικρότερο από τις προβλέψεις του USDA. \\n\\nΑδειάζουν οι αποθήκες στο Νότιο ημισφαίριο όσο η παραγωγή υπολείπεται των προσδοκιών \\n\\nΤα χαμηλότερα αποθέματα της τελευταίας τριετίας αναφέρει ο κλάδος βάμβακος στην Αυστραλία, τη στιγμή που</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4932053</th>\n",
       "      <td>macocu.el.7914732</td>\n",
       "      <td>Φόρμα αναζήτησης \\n\\nΜετά από 48ωρο κρεσέντο αυταρχισμού: Αποσύρει τα ΜΑΤ από τα νησιά η κυβέρνηση μετά την πάνδημη αντίσταση (Liveblog) \\n\\n\"Θα αποσυρθούν από τα νησιά αύριο, οι αστυνομικές δυνάμεις που είχαν φθάσει εκεί ενισχυτικά\" έγινε γνωστό το βράδυ της Τετάρτης από την κυβέρνηση, διαψεύδοντας ακόμα και τον Στ. Πέτσα που είχε μιλήσει για \"μερική\" αποχώρηση - Χωρίς παρουσία Μηταράκη η σύσκεψη Μητσοτάκη με Χρυσοχοϊδη, Οικονόμου, Πέτσα. Ούτε 48 ώρες μετά την \"απόβαση\" των δυνάμεων καταστολής σε Λέσβο και Χίο (ξημέρωμα Δευτέρας προς Τρίτη) η κυβέρνηση αναγκάζεται σε άτακτη υποχώρηση. \\n\\nΣήμερα, Τετάρτη, συνεχίστηκαν όλη μέρα οι διαδηλώσεις και οι διαμαρτυρίες σε Λέσβο και Χίο μετά την απόβαση δεκάδων διμοιριών ΜΑΤ στα δυο νησιά για να περάσει η κυβερνητική πρόθεση κατασκευής κλειστών κέντρων-φυλακών για πρόσφυγες και μετανάστες. Ογκώδεις διαδηλώσεις το πρωί σε Λέσβο και Χίο, ξυλοδαρμών ανδρών των ΜΑΤ στο ξενοδοχείου που διέμεναν στον Καρφά της Χίου, αποχώρηση των ανδρών των ΜΑΤ από τις θέσεις τους κοντά στο Μανταμάδος της Λέσβου. \\n\\nΠαρακολουθήστε ζωντανά τις εξελίξεις του απογεύματος στο liveblog: \\n\\nΗ Περιφέρεια και οι δήμοι Βορείου Αιγαίου κήρυξαν για σήμερα, Τετάρτη 26 Φεβρουαρίου, γενική απεργία σε όλα τα νησιά ενάντια στον πόλεμο που έχει εξαπολύσει η κυβέρνηση Μητσοτάκη εναντίον των κατοίκων τους λόγω των αντιδράσεων στα νέα γιγάντια \"κέντρα καταγραφής και παροχής ασύλου\", όπως τα χαρακτήρισε ο αρμόδιος υπουργός Νότης Μηταράκης (ΕΔΩ οι εξελίξεις μέχρι το βράδυ της Τρίτης 25/2). Στο σύνολό τους κοινωνικοί και οικονομικοί φορείς με ανακοινώσεις τους στηρίζουν την απεργία και συμμετέχουν σε αυτήν. \\n\\nΦωτιά στην Καράβα από άνδρες των ΜΑΤ - Πληροφορίες για δύο τραυματίες \\n\\nΣύμφωνα με την ιστοσελίδα \"stonisi.gr\", η ημέρα ξεκίνησε με άνδρες των ΜΑΤ να επιτίθενται στον ιερέα Στρατή Γιουσμά στην Καράβα, όταν επιχείρησε να περάσει με τα πόδια από την κλούβα για να δει τους Μανταμαδιώτες που έχουν αποκλειστεί από την άλλη πλευρά! \\n\\nΟ κόσμος συνεχίζει να προσέρχεται στην Καράβα από τη Μυτιλήνη, αλλά για δεύτερη μέρα δεν μπορεί να περάσει να δει τους κατοίκους του Μανταμάδου που δέχτηκαν χτες χημικά επί πέντε ώρες από τις δυνάμεις καταστολής. \\n\\nΚατά τη μετάδοση της συγκέντρωσης της Τετάρτης, μεταδόθηκε από τη ρεπόρτερ του \"Νησιού\" η πληροφορία για έναν σοβαρό τραυματισμό διαδηλωτή: \\n\\nΣύμφωνα πληροφορίες της \"Εφ.Συν.\", οι τραυματισμένοι κάτοικοι είναι δύο, ο ένας εκ των οποίων φέρεται να είναι σοβαρά. Και οι δύο μεταφέρθηκαν στο νοσοκομείο για να τους παρασχεθεί η απαραίτητη ιατρική περίθαλψη. \\n\\nΣύμφωνα επίσης με αυτόπτες μάρτυρες που επικοινώνησαν με το \"Νησί\", το μεσημέρι της Τετάρτης ξέσπασε φωτιά σε δασική έκταση που βρίσκεται κοντά στο δρόμο μετά από τις συνεχείς ρίψεις χειροβομβίδων κρότου-λάμψης και δακρυγόνων που εκτόξευσαν άνδρες των ΜΑΤ: \\n\\nΤην εξέλιξη επιβεβαιώνει μέσω facebook ο βουλευτής Λέσβου του ΣΥΡΙΖΑ, Γ. Μπουρνούς: \\n\\nΧτυπούν αδιάκοπα, βανδαλίζουν αυτοκίνητα, πυρπολούν το δάσος της περιοχής, κατήγγειλε και η βουλεύτρια του ΚΚΕ, Μαρία Κομνηνάκα η οποία βρίσκεται στο \"Διαβολόρεμα\" \\n\\nΤεράστια η διαδήλωση και στη Χίο - Σοβαρά επεισόδια στον Καρφά \\n\\nΟγκώδης ήταν και η διαδήλωση που πραγματοποιείται στην πλατεία Βουνακίου στη Χίο. Δείτε παρακάτω την επίθεση ΜΑΤ σε πολίτες. \\n\\nΗ συντονιστική επιτροπή προέτρεψε τους επαγγελματίες, αφενός να μη συνεργαστούν με την κυβέρνηση, αφετέρου να μην προμηθεύουν τα ΜΑΤ με αγαθά πρώτης ανάγκης. \\n\\nΣύμφωνα με</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7937082</th>\n",
       "      <td>macocu.el.12751875</td>\n",
       "      <td>Στο πλαίσιο της αναμέτρησης της Γερμανίας με τη Δανία έγινε χθες pre game show, το οποίο περιλάμβανε ένα ξεχωριστό ματς. \\n\\nΣτο πλαίσιο της διοργάνωσης \"Sexy Soccer 2012\" έγινε ένα διαφορετικό παιχνίδι, μεταξύ 12 πορνοστάρ που χωρίστηκαν σε δύο ομάδες. \\n\\nΝικήτρια στο τυπικό μέρος ήταν η Δανία με 13-1. Ωστόσο, μεγάλοι κερδισμένοι ήταν οι άντρες που παρακολούθησαν το ματς αυτό διά ζώσης, αφού οι παίκτριες των δύο ομάδων αγωνίστηκαν με body-paint, χωρίς να φορούν μπλούζες! \\n\\nΤο μόνο που έλειψε από την αναμέτρηση αυτή ήταν μια βροχή που θα έδινε ακόμη μεγαλύτερο ενδιαφέρον, αφού θα γινόταν πιο... αποκαλυπτικό το ματς. Κάτι που εύχονταν όλοι όσοι το παρακολούθησαν, ωστόσο ο καιρός δεν τους έκανε το χατίρι. Βέβαια, ο ιδρώτας έκανε εν μέρει τη δουλειά της βροχής, όπως φαίνεται σε κάποιες περιπτώσεις. \\n\\n</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>125493</th>\n",
       "      <td>macocu.el.183717</td>\n",
       "      <td>ΜΕ 5 ΑΘΛΗΤΕΣ ΣΤΗΝ ΣΤΙΣ ΠΡΟΕΘΝΙΚΕΣ ΟΜΑΔΕΣ OPTIMIST ΚΑΙ LASER 4.7 Ο ΙOAN \\n\\nΣε ένα ιδιαίτερο και δύσκολο αγωνιστικό περιβάλλον λόγω των καιρικών συνθηκών πραγματοποιήθηκαν 5 Ιστιοδρομίες οι αθλητές μας έδειξαν ότι βρίσκονται σε πολύ υψηλό επίπεδο καθώς 5 από τους 9 αθλητές πέτυχαν την πρόκρισή τους στην Προ εθνική ομάδα των κατηγοριών τους και θα διεκδικήσουν την είσοδο τους στις αντίστοιχες Εθνικές Ομάδες σε αγώνα που θα διεξαχθεί στην Αθήνα το χρονικό διάστημα 19-23/04/2019 με την συμμετοχή των 123 καλύτερων αθλητών στην κατηγορία OPTIMIST και 83 στην κατηγορία LASER 4.7. \\n\\nΣτον Αγώνα συμμετείχαν 14 όμιλοι της Περιφέρειας με 107 αθλητές στην κατηγορία OPTIMIST και 50 αθλητές στην κατηγορία LASER 4.7.O Ιστιοπλοϊκός Όμιλος Αγίου Νικολάου \"ΑΙΟΛΟΣ\" συμμετείχε με 6 αθλητές στην κατηγορία OPTIMIST και 3 αθλητές στην κατηγορία LASER 4.7. \\n\\nΟι αθλητές που επέτυχαν την πρόκρισή τους στις Προ Εθνικές ομάδες των κατηγοριών τους και θα μεταβούν στην Αθήνα για το αγώνα που θα δώσει την πρόκριση στις Εθνικές Ομάδες είναι: \\n\\nΚατηγορία: LASER 4.7 \\n\\nΜασσάρος Ελευθέριος 9η θέση στα αγόρια \\n\\nΑναστασίου Αθηνά Μαρία 4η θέση στα κορίτσια \\n\\nΚοβατζής Θωμάς 8η θέση στα αγόρια \\n\\nΚατηγορία: OPTIMIST \\n\\nΜαστοράκης Νικήτας 7η θέση στα αγόρια \\n\\nΜασσάρος Στυλιανός 8η θέση στα αγόρια \\n\\nΤα αποτελέσματα των υπόλοιπων αθλητών μας που συμμετείχαν στο Περιφερειακό Πρωτάθλημα Νήσων Αιγαίου και Κρήτης είναι: \\n\\nΚατηγορία: OPTIMIST \\n\\nΑυγουστινάτος Σωκράτης 12η θέση στα αγόρια \\n\\nΜαθιουδάκη Χαβάκη Ειρήνη 13η θέση στα κορίτσια \\n\\nΜαστορής Ιωάννης 36η θέση στα αγόρια \\n\\nΣυγχαρητήρια σε όλους τους αθλητές μας και τον Προπονητή τους κ Ιωάννη Καλαμπαλίκη για τα αποτελέσματά τους και την άψογη συνεργασία και συμπεριφορά τους τόσο εντός όσο και εκτός αγωνιστικού στίβου. \\n\\nΕπίσης Θέλουμε να ευχαριστήσουμε όλους όσους συνέβαλαν στην οργάνωση και ολοκλήρωση μιας ακόμα άρτιας από κάθε άποψη αποστολής. \\n\\nΕδω μπορειτε να βρειτε τα τελικα αποτελέσματα Optimist και Laser \\n\\n</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                document_id  \\\n",
       "3973259   macocu.el.6373650   \n",
       "3449533   macocu.el.5513105   \n",
       "4932053   macocu.el.7914732   \n",
       "7937082  macocu.el.12751875   \n",
       "125493     macocu.el.183717   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                text  \\\n",
       "3973259                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       Ομιλία Δημάρχου Πάρου για το Λιμενικό Σύστημα του νησιού Κύριο \\n\\nΗ ομιλία Δημάρχου Πάρου Μάρκου Ι. Κωβαίου, στα πλαίσια του επιστημονικού συνεδρίου με τίτλο \"Φορείς διαχείρισης και εποπτείας λιμένων Ελλάδος, υπάρχουσα κατάσταση, προτάσεις βελτίωσης\" που συνδιοργανώθηκε από το Πανεπιστήμιο Δυτικής Αττικής και τον Δήμο Πάρου, υπό την αιγίδα του Υπουργείου Ναυτιλίας και Νησιωτικής Πολιτικής, στην Πάρο 21 &amp; 22 Σεπτεμβρίου 2018, στην αίθουσα εκδηλώσεων του 1ου ΕΠΑΛ Πάρου, στο Λιαροκόπι Παροικιάς. \\n\\nΑπευθυνόμενος στον Παριανό λαό και τη κατασκευή του Νέου Εμπορικού Λιμένα, ο Δήμαρχος Πάρου επισήμανε: \\n\\n   \n",
       "3449533                                                                                                               Βαραίνουν το κόστος οι ανατιμήσεις, ορατά τα 60 λεπτά στο βαμβάκι \\n\\nΩς κορυφή της αγοράς με τα σημερινά επίπεδα, προκύπτουν τα 93 σεντς, με την αγορά να επιχειρεί προ ολίγων ημερών την κατάκτηση των 90 σεντς, προτού μια γενικευμένη πτώση των χρηματαγορών ανακόψει την ορμή στην αγορά βάμβακος. Ακόμα και τότε όμως, η χρηματιστηριακή τιμή ανέκαμψε γρήγορα επιστρέφοντας στα 88 σεντς ανά λίμπρα, επίπεδο κοντά στα υψηλά εξαμήνου για τα συμβόλαια ∆εκεμβρίου '21. \\n\\nΣτην εγχώρια αγορά, ήδη γίνονται προπωλήσεις πάνω από τα 91 σεντς με την αγορά να πληρώνει στα εκκοκκιστήρια πριμ 3 έως και 4 σεντς επί της χρηματιστηριακής βάσης για τα λευκά βαμβάκια. Την ίδια στιγμή, οι προαγορές από τα εκκοκκιστήρια επέστρεψαν σε τιμές στα 55 με 55,5 λεπτά το κιλό για το σύσπορο, αφού πέραν της ανοδικής τάσης στη διεθνή τιμή, η ισοτιμία ευρώ/ δολάριο υποχώρησε από τα 1,21 ευρώ και έχει σταθεροποιηθεί εδώ και μερικές εβδομάδες στα 1,18 με 1,17 ευρώ, βελτιώνοντας άρα τις τιμές για το ελληνικό βαμβάκι. \\n\\nΉδη αρκετοί οργανωμένοι παραγωγοί στην Ελλάδα έχουν προβεί στην προπώληση περίπου του 50% της αναμενόμενης παραγωγής τους, με μπούσουλα τα 250 κιλά ανά στρέμμα, αναμένοντας τα χειμερινά φιξαρίσματα για το υπόλοιπο 50% της παραγωγής τους. Εν προκειμένω, φαίνεται πως η αγορά θα μπορούσε να διαμορφώσει υψηλότερα επίπεδα από τα σημερινά, παρά το γεγονός ότι ιστορικά, κατά τους φθινοπωρινούς μήνες οι τιμές υποχωρούν. Σε κάθε περίπτωση, η διασπορά του ρίσκου με προπωλήσεις καθ' όλη τη διάρκεια της καλλιεργητικής περιόδου, έναντι των φιξαρισμάτων του ∆εκεμβρίου, στέκει ως ένα αξιόλογο εργαλείο στα χέρια των παραγωγών, που φέτος για πρώτη φορά δοκιμάζεται στην εγχώρια αγορά. Εν τω μεταξύ, το φαινόμενο της \"Ψυχρής Λίμνης\" την περασμένη εβδομάδα, ακούγεται ότι θα κόψει κάποιες λίγες ποσότητες από την αναμενόμενη παραγωγή της χώρας, μιας και τουλάχιστον 5.000 στρέμματα βούλιαξαν σε περιοχές των Φαρσάλων και του Παλαμά. Υπενθυμίζεται ότι οι εκτάσεις της χώρας είναι μειωμένες κατά τουλάχιστον 15% φέτος. \\n\\nΕίναι γεγονός, πάντως, πως η φετινή συγκυρία διαφέρει από τον γενικό κανόνα. Εξερχόμενη από την πανδημία, η διεθνής αγορά βάμβακος έχοντας μέσα στο 2020 σημειώσει τιμές ακόμα και κάτω από τα 50 σεντς ανά λίμπρα, δείχνει πιο ενισχυμένη από ποτέ άλλοτε σε βάθος τετραετίας. Η ζήτηση παραμένει υψηλή, κάτι που αποτυπώνουν με συνέπεια οι εκθέσεις προσφοράς-ζήτησης του αμερικανικού υπουργείου Γεωργίας τους τελευταίους μήνες, όσο η φυτική ίνα φαίνεται πως επικρατεί όλο και με μεγαλύτερη αυτοπεποίθηση έναντι της συνθετικής. \\n\\nΣε ό,τι αφορά τα δεδομένα της παραγωγής και της κατανάλωσης, η έκθεση Ιουλίου του USDA περιόρισε στα 87,7 εκατ. δεμάτια τα παγκόσμια αποθέματα, συγκριτικά με τις εκτιμήσεις του περασμένου μήνα, που ανέμεναν ότι στο τέλος της τρέχουσας περιόδου θα έχουν περισσέψει περίπου 89,3 εκατ. δεμάτια. Ταυτόχρονα αυξημένη είναι και η παγκόσμια κατανάλωση, κατά 700.000 δεμάτια, στις 123,2 εκατ. μπάλες, με την αναμενόμενη παραγωγή για το 2021-2022 να αποτιμάται στα 119,4 εκατ. δεμάτια, κάτι που δεν έχει πείσει την αγορά, η οποία θεωρεί πως το συνολικό τονάζ θα είναι μικρότερο από τις προβλέψεις του USDA. \\n\\nΑδειάζουν οι αποθήκες στο Νότιο ημισφαίριο όσο η παραγωγή υπολείπεται των προσδοκιών \\n\\nΤα χαμηλότερα αποθέματα της τελευταίας τριετίας αναφέρει ο κλάδος βάμβακος στην Αυστραλία, τη στιγμή που   \n",
       "4932053  Φόρμα αναζήτησης \\n\\nΜετά από 48ωρο κρεσέντο αυταρχισμού: Αποσύρει τα ΜΑΤ από τα νησιά η κυβέρνηση μετά την πάνδημη αντίσταση (Liveblog) \\n\\n\"Θα αποσυρθούν από τα νησιά αύριο, οι αστυνομικές δυνάμεις που είχαν φθάσει εκεί ενισχυτικά\" έγινε γνωστό το βράδυ της Τετάρτης από την κυβέρνηση, διαψεύδοντας ακόμα και τον Στ. Πέτσα που είχε μιλήσει για \"μερική\" αποχώρηση - Χωρίς παρουσία Μηταράκη η σύσκεψη Μητσοτάκη με Χρυσοχοϊδη, Οικονόμου, Πέτσα. Ούτε 48 ώρες μετά την \"απόβαση\" των δυνάμεων καταστολής σε Λέσβο και Χίο (ξημέρωμα Δευτέρας προς Τρίτη) η κυβέρνηση αναγκάζεται σε άτακτη υποχώρηση. \\n\\nΣήμερα, Τετάρτη, συνεχίστηκαν όλη μέρα οι διαδηλώσεις και οι διαμαρτυρίες σε Λέσβο και Χίο μετά την απόβαση δεκάδων διμοιριών ΜΑΤ στα δυο νησιά για να περάσει η κυβερνητική πρόθεση κατασκευής κλειστών κέντρων-φυλακών για πρόσφυγες και μετανάστες. Ογκώδεις διαδηλώσεις το πρωί σε Λέσβο και Χίο, ξυλοδαρμών ανδρών των ΜΑΤ στο ξενοδοχείου που διέμεναν στον Καρφά της Χίου, αποχώρηση των ανδρών των ΜΑΤ από τις θέσεις τους κοντά στο Μανταμάδος της Λέσβου. \\n\\nΠαρακολουθήστε ζωντανά τις εξελίξεις του απογεύματος στο liveblog: \\n\\nΗ Περιφέρεια και οι δήμοι Βορείου Αιγαίου κήρυξαν για σήμερα, Τετάρτη 26 Φεβρουαρίου, γενική απεργία σε όλα τα νησιά ενάντια στον πόλεμο που έχει εξαπολύσει η κυβέρνηση Μητσοτάκη εναντίον των κατοίκων τους λόγω των αντιδράσεων στα νέα γιγάντια \"κέντρα καταγραφής και παροχής ασύλου\", όπως τα χαρακτήρισε ο αρμόδιος υπουργός Νότης Μηταράκης (ΕΔΩ οι εξελίξεις μέχρι το βράδυ της Τρίτης 25/2). Στο σύνολό τους κοινωνικοί και οικονομικοί φορείς με ανακοινώσεις τους στηρίζουν την απεργία και συμμετέχουν σε αυτήν. \\n\\nΦωτιά στην Καράβα από άνδρες των ΜΑΤ - Πληροφορίες για δύο τραυματίες \\n\\nΣύμφωνα με την ιστοσελίδα \"stonisi.gr\", η ημέρα ξεκίνησε με άνδρες των ΜΑΤ να επιτίθενται στον ιερέα Στρατή Γιουσμά στην Καράβα, όταν επιχείρησε να περάσει με τα πόδια από την κλούβα για να δει τους Μανταμαδιώτες που έχουν αποκλειστεί από την άλλη πλευρά! \\n\\nΟ κόσμος συνεχίζει να προσέρχεται στην Καράβα από τη Μυτιλήνη, αλλά για δεύτερη μέρα δεν μπορεί να περάσει να δει τους κατοίκους του Μανταμάδου που δέχτηκαν χτες χημικά επί πέντε ώρες από τις δυνάμεις καταστολής. \\n\\nΚατά τη μετάδοση της συγκέντρωσης της Τετάρτης, μεταδόθηκε από τη ρεπόρτερ του \"Νησιού\" η πληροφορία για έναν σοβαρό τραυματισμό διαδηλωτή: \\n\\nΣύμφωνα πληροφορίες της \"Εφ.Συν.\", οι τραυματισμένοι κάτοικοι είναι δύο, ο ένας εκ των οποίων φέρεται να είναι σοβαρά. Και οι δύο μεταφέρθηκαν στο νοσοκομείο για να τους παρασχεθεί η απαραίτητη ιατρική περίθαλψη. \\n\\nΣύμφωνα επίσης με αυτόπτες μάρτυρες που επικοινώνησαν με το \"Νησί\", το μεσημέρι της Τετάρτης ξέσπασε φωτιά σε δασική έκταση που βρίσκεται κοντά στο δρόμο μετά από τις συνεχείς ρίψεις χειροβομβίδων κρότου-λάμψης και δακρυγόνων που εκτόξευσαν άνδρες των ΜΑΤ: \\n\\nΤην εξέλιξη επιβεβαιώνει μέσω facebook ο βουλευτής Λέσβου του ΣΥΡΙΖΑ, Γ. Μπουρνούς: \\n\\nΧτυπούν αδιάκοπα, βανδαλίζουν αυτοκίνητα, πυρπολούν το δάσος της περιοχής, κατήγγειλε και η βουλεύτρια του ΚΚΕ, Μαρία Κομνηνάκα η οποία βρίσκεται στο \"Διαβολόρεμα\" \\n\\nΤεράστια η διαδήλωση και στη Χίο - Σοβαρά επεισόδια στον Καρφά \\n\\nΟγκώδης ήταν και η διαδήλωση που πραγματοποιείται στην πλατεία Βουνακίου στη Χίο. Δείτε παρακάτω την επίθεση ΜΑΤ σε πολίτες. \\n\\nΗ συντονιστική επιτροπή προέτρεψε τους επαγγελματίες, αφενός να μη συνεργαστούν με την κυβέρνηση, αφετέρου να μην προμηθεύουν τα ΜΑΤ με αγαθά πρώτης ανάγκης. \\n\\nΣύμφωνα με   \n",
       "7937082                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               Στο πλαίσιο της αναμέτρησης της Γερμανίας με τη Δανία έγινε χθες pre game show, το οποίο περιλάμβανε ένα ξεχωριστό ματς. \\n\\nΣτο πλαίσιο της διοργάνωσης \"Sexy Soccer 2012\" έγινε ένα διαφορετικό παιχνίδι, μεταξύ 12 πορνοστάρ που χωρίστηκαν σε δύο ομάδες. \\n\\nΝικήτρια στο τυπικό μέρος ήταν η Δανία με 13-1. Ωστόσο, μεγάλοι κερδισμένοι ήταν οι άντρες που παρακολούθησαν το ματς αυτό διά ζώσης, αφού οι παίκτριες των δύο ομάδων αγωνίστηκαν με body-paint, χωρίς να φορούν μπλούζες! \\n\\nΤο μόνο που έλειψε από την αναμέτρηση αυτή ήταν μια βροχή που θα έδινε ακόμη μεγαλύτερο ενδιαφέρον, αφού θα γινόταν πιο... αποκαλυπτικό το ματς. Κάτι που εύχονταν όλοι όσοι το παρακολούθησαν, ωστόσο ο καιρός δεν τους έκανε το χατίρι. Βέβαια, ο ιδρώτας έκανε εν μέρει τη δουλειά της βροχής, όπως φαίνεται σε κάποιες περιπτώσεις. \\n\\n   \n",
       "125493                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              ΜΕ 5 ΑΘΛΗΤΕΣ ΣΤΗΝ ΣΤΙΣ ΠΡΟΕΘΝΙΚΕΣ ΟΜΑΔΕΣ OPTIMIST ΚΑΙ LASER 4.7 Ο ΙOAN \\n\\nΣε ένα ιδιαίτερο και δύσκολο αγωνιστικό περιβάλλον λόγω των καιρικών συνθηκών πραγματοποιήθηκαν 5 Ιστιοδρομίες οι αθλητές μας έδειξαν ότι βρίσκονται σε πολύ υψηλό επίπεδο καθώς 5 από τους 9 αθλητές πέτυχαν την πρόκρισή τους στην Προ εθνική ομάδα των κατηγοριών τους και θα διεκδικήσουν την είσοδο τους στις αντίστοιχες Εθνικές Ομάδες σε αγώνα που θα διεξαχθεί στην Αθήνα το χρονικό διάστημα 19-23/04/2019 με την συμμετοχή των 123 καλύτερων αθλητών στην κατηγορία OPTIMIST και 83 στην κατηγορία LASER 4.7. \\n\\nΣτον Αγώνα συμμετείχαν 14 όμιλοι της Περιφέρειας με 107 αθλητές στην κατηγορία OPTIMIST και 50 αθλητές στην κατηγορία LASER 4.7.O Ιστιοπλοϊκός Όμιλος Αγίου Νικολάου \"ΑΙΟΛΟΣ\" συμμετείχε με 6 αθλητές στην κατηγορία OPTIMIST και 3 αθλητές στην κατηγορία LASER 4.7. \\n\\nΟι αθλητές που επέτυχαν την πρόκρισή τους στις Προ Εθνικές ομάδες των κατηγοριών τους και θα μεταβούν στην Αθήνα για το αγώνα που θα δώσει την πρόκριση στις Εθνικές Ομάδες είναι: \\n\\nΚατηγορία: LASER 4.7 \\n\\nΜασσάρος Ελευθέριος 9η θέση στα αγόρια \\n\\nΑναστασίου Αθηνά Μαρία 4η θέση στα κορίτσια \\n\\nΚοβατζής Θωμάς 8η θέση στα αγόρια \\n\\nΚατηγορία: OPTIMIST \\n\\nΜαστοράκης Νικήτας 7η θέση στα αγόρια \\n\\nΜασσάρος Στυλιανός 8η θέση στα αγόρια \\n\\nΤα αποτελέσματα των υπόλοιπων αθλητών μας που συμμετείχαν στο Περιφερειακό Πρωτάθλημα Νήσων Αιγαίου και Κρήτης είναι: \\n\\nΚατηγορία: OPTIMIST \\n\\nΑυγουστινάτος Σωκράτης 12η θέση στα αγόρια \\n\\nΜαθιουδάκη Χαβάκη Ειρήνη 13η θέση στα κορίτσια \\n\\nΜαστορής Ιωάννης 36η θέση στα αγόρια \\n\\nΣυγχαρητήρια σε όλους τους αθλητές μας και τον Προπονητή τους κ Ιωάννη Καλαμπαλίκη για τα αποτελέσματά τους και την άψογη συνεργασία και συμπεριφορά τους τόσο εντός όσο και εκτός αγωνιστικού στίβου. \\n\\nΕπίσης Θέλουμε να ευχαριστήσουμε όλους όσους συνέβαλαν στην οργάνωση και ολοκλήρωση μιας ακόμα άρτιας από κάθε άποψη αποστολής. \\n\\nΕδω μπορειτε να βρειτε τα τελικα αποτελέσματα Optimist και Laser \\n\\n   \n",
       "\n",
       "        genre  \n",
       "3973259  News  \n",
       "3449533  News  \n",
       "4932053  News  \n",
       "7937082  News  \n",
       "125493   News  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Change <p> signs to actual new lines\n",
    "big_sample[\"text\"] = big_sample[\"text\"].str.replace(\"<p>\", \"\\n\\n\")\n",
    "\n",
    "with pd.option_context('display.max_colwidth', None):\n",
    "\tdisplay(big_sample.head())\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(5000, 3)\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>document_id</th>\n",
       "      <th>text</th>\n",
       "      <th>genre</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>7634994</th>\n",
       "      <td>macocu.el.12233021</td>\n",
       "      <td>Η Yahoo και η AOL για πούλημα έναντι $5 δισεκα...</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5518538</th>\n",
       "      <td>macocu.el.8848752</td>\n",
       "      <td>Απάντηση σε ερώτηση για ΚΕΠΑ και ασφάλιση ΑΜΕΑ...</td>\n",
       "      <td>News</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                document_id  \\\n",
       "7634994  macocu.el.12233021   \n",
       "5518538   macocu.el.8848752   \n",
       "\n",
       "                                                      text genre  \n",
       "7634994  Η Yahoo και η AOL για πούλημα έναντι $5 δισεκα...  News  \n",
       "5518538  Απάντηση σε ερώτηση για ΚΕΠΑ και ασφάλιση ΑΜΕΑ...  News  "
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Extract a sample on which we will first run the automatic prediction and mark it\n",
    "prediction_sample = big_sample.sample(n=5250)\n",
    "\n",
    "print(prediction_sample.shape)\n",
    "\n",
    "prediction_sample.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>document_id</th>\n",
       "      <th>text</th>\n",
       "      <th>genre</th>\n",
       "      <th>prediction_sample</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3973259</th>\n",
       "      <td>macocu.el.6373650</td>\n",
       "      <td>Ομιλία Δημάρχου Πάρου για το Λιμενικό Σύστημα ...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3449533</th>\n",
       "      <td>macocu.el.5513105</td>\n",
       "      <td>Βαραίνουν το κόστος οι ανατιμήσεις, ορατά τα 6...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4932053</th>\n",
       "      <td>macocu.el.7914732</td>\n",
       "      <td>Φόρμα αναζήτησης \\n\\nΜετά από 48ωρο κρεσέντο α...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7937082</th>\n",
       "      <td>macocu.el.12751875</td>\n",
       "      <td>Στο πλαίσιο της αναμέτρησης της Γερμανίας με τ...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>125493</th>\n",
       "      <td>macocu.el.183717</td>\n",
       "      <td>ΜΕ 5 ΑΘΛΗΤΕΣ ΣΤΗΝ ΣΤΙΣ ΠΡΟΕΘΝΙΚΕΣ ΟΜΑΔΕΣ OPTIM...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10277535</th>\n",
       "      <td>macocu.el.16270178</td>\n",
       "      <td>Ο Δήμος Ναυπακτίας για την επιστολή της Ομοσπο...</td>\n",
       "      <td>News</td>\n",
       "      <td>yes</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9894302</th>\n",
       "      <td>macocu.el.15610009</td>\n",
       "      <td>Προκηρύξεις \\n\\nΠΡΟΟΙΜΙΟ \\n\\n8.30 - 9.30: Λειτ...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5921875</th>\n",
       "      <td>macocu.el.9530596</td>\n",
       "      <td>Σελίδες \\n\\nΔεύτερη ευκαιρία για τους Δημοτικο...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2468336</th>\n",
       "      <td>macocu.el.3957210</td>\n",
       "      <td>2ο Πανελλήνιο Φεστιβάλ Κόμικς \\n\\nΤο 2ο Φεστιβ...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4389695</th>\n",
       "      <td>macocu.el.7061159</td>\n",
       "      <td>Ποδαρικό στο πρωτάθλημα με ντέρμπι \\n\\nΜετά απ...</td>\n",
       "      <td>News</td>\n",
       "      <td>no</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                 document_id  \\\n",
       "3973259    macocu.el.6373650   \n",
       "3449533    macocu.el.5513105   \n",
       "4932053    macocu.el.7914732   \n",
       "7937082   macocu.el.12751875   \n",
       "125493      macocu.el.183717   \n",
       "10277535  macocu.el.16270178   \n",
       "9894302   macocu.el.15610009   \n",
       "5921875    macocu.el.9530596   \n",
       "2468336    macocu.el.3957210   \n",
       "4389695    macocu.el.7061159   \n",
       "\n",
       "                                                       text genre  \\\n",
       "3973259   Ομιλία Δημάρχου Πάρου για το Λιμενικό Σύστημα ...  News   \n",
       "3449533   Βαραίνουν το κόστος οι ανατιμήσεις, ορατά τα 6...  News   \n",
       "4932053   Φόρμα αναζήτησης \\n\\nΜετά από 48ωρο κρεσέντο α...  News   \n",
       "7937082   Στο πλαίσιο της αναμέτρησης της Γερμανίας με τ...  News   \n",
       "125493    ΜΕ 5 ΑΘΛΗΤΕΣ ΣΤΗΝ ΣΤΙΣ ΠΡΟΕΘΝΙΚΕΣ ΟΜΑΔΕΣ OPTIM...  News   \n",
       "10277535  Ο Δήμος Ναυπακτίας για την επιστολή της Ομοσπο...  News   \n",
       "9894302   Προκηρύξεις \\n\\nΠΡΟΟΙΜΙΟ \\n\\n8.30 - 9.30: Λειτ...  News   \n",
       "5921875   Σελίδες \\n\\nΔεύτερη ευκαιρία για τους Δημοτικο...  News   \n",
       "2468336   2ο Πανελλήνιο Φεστιβάλ Κόμικς \\n\\nΤο 2ο Φεστιβ...  News   \n",
       "4389695   Ποδαρικό στο πρωτάθλημα με ντέρμπι \\n\\nΜετά απ...  News   \n",
       "\n",
       "         prediction_sample  \n",
       "3973259                 no  \n",
       "3449533                 no  \n",
       "4932053                 no  \n",
       "7937082                 no  \n",
       "125493                  no  \n",
       "10277535               yes  \n",
       "9894302                 no  \n",
       "5921875                 no  \n",
       "2468336                 no  \n",
       "4389695                 no  "
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Extract ids to mark in the big sample which text is included in the prediction sample\n",
    "pred_sample_ids = prediction_sample[\"document_id\"].to_list()\n",
    "\n",
    "big_sample[\"prediction_sample\"] = np.where((big_sample[\"document_id\"].isin(pred_sample_ids)), \"yes\", \"no\" )\n",
    "\n",
    "big_sample.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Save the dataset\n",
    "big_sample.to_json(\"datasets/MaCoCu-sample/MaCoCu-training-sample-{}.jsonl\".format(lang), orient=\"records\", lines=True)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "emma",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.19"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}