Update spacy to version 3.3.1 (#5)

* words_n_fun (update): updated spacy to version 3.3.1 (to avoid click issues)

* words_n_fun (fix): updated fr_core_news_sm following the spacy update

* words_n_fun (fix): fixed some tests with the new lemmatizer version

Author: LexABzH

.github/workflows/wnf_build_tests.yaml

@@ -68,7 +68,7 @@ jobs:
       - name: Install package & dependencies
         run: |
           python -m pip install --upgrade pip
-          pip install https://github.com/explosion/spacy-models/releases/download/fr_core_news_sm-3.2.0/fr_core_news_sm-3.2.0-py3-none-any.whl
+          pip install https://github.com/explosion/spacy-models/releases/download/fr_core_news_sm-3.3.0/fr_core_news_sm-3.3.0-py3-none-any.whl
           pip install .[lemmatizer]
           pip install nose==1.3.7 nose-exclude==0.5.0 coverage==5.3
           pip install flake8

requirements.txt

@@ -22,6 +22,6 @@ coverage==5.3
 # Has to be installed last / optionnal to use spacy lemmatizer
 markupsafe==2.0.1  # BUG FIX -> https://github.com/aws/aws-sam-cli/issues/3661
 Cython==0.29.24
-spacy==3.2.4
+spacy==3.3.1
 # The following line downloads a spacy model. It can be commented if you don't have an internet access to download it, but lemmatizer features won't work.
-https://github.com/explosion/spacy-models/releases/download/fr_core_news_sm-3.2.0/fr_core_news_sm-3.2.0-py3-none-any.whl
+https://github.com/explosion/spacy-models/releases/download/fr_core_news_sm-3.3.0/fr_core_news_sm-3.3.0-py3-none-any.whl

setup.py

@@ -56,7 +56,7 @@
         'ftfy>=5.8,<6.0',
     ],
     extras_require={
-        "lemmatizer": ["spacy==3.2.4", "markupsafe==2.0.1", "Cython==0.29.24", "fr-core-news-sm==3.2.0"]
+        "lemmatizer": ["spacy==3.3.1", "markupsafe==2.0.1", "Cython==0.29.24", "fr-core-news-sm==3.3.0"]
     }
     # pip install words_n_fun || pip install words_n_fun[lemmatizer]
 )

tests/test_2_basic.py

@@ -229,7 +229,7 @@ def test_remove_gender_synonyms(self):
     def test_lemmatize(self):
         '''Testing function basic.lemmatize'''
         docs = ["Chauffeur(se)  accompagnateur(trice) pers à mob - 5 ans de expérience.", "Je maîtrise 12 langages informatiques dont le C & j'ai le Permis B", "^Chauffeur(se)  accompagnateur(trice) pers à mob - 5 ans de expérience.", "Coordinateur d'Equipe d'Action Territoriale ", 5, None]
-        docs_lemmatized = ['chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'je maîtris 12 langage informatique dont le c j avoir le permis b', 'chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'coordinateur d equipe d action territorial', None, None]
+        docs_lemmatized = ['chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'je maîtrise 12 langage informatique dont le c j avoir le permettre b', 'chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'coordinateur d equipe d action territorial', None, None]
 
         # On check seulement si model lemmatizer installé
         if spacy.util.is_package("fr_core_news_sm"):

tests/test_6_lemmatizer.py

@@ -62,7 +62,7 @@ def setUp(self):
     def test_lemmatize(self):
         '''Testing function lemmatizer.lemmatize'''
         docs = ["Chauffeur(se)  accompagnateur(trice) pers à mob - 5 ans de expérience.", "Je maîtrise 12 langages informatiques dont le C & j'ai le Permis B", "^Chauffeur(se)  accompagnateur(trice) pers à mob - 5 ans de expérience.", "Coordinateur d'Equipe d'Action Territoriale ", 5, None]
-        docs_lemmatized = ['chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'je maîtris 12 langage informatique dont le c j avoir le permis b', 'chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'coordinateur d equipe d action territorial', None, None]
+        docs_lemmatized = ['chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'je maîtrise 12 langage informatique dont le c j avoir le permettre b', 'chauffeur se accompagnateur trice pers à mob 5 an de expérience', 'coordinateur d equipe d action territorial', None, None]
 
         if spacy.util.is_package("fr_core_news_sm"):
             # Vérification du fonctionnement type