Module d’import : importer des données

Utilisation du module d’import

Le module d’import cible des producteurs de données. Il permet de traiter un fichier CSV issu de producteurs quel que soit les champs et les nomenclatures des données utilisés. Les correspondances nécessaires entre le format source et le format de la synthèse sont établis par la plateforme, tout comme la traduction entre le vocabulaire source vers les nomenclatures SINP. Il stocke et archive les données sources et intègre les données transformées dans la synthèse.

Les données importées doivent entrer dans le périmètre des données de la plateforme. Les données hors périmètre sont considérées comme invalides et ne sont pas importées. Chaque plateforme est paramétrée avec une bounding box permettant de contrôler qu’une donnée est bien dans le périmètre régional. (bounding box dans le fichier de configuration de l’instance). La bounding box de plateforme peut être désactivée.

Le processus d’import se fait en 5 grandes étapes :

1. Choix du jeu de données et du fichier à importer

2. Choix des paramètres d’encodage du fichier source

3. Correspondance des champs du fichier source avec les champs de la synthèse

4. Correspondance des valeurs des champs du fichier source devant correspondre aux nomenclatures SINP de la plateforme

5. Résultats des contrôles et vérifications avant import

Note

A chaque étape les correspondances établies peuvent être enregistrées en tant que modèle.

Note

Des modèles par défaut sont aussi disponibles : synthèse Géonature et format dee.

Processus détaillé

Une fois connecté à GINCO, accédez au module Imports. L’accueil du module affiche une liste des imports en cours ou terminés, selon les droits de l’utilisateur connecté. Vous pouvez alors finir un import en cours, modifier un import terminé, supprimer un import ou bien commencer un nouvel import.

Sur cette page vous pouvez aussi retrouver les rapport d’erreur et télécharger les données invalides.

Pour retrouver un import parmis la liste affichée vous pouvez :

• Effectuer des tris par colonnes (par nom de fichier, date d’import, Jeu de donnée, auteur,…)

• Rechercher un mot clef grâce à la barre de recherche. La recherche sera effectuée sur le Jeu de donnée, le nom de fichier et l’auteur.

Note

Vous pouvez aussi commencer directement un import via la fiche du Jeu de donnée en cliquant sur le bouton « importer des données ».

Etape 1. Choix du jeu de données et du fichier à importer

1. Cliquer sur le bouton « + » en bas de page

2. Choisissez à quel JDD les données importées vont être associées. Si vous souhaitez les associer à un nouveau JDD, il faut l’avoir créé au préalable dans l’application métadonnées INPN”.

3. Chargez le fichier CSV à importer.

Note

A l’heure actuelle, seuls les fichiers csv sont acceptés à l’import.

Etape 2. Choix des paramètres d’encodage du fichier source

Les différents paramètres d’encodage sont automatiquement détectés à l’exception du SRID des données géographiques. Vous pouvez néanmoins modifier les paramètres d’encodage si ceux ci ne correspondent pas à votre fichier.

Les formats de données géographiques acceptés sont :

• Lambert 93

• WGS 84

Etape 3. Correspondance des champs du fichier source avec les champs de la synthèse

Il s’agit de faire correspondre les champs du fichier importé aux champs de la Synthèse (basé sur le standard « Occurrences de taxons » du SINP). Vous pouvez utiliser un mapping déjà existant ou en créer un nouveau. Le module contient par défaut deux mappings correspondant à un fichier exporté au format par défaut de la synthèse de GeoNature, et le format DEE. Si vous créez un nouveau mapping, il sera ensuite réutilisable pour les imports suivants. Il est aussi possible de choisir si les UUID uniques doivent être générés et si les altitudes doivent être calculées automatiquement si elles ne sont pas renseignées dans le fichier importé.

Avertissement

Nous déconseillons fortement de décocher la case générer les uuid manquant car toute données d’observation se doit d’avoir un uuid unique.

Tous les champs du standard DEE ne sont pas repris au niveau du module d’import. Le standard SINP est un standard d’échange entre plateforme. Au niveau du module d’import il s’agit de la récupération de données producteur et non d’échange entre plateformes.

Certains champs initialement dans OGAM sont ou peuvent être calculés par la plateforme :

• Altitude : alt min et max pouvant être calculées à l’import et à la saisie, l’altitude moyenne n’est pas dans le formulaire d’import car elle peut être calculée par la plateforme

• Commune : seul le code insee est demandé. Les champs nomCommune et anneeRef sont absents à la saisie mais présents dans le référentiel

• cdRef : ce champ est présent dans le référentiel TAXREF

Certains champs correspondent à des champs GeoNature, mais ils peuvent être ignorés car non obligatoires :

• Type de relevé/regroupement

• Commentaire de relevé

Certains champs correspondent à des champs de plateforme SINP : ils sont calculés par la plateforme

• DEEdateDerniereModification

• DEEdate Transformation

• diffusionNiveauPrecision

• orgTransformation

Une fois le mapping des champs réalisé, au moins sur les champs obligatoires (Date début, date de fin, Observateur, nom cité, cd nom, localisation géographique), vous pouvez passer à l’étape suivante.

En cas de modification de votre modèle d’import ou de création d’un nouveau modèle, un message s’affichera vous proposant de sauvegarder le modèle et ses modifications.

Etape 4. Correspondance des valeurs des champs du fichier source devant correspondre aux nomenclatures SINP de la plateforme

1. Il s’agit de faire correspondre les valeurs des champs du fichier importé avec les valeurs disponibles dans les champs de la Synthèse (basés par défaut sur les nomenclatures du SINP). Par défaut les correspondances avec les nomenclatures du SINP sous forme de code ou de libellés sont fournies.

Pour que la correspondance des valeurs d’un champ utilisant une nomenclature soit proposée dans l’étape 4, il faut avoir préalable fait la correspondance de ce champ avec la Synthèse dans l’étape 2.

Deux types de correspondance de valeurs sont possibles : labels ou codes

Le fichier d’import peut comporter des champs faisant référence à des nomenclatures en label et d’autres en code mais on ne peut pas avoir des mélanges (codes et labels) au sein d’un même champ utilisant une nomenclature.

En cas de modification de votre modèle de nomenclature ou de création d’un nouveau modèle, un message s’affichera vous proposant de sauvegarder le modèle et ses modifications.

Etape 5. Résultats des contrôles et vérifications avant import

La dernière étape est composée de 2 sous étapes : * les contrôles sur les données importées * l’import des données dans la synthèse

Pour commencer, cliquer sur le bouton « Lancer la vérification ». Une barre de progression d’affiche vous renseignant sur l’avancement des contrôles sur les données à importer.

Note

Si les contrôles sont trop long, n’hésitez pas à quitter la page, les contrôles continuerons à être effectuer et vous pourrez revenir terminer votre import plus tard une fois ces derniers finalisés.

Une fois les contrôles effectués, une nouvelle page s’affiche comportant un aperçu avant import/

Cet aperçu permet d’accéder au/à :

• nombre d’erreur bloquantes et non bloquantes detectées

• la visualisation du rapport d’erreur dans un nouvel onglet si besoin

• téléchargement du fichier CSV des données invalides s’il y en a. Ce fichier pourra être corrigé et faire l’objet d’un nouvel import.

• la Bounding box des données valides vous permettant de détecter des éventuelles erreurs de géométrie.

• la prévisualisation des observations valides prêtes à être importées

Pour importer vos données dans la synthèse, cliquez sur « Importer vos x observations valides ». Une barre de progression s’affiche puis une page de confirmation que votre import a été effectué.

Note

Si l’import est trop long, n’hésitez pas à quitter la page, l’import continuera à être effectuer.

Note

Les contrôles et l’import des données dans la synthèse sont effectués en asynchrone. Vous pouvez quitter l’import sans impacter le déroulé de ces étapes.

Note

Vous pouvez à tout moment entre les étapes 2 et 5 sauvegarder votre import pour le terminer plus tard. Pour cela cliquer sur le bouton « Enregistrer et quitter »

Schéma des étapes de fonctionnement du module :

Gestion des modèles d’import

Afin de gagner du temps lors de vos imports, vous avez la possibilité de sauvegarder des modèles personnels pour les correspondances de champ et de nomenclature.

Pour cela, une fois vos correspondances effectuées aux étapes 3 et 4 de l’import, sauvergardez votre correspondance en choississant le nom de votre modèle en passant à l’étape suivante.

Lors de votre prochain import avec un fichier ayant les mêmes colonnes ou nomenclature, vous pourrez réutiliser le modèle personnalisé en le selectionnant.

Pour modifier un mapping existant, sélectionnez le puis changez la correspondance des champs. En passant à l’étape suivante, un message vous propose de sauvegarder les modifications de votre modèle.

Vous pouvez aussi renommer ou supprimer un modèle existant. Pour cela sélectionnez le puis cliquez sur les boutons actions.

Liste des contrôles réalisés sur le fichier importé et ses données

Type d’erreur	Description de l’erreur
Avertissement de nomenclature	(Non bloquant) Code nomenclature erroné et remplacé par sa valeur par défaut ; La valeur du champ n’est pas dans la liste des codes attendus pour ce champ. Pour connaître la liste des codes autorisés, reportez-vous au Standard en cours.
Champ obligatoire	Valeur manquante dans un champs obligatoire
Champ obligatoire conditionnel	Champs obligatoires conditionnels manquants. Il existe des ensembles de champs liés à un concept qui sont obligatoires conditionnels, c’est à dire que si l’un des champs du concept est utilisé, alors d’autres champs du concept deviennent obligatoires.
Date invalide	La date de début est dans le futur
Date invalide	La date de fin est dans le futur
Doublon	Deux lignes du fichier ont la même clé primaire d’origine; les clés primaires du fichier source ne peuvent pas être dupliquées.
Doublon	L’identifiant SINP fourni existe déjà en base. Il faut en fournir une autre ou laisser la valeur vide pour une attribution automatique.
Doublon	Deux lignes du fichier sont identiques; les lignes ne peuvent pas être dupliquées.
Duplication	L’identificant sinp n’est pas unique dans le fichier fournis
En-tête du fichier	Un des noms de colonne de l’en-tête est vide; tous les noms de colonne doivent avoir une valeur.
En-tête du fichier	Plusieurs colonnes de l’en-tête portent le même nom; tous les noms de colonne de l’en-tête doivent être uniques.
Erreur
Erreur de fichier	Une erreur de chargement s’est produite, probablement à cause d’un mauvais séparateur dans le fichier.
Erreur de format	Format numérique entier incorrect ou négatif dans une des colonnes de type Entier.
Erreur de format	Le format de date est incorrect dans une colonne de type Datetime. Le format attendu est YYYY-MM-DD ou DD-MM-YYYY (les heures sont acceptées sous ce format: HH:MM:SS) - Les séparateurs / . : sont également acceptés
Erreur de format	L’identifiant permanent doit être un UUID valide, ou sa valeur doit être vide.
Erreur de format	Chaîne de caractères trop longue ; la longueur de la chaîne dépasse la longueur maximale autorisée.
Erreur de format	Le format numérique réel est incorrect ou négatif dans une des colonnes de type REEL.
Erreur de format	Plusieurs codes de rattachement fournis pour une même ligne. Une ligne doit avoir un seul code rattachement (code commune OU code maille OU code département)
Erreur de format	PreuveNumerique n’est pas une url ; le champ preuveNumérique indique l’adresse web à laquelle on pourra trouver la preuve numérique ou l’archive contenant toutes les preuves numériques. Il doit commencer par « http:// », « https:// », ou « ftp:// ».
Erreur de ligne sur le fichier	Une ligne du fichier a moins de colonnes que l’en-tête.
Erreur de ligne sur le fichier	Une ligne du fichier est vide; les lignes doivent avoir au moins une cellule non vide.
Erreur de ligne sur le fichier	Une ligne du fichier a plus de colonnes que l’en-tête.
Erreur de nomenclature	Code nomenclature erroné ; La valeur du champ n’est pas dans la liste des codes attendus pour ce champ. Pour connaître la liste des codes autorisés, reportez-vous au Standard en cours.
Erreur de réferentiel	Le code commune/maille/département indiqué ne fait pas partie du référentiel des géographique; la valeur de codeCommune/codeMaille/codeDepartement n’a pu être trouvée dans la version courante du référentiel.
Erreur de référentiel	Le cdNom indiqué n’est pas dans le référentiel TAXREF ; la valeur de cdNom n’a pu être trouvée dans la version courante du référentiel.
Erreur de référentiel	Le cdHab indiqué n’est pas dans le référentiel HABREF ; la valeur de cdHab n’a pu être trouvée dans la version courante du référentiel.
Erreur de référentiel	id_digitizer n’existe pas dans la table « t_roles »
Erreur de référentiel	Le code (maille/département/commune) n’existe pas dans le réferentiel géographique actuel
Format du fichier	L’extension de fichier fournie n’est pas correct
Géométrie	Coordonnées géographiques en dehors du périmètre géographique de l’instance
Géométrie	Erreur de projection pour les coordonnées fournies
Géométrie	Géométrie invalide ; la valeur de la géométrie ne correspond pas au format WKT.
Géométrie	Géométrie invalide
Géométrie	Aucune géometrie fournie (ni X/Y, WKT ou code)
Géoréférencement	Géoréférencement manquant ; un géoréférencement doit être fourni, c’est à dire qu’il faut livrer : soit une géométrie, soit une ou plusieurs commune(s), ou département(s), ou maille(s)
Géoréférencement	Plusieurs géoréférencements ; un seul géoréférencement doit être livré. Une seule des colonnes codeCommune/codeMaille/codeDépartement doit être remplie pour chaque ligne
Incohérence	altitude min > altitude max
Incohérence	profondeur min > profondeur max
Incohérence	date_min > date_max
Incohérence	Incohérence entre les champs dénombrement. La valeur de denombrement_min est supérieure à celle de denombrement _max ou la valeur de denombrement _max est inférieur à denombrement_min.
Incohérence	Erreur de valeur
Incohérence	Incohérence entre les champs de preuve ; si le champ preuveExistante vaut oui, alors l’un des deux champs preuveNumérique ou preuveNonNumérique doit être rempli. A l’inverse, si l’un de ces deux champs est rempli, alors « preuveExistante » ne doit pas prendre une autre valeur que “oui” (code 1).
Incohérence	Référence bibliographique manquante ; si le champ statutSource a la valeur Li (Littérature), alors une référence bibliographique doit être indiquée.
Incohérence	La date de début est inférieur à 1900
Incohérence	La date de fin est inférieur à 1900
Lecture du fichier	Erreur de lecture des données; le format du fichier est incorrect.
Lecture du fichier	Erreur de lecture des données en raison d’un problème d’encodage.
Nom du fichier	Le nom de fichier ne comporte que des chiffres.
Nom du fichier	Nom de fichier trop long ; la longueur du nom de fichier ne doit pas être supérieure à 100 caractères
Ouverture du fichier	Aucun fichier détecté.
Ouverture du fichier	Le fichier ne comporte aucune donnée.
Ouverture du fichier	Aucun fichier envoyé
Ouverture du fichier	Le fichier fournit est vide
Taille du fichier	La taille du fichier dépasse la taille du fichier autorisée