Rapport d'essais

Les objets d’essais (DUT)

L’objet d’essai correspond au produit, au logiciel ou au service testé (on parle également de DUT, acronyme de Device Under Test) pour évaluer ses performances.

Il peut s’agir d’un ou d’un ensemble de composants :

• antennes GNSS
• récepteurs GNSS
• algorithmes de traitement et/ou de fusion de données
• services d’assistance (SBAS, RTK, PPP, …)
• capteurs proprioceptifs ou extéroceptifs
• cartes GNSS.

Un objet d’essai peut se décomposer en un ensemble de sous-composants susceptibles d’être évalués séparément avant d’être intégrés dans un système de positionnement.

Une fois ce système constitué, plusieurs séries d’essais sont nécessaires pour caractériser les performances en fonction des contraintes opérationnelles. Les premières évaluations sont menées dans des environnements maîtrisés où les contraintes sont appréhendées isolément.

Les derniers essais sont au contraire menés dans les pires conditions, combinant plusieurs perturbations pour connaitre les limites de la solution sous test.

A titre d’exemple, si un récepteur est soumis à un signal de brouillage, son dispositif de contremesures peut s’avérer très efficace, jusqu’à ce que le scénario d’essais vienne ajouter une perturbation supplémentaire, comme le passage sous un pont ou sous une canopée. Les résultats s’en trouvent affectés sur la suite du parcours.

Les scénarios

Un scénario d’essais a pour objectif de reconstituer les conditions d’utilisation typiques du cas d’usage de l’objet d’essais à destination. Ainsi, une performance est conditionnée aux contextes d’emploi de l’objet d’essais pour avoir une analyse objective et sincère.

Les conditions d’essais doivent notamment considérer simultanément les trois grandes familles de sources d’erreurs que sont les imperfections des infrastructures GNSS, les environnements locaux traversés et les dynamiques appliquées à l’objet d’essais.

Les infrastructures GNSS : les constellations avec leurs satellites, les stations au sol et tous les services de données susceptibles d’impacter les performances.

Les environnements locaux : toutes les contraintes susceptibles de causer des erreurs de précision.

• Les signaux GNSS peuvent être masqués, atténués, diffractés et réfléchis par les bâtiments, les végétaux ou les reliefs à proximité (Par ex. parcours urbain, semi-urbain, rural, etc.).
• Des signaux extérieurs peuvent venir interférer avec ceux du système GNSS causant des erreurs de mesure et même, des dénis de service.
• Les conditions d’ambiance peuvent également constituer une source d’erreurs lorsque le terminal est soumis à des températures extrêmes ou à des phénomènes vibratoires.

Les dynamiques : les conditions de déplacement du terminal GNSS. En l’occurrence, les mesures GNSS sont sensibles aux variations rapides des vitesses et des trajectoires (virages, rond-point, etc.)

Les mesures

Les performances en précision sont le plus souvent exprimées en mesures relatives par rapport à la vraie trajectoire suivie par le véhicule porteur de l’objet d’essais. Cette trajectoire de référence, ou encore appelée vérité terrain, doit être exprimée avec l’estimation de ses incertitudes inhérentes à l’instrumentation de métrologie utilisée. Plus cette instrumentation sera précise et plus les incertitudes seront réduites.

La performance en précision se décline en trois métriques primaires :

• Le positionnement
• La vitesse
• Les attitudes (mesures d’angle avec le lacet, le roulis et le tangage.)

D’autres mesures peuvent se décliner, comme :

• Le temps de réquisition d’une performance nominale
• L’auto-estimation des erreurs ou protection level

Les analyses

Les analyses des mesures permettent de constater les écarts entre la trajectoire vraie et celle de l’objet d’essais considéré, qui lui-même peut être comparé avec un second produit.

Les mesures dans le domaine temporel/distanciel offrent une vision synthétique et intuitive sur le comportement de l’objet d’essais. En particulier, les pics d’erreur et les temps de convergence donnent un premier aperçu des performances de l’objet d’essais.

Un second niveau d’analyse s’impose pour disposer de mesures utilisables pour caractériser les performances en précision.

La norme européenne EN16803-1 préconise de distribuer les tribus de mesures avec une fonction cumulant les écarts pour obtenir une densité probabiliste des performances.

Cette fonction, appelée « Cumulative Distribution Function » (CDF), signe la performance de l’objet d’essais par rapport aux métriques retenues. Pour un même scénario, le tracé de la CDF d’un objet d’essais sera toujours le même. Pour intégrer les erreurs de justesse et de fidélité, plusieurs mesurages sont requis. La moyenne des erreurs de mesures à chaque instant détermine alors la courbe de performance de l’objet d’essais.

Si, cette courbe est projetée sur un graphique avec celle d’un second objet d’essais, il devient facile d’identifier le produit le plus performant pour le scénario considéré.

La norme EN16803-1 propose de retenir trois points de comparaison pour 50%, 75% et 95% des meilleures mesures.

Les résultats

Selon la destination des résultats d’essais, leurs restitutions sont différentes.

Pour comprendre et interpréter les résultats en fonction des différentes configurations d’essais, le client a besoin de disposer d’un rapport d’essais complet regroupant les distributions de mesures dans les domaines temporels et distanciels, et le cas échéant disposer également de l’allure des CDF.

En revanche, pour certifier les résultats d’essais, le client exige de connaitre la conformité des mesures avec les seuils préétablis dans son domaine d’activité. Les résultats sont alors présentés dans des grilles de métriques comparant les mesures constatées et celles requises pour atteindre la performance revendiquée.

Les critères de performances deviennent alors un enjeu pour délivrer ou non des marques de certification. Les résultats et leur interprétation sont présentés de manière synthétique, sous forme de tableau et permettent d’évaluer, valider et certifier les les performances d’objets d’étude issus de la technologie GNSS.