Comment Wialon traite les données

A première vue, il peut sembler que nos partenaires ne se préoccupent pas de la manière dont Wialon traite les messages. Ils installent des trackers et des capteurs sur les véhicules de leurs clients, les connectent à Wialon, les appareils transmettent des informations, la plateforme les affiche - tout fonctionne!

Dans la pratique, les questions des utilisateurs finaux sont inévitables. "Tout le mois, j'ai suivi les données dans l'application mobile, aujourd'hui j'ai généré un rapport, et les résultats sont différents!", "Les capteurs ont envoyé de nouvelles informations - pourquoi je ne peux pas les voir dans le rapport?"

Nous pensons que la compréhension des algorithmes de notre plateforme simplifie le travail de l'utilisateur final avec celle-ci.

C'est pourquoi Oleg Zharkovsky, responsable de l'équipe de formation de Wialon, et Maria Poklonskaya, analyste commercial chez Gurtam, ont organisé une rencontre en ligne "Trois méthodes de traitement des données dans Wialon".

Dans cet article, nous avons rassemblé et structuré les informations les plus importantes et les plus utiles du rencontre.

De quelles données parlons-nous?

Commençons par les termes: qu'entendons-nous par données lorsque nous parlons de Wialon?

Les données sont un message qui est stocké et transmis par un appareil installé sur une unité. Ces messages comprennent:

• le temps;
• les informations provenant du module GPS: les coordonnées, la vitesse, l'altitude, le nombre de satellites;
• les paramètres des capteurs externes et internes: le niveau de carburant du capteur de niveau de carburant, le nombre de tours de roue de l'odomètre, etc.
• Wialon reçoit ces données, les modifie si nécessaire et les traite.

Étapes du traitement des données dans Wialon

Parlons plus en détail de chaque étape du traitement des données dans Wialon.

Temps dans Wialon

Pour Wialon, le temps est extrêmement important, puisque Wialon utilise le temps pour trier les messages.

Comment cela fonctionne: le tracker génère un message en utilisant le format de temps Unix (le nombre de secondes écoulées depuis le 1er janvier 1970 à minuit) et l'envoie au serveur.

Comment le temps affecte les données

• Wialon tronque un horodatage à la seconde mais n'indique pas les millisecondes. En même temps, les trackers populaires comme Teltonika, Ruptela, Galileosky peuvent générer plus d'un message par seconde. Avec un flux important de messages, cela peut entraîner une certaine confusion, car Wialon ne dispose d'aucun autre critère pour trier les messages, à l'exception du temps.

L'équipe de développement de Wialon envisage d'ajouter trois caractères supplémentaires au champ de l'heure. Mais la mise en œuvre et le test de ce raffinement ne sont pas une solution rapide, car le traitement des données en secondes et millisecondes doit être aussi fiable que possible.

• Le temps pris par le tracker pour enregistrer un message est inférieur ou égal au temps que le tracker passe à l'envoyer depuis sa mémoire, et tout cela est inférieur ou égal au temps d'arrivée au serveur.

Cela ressemble à ceci:

Formule de Wialon pour l'envoi et la réception d'un message

Dans la pratique, l'utilisateur peut se trouver dans une situation que nous appelons un message du futur: le serveur reçoit un message avec un horodatage qui n'est pas encore arrivé. Voici pourquoi cela se produit:

• Configuration de l'appareil. Si le fuseau horaire UTC+0 n'est pas défini dans le tracker, celui-ci peut envoyer un message au serveur avec un horodatage incorrect. En conséquence, Wialon peut recevoir un message avec un horodatage du futur et devra le modifier. La solution est simple: régler l'heure du tracker sur UTC+0.
• Synchronisation d'horloge. La situation est typique de Wialon Local: lorsque la synchronisation n'est pas configurée, l'heure du serveur peut dévier de quelques secondes, voire de quelques minutes. Pour éviter cela, l'administrateur du serveur doit configurer une synchronisation régulière d'horloge en utilisant le Protocole d'Heure Réseau (Network Time Protocol).

Paramètres du capteur

Les paramètres sont des valeurs dans les messages qui décrivent l'état de l'unité surveillée et des appareils qui y sont installés.

Ce qui affecte le travail avec les paramètres

• Données illisibles. Les informations que Wialon reçoit ne sont pas toujours claires pour l'utilisateur.

Lorsque l'utilisateur voit la valeur temperature13, il comprend: on parle de température. Mais la température de quoi: du moteur, du carburant ou de l'air? Celsius ou Fahrenheit?

Chaque paramètre peut entraîner un large éventail de questions de ce type. Chaque fabricant de matériel informatique a sa propre idée sur la manière d'enregistrer les valeurs.

Wialon, pour sa part, unifie les paramètres qui sont communs à tous les appareils. Par exemple, le paramètre de vitesse est toujours la vitesse; lat, lon représentent les coordonnées, etc

• Pas de norme de données unifiée. Wialon travaille actuellement avec 2 300 types d'appareils, et ce nombre ne cesse d'augmenter. Une telle flexibilité a ses inconvénients: il est impossible de standardiser automatiquement les valeurs des paramètres avec autant d'appareils et de scénarios d'utilisation.

Pour décrypter les messages des appareils de suivi par GPS, vous pouvez vous rendre dans la section Équipement GPS de l'onglet Matériel.

• Dans le champ Rechercher le matériel, entrez le modèle que vous recherchez.
• Ensuite, sélectionnez l'onglet Paramètres.
• Vous obtiendrez une liste de noms de paramètres, avec les descriptions et les unités de mesure (le cas échéant).

Si vous n'avez pas trouvé les informations que vous recherchez, écrivez à l'équipe de spécialistes du matériel à l'adresse hw@gurtam.com, et ils vous aideront.

Filtrage de la validité des messages

Wialon supprime les données qui entrent dans la catégorie des données inexactes selon les paramètres de validité. Tous les réglages sont effectués par l'utilisateur, sinon, Wialon ne supprimera rien.

Récapitulons brièvement comment la filtration de la validité des messages fonctionne:

• Allez dans l'onglet Avancé des propriétés de l'unité.
• Ouvrez la section de filtrage de la validité des messages.
• Choisissez vos conditions de filtrage. Par exemple, le filtrage par la vitesse (le critère le plus courant) ou le nombre minimum de satellites.
• Pour les trackers qui peuvent déterminer eux-mêmes la validité des messages, sélectionnez l'option Ignorer les messages invalides.

Configuration de la filtration de la validité des messages

Capteurs

Bien que les capteurs travaillent également avec des paramètres, ils simplifient grandement leur affichage pour l'utilisateur:

• Les capteurs déterminent la logique du traitement des paramètres. Chacun des types de capteurs a des algorithmes qui lui sont associés dans Wialon. Par exemple, les rapports pour la température et le poids ont des colonnes séparées que Wialon remplit automatiquement en fonction du type de capteur.
• Les capteurs améliorent la fonctionnalité actuelle. Un cas d'utilisation courant chez nos partenaires est la connexion d'un odomètre relatif ou d'un capteur de kilométrage pour donner à l'utilisateur final des données de kilométrage et de voyage plus précises que GPS.
• Les capteurs donnent accès à de nouvelles fonctionnalités. Nous avons ici de nombreux exemples: le capteur de niveau de carburant détecte les vols de carburant, le capteur d'allumage compte les heures de fonctionnement du moteur et le capteur de passagers attribue les passagers. Sans la création de ces capteurs, les fonctionnalités ne sont pas disponibles.

Comment les capteurs traitent les données

• Affichage des données avec des formules mathématiques. Dans le champ où le paramètre est spécifié, l'utilisateur peut indiquer une formule. Par exemple, il peut s'agir d'une formule simple qui convertit les mètres en kilomètres à l'aide d'un facteur. Des variantes plus complexes sont également disponibles: si l'utilisateur veut voir l'accélération, il entre une formule par laquelle Wialon divise la différence de vitesse entre deux messages par la différence de temps qui les sépare.
• Calcul de tableaux. Il permet aux utilisateurs d'afficher des dépendances simplifiées en utilisant seulement quelques-uns des points que l'intégrateur détermine en pratique.

Par exemple, l'étalonnage du réservoir lors de l'utilisation d'un capteur de niveau de carburant permet de déterminer la correspondance entre le niveau de carburant dans le réservoir et le volume de ce carburant.

De même, en utilisant le calcul, l'utilisateur compare la valeur du capteur avec la gamme du paramètre d'origine.

Voici un exemple: si la tension est supérieure à 23, alors le capteur d'allumage est allumé, c'est-à-dire égal à 1, et si elle est inférieure, alors le capteur est éteint et sort 0.

• Validation. Grâce à la validation, l'utilisateur peut relier les valeurs de plusieurs capteurs entre elles. Pour cela, on utilise non seulement des opérations mathématiques mais aussi des opérations logiques. Par exemple, le test d'inégalité à zéro.

Trois principaux types de traitement des données

Maintenant que nous savons ce que nous appelons des données dans Wialon et quelles sont les difficultés liées à leur prétraitement, passons à l'étape finale, c'est-à-dire le traitement des données.

Il existe trois grandes méthodes de traitement des données dans Wialon auxquelles les utilisateurs ont le plus souvent recours. Deux d'entre elles - en ligne et analytique - existent depuis un certain temps. La troisième méthode - les événements - est apparue récemment. 

Ces méthodes utilisent les mêmes messages.

En ligne

L'algorithme de la méthode de traitement des données en ligne est le plus simple et le plus transparent: il traite chaque nouveau message en temps réel.

• Onglet Surveillance. L'onglet présente une liste d'unités avec un grand nombre d'indicateurs correspondants. L'utilisateur clique sur l'icône de l'unité et obtient des données étendues, par exemple les valeurs du capteur de niveau de carburant.  Lorsque les valeurs changent, Wialon met à jour les données.
• Dashboard. Les informations telles que les géozones et les unités qui s'y trouvent ou l'état du mouvement se présentent sous la forme de diagrammes avec des données en ligne.
• Notifications. La méthode permet aux utilisateurs finaux de calculer la durée de l'état de l'unité.

Bien que la méthode en ligne semble être une manière claire et transparente de traiter les données, dans la pratique, tout n'est peut-être pas si simple. Voici un exemple plus détaillé tiré de la rencontre.

Analytique: messages, traces et rapports

L'analyse peut être opposée à la méthode en ligne d'une certaine manière: la méthode en ligne traite chaque message entrant ici et maintenant, tandis que l'analyse travaille avec une période complète.

Par exemple, si l'utilisateur crée un rapport pour la dernière heure, et que le tracker envoie de nouvelles données concernant cette heure après la génération du rapport, le rapport n'affichera pas les nouvelles données jusqu'à ce que l'utilisateur génère un nouveau rapport.

Outils d'analyse

• Messages. L'onglet affiche les données reçues et calcule le kilométrage et la durée du trajet.
• Traces. L'onglet prend en compte le détecteur de trajet et affiche les stations-service et autres marqueurs.
• Rapports. Il s'agit d'un outil extrêmement flexible permettant d'afficher un large éventail d'informations.

Comment l'analyse fonctionne

Wialon télécharge un ensemble de données pour une période donnée et les utilise ensuite selon une logique prédéfinie. En même temps, la logique de chaque outil d'analyse sera différente. 

Par exemple, le rapport sur les trajets se concentre sur le détecteur de trajets, le rapport sur les pleins de carburant travaille avec les valeurs du capteur de niveau de carburant, et le rapport sur la chronologie affiche à la fois les trajets et les pleins de carburant.

Événements

Nous avons ajouté les événements aux méthodes en ligne et analytique afin de combiner les principaux avantages des deux autres méthodes.

Les événements sont aussi efficaces que les méthodes en ligne: ils prennent en compte chaque nouveau message, en le traitant en arrière-plan.

Ils fonctionnent avec n'importe quel volume de messages comme les analyses: les événements prennent en compte les messages précédents et les traitent à nouveau si nécessaire. Contrairement à ce qui se passe en ligne, les événements affichent des informations en cas de manque de données. Si le dernier message ne contient aucune donnée sur un certain paramètre, l'événement prendra cette information dans le dernier message qui la contient. En ligne, on ne regarde pas aussi loin et met un tiret à la place.

Par conséquent, lorsque l'utilisateur demande des informations, les données ont déjà été traitées et peuvent être immédiatement affichées.

Pour l'instant, cet algorithme fonctionne avec six types de données:

• déplacements;
• capteurs;
• allumage;
• excès de vitesse;
• compteurs;
• carburant.

Où les événements sont utilisés

• Application Wialon pour iOS et Android. Les événements sont très populaires sur les smartphones, car ils permettent un accès rapide aux données les plus pertinentes pour n'importe quelle période.
• Notifications de remplissage de carburant et de vol de carburant. Les événements sont à l'origine de ces notifications.
• Dashboard. Les événements affichent une partie des données: état de connexion (connecté/non connecté), état de mouvement (en mouvement/non, etc.).
• Rapport sur les excès de vitesse. Bien que les rapports appartiennent naturellement à la méthode analytique, ce type de rapport est un outil de la méthode événementielle.
• Infobulles et informations étendues. Lorsqu'ils sont configurés correctement, les événements permettent d'afficher les dernières données des capteurs. Ainsi, Wialon peut travailler avec des trackers qui ne signalent leur état qu'au moment du changement, au lieu d'envoyer constamment des messages monotones.

Par exemple, lorsque le véhicule est en mouvement, le tracker peut envoyer le message Le moteur tourne à plusieurs reprises. Mais il est beaucoup plus efficace d'envoyer ce message une fois lorsque le moteur est allumé, puis le message Le moteur ne tourne pas lorsque l'état a changé et que le moteur est éteint. Les événements donnent l'aperçu de ce qui s'est passé au cours de la période avec un seul message.

Divergences entre les méthodes de traitement des données

En théorie, il ne devrait pas y avoir de divergence entre les événements et les analyses. Mais dans la réalité, cela arrive. Le plus souvent, la divergence est due à des différences entre les algorithmes. Mais dans ce cas, nous voyons plutôt des différences dans l'affichage des données que des données différentes elles-mêmes.

Si nous parlons de divergences entre les valeurs, cela se produit pour un certain nombre de raisons.

• Une grande quantité de données. L'algorithme de la méthode des événements, qui traite les données uniquement par ordre chronologique, trie d'abord les messages, puis commence à les traiter à partir du moment où de nouvelles données ont été reçues.

En cas de différence importante qui ne disparaît pas au bout d'un certain temps, l'utilisateur peut toujours contacter notre support technique. Ces tâches sont hautement prioritaires, et l'équipe traite rapidement et minutieusement chaque cas de divergence.

Comment éviter le problème: configurez l'ordre chronologique des messages du tracker. Cela garantira le traitement plus rapide des données puisque les événements ne recalculeront pas plusieurs fois les anciennes données.

• Modification des paramètres. Imaginons que l'utilisateur a suivi les données sous forme d'événements dans l'application mobile pendant tout le mois, et que chaque jour il a vu les mêmes valeurs. Le dernier jour du mois, l'utilisateur a modifié les paramètres, par exemple, des capteurs de niveau de carburant, et a établi un rapport mensuel. Les données du rapport peuvent être différentes de celles qu'il avait observées. Cela s'explique par le fait que le rapport a appliqué les paramètres mis à jour aux données reçues pour l'ensemble du mois, alors que les événements n'ont recalculé automatiquement les données que pour les dernières 24 heures.

Comment éviter le problème: demandez un recalcul des événements pour toute la période auprès du support technique, support@gurtam.com.

Conclusion

On espère que cet article vous a permis d'en savoir plus sur le traitement des données dans Wialon. Grâce à ce savoir-faire, vous pourrez mieux comprendre les éventuelles divergences dans les résultats et sélectionner plus précisément les paramètres pour vos clients.

Nous publions régulièrement des vidéos utiles sur notre chaîne YouTube - abonnez-vous, regardez les rencontres et les webinaires en ligne et envoyez-nous vos commentaires, nous en tiendrons compte dans notre travail. Et n'oubliez pas de suivre le blog sur gurtam.com pour rester au courant de nos actualités, des matériaux analytiques et des instructions détaillées.

Savez-vous qu'il existe le centre d'aide de Wialon? Nous y rassemblons les informations les plus utiles - consultez-le!