R.E.News future Technology-The Role of Tracking in Augmented Reality

08/05/24-FR-English-NL-footer

Le rôle du suivi dans la réalité augmentée

Image- Delmia

Le tracking est utilisé dans la solution DELMIA Augmented Experience pour identifier les équipements à assembler ou à inspecter. Grâce à son modèle 3D, il localise simultanément plusieurs éléments à la fois et affiche les informations numériques nécessaires au processus industriel au bon endroit, au bon moment et à la bonne échelle.
Qu’est-ce que le suivi ?

Le suivi est le processus logiciel qui localise un produit donné lors d'une acquisition par caméra vidéo en temps réel. Ce processus de suivi est à la base de l’application qui propose une expérience de réalité augmentée.

En d’autres termes, le suivi c’est :

Localisation de la caméra par rapport à des objets spécifiques (objets cibles).
Comprendre et cartographier l'environnement.
Reconnaissance et suivi en temps réel d'objets spécifiques (objets cibles) en fonction des mouvements.

De plus, la précision du modèle 3D par rapport à la réalité, la texture et la forme des objets cibles (présence de bords) et les conditions d'éclairage (visibilité) sont des points clés à prendre en compte pour un suivi plus efficace.

Le rôle du suivi dans la réalité augmentée

Le suivi repose sur des algorithmes de détection et de suivi. Ceux-ci sont formés pour reconnaître et suivre les caractéristiques distinctives de l’objet, telles que sa forme, sa couleur, ses contours, etc.

Pour que le suivi fonctionne, ces éléments sont requis :

L'objet réel manipulé
L'objet spécifique à suivre
Le modèle de suivi (ou modèle 3D) de l'objet à suivre

 Initialisation du suivi manuel

Dans le cas d'une initialisation manuelle du suivi, l'utilisateur définit manuellement la première position pour démarrer le suivi. L'application stocke alors certaines images de référence prises lors du suivi. Ces images de référence constituent un point de départ pour le processus d'initialisation du suivi.

Lorsque l'utilisateur définit la première position, l'application capture des images qui représentent la scène sous différents angles et perspectives. Ces images sont ensuite utilisées comme référence pour un suivi ultérieur. Ils peuvent contenir des objets ou des éléments spécifiques de la scène que l'utilisateur souhaite suivre. Pour l’initialisation du suivi, les images de référence sont comparées aux images en temps réel capturées par la caméra de l’appareil. Des techniques de correspondance d'images sont utilisées pour trouver des correspondances entre les pixels des images de référence et ceux des images en temps réel.

Grâce à ces correspondances, l'application peut estimer les transformations nécessaires pour aligner les images de référence avec les images temps réel. Celui-ci détermine la position initiale et l'orientation des objets à suivre par rapport à la caméra.

Une fois le suivi initialisé, le processus de suivi commence. L'application utilise les informations initiales obtenues pour suivre les objets de la scène en temps réel. Les positions et l'orientation seront conservées dans le flux vidéo.

Cette méthode d'initialisation du suivi dépend de la précision de la position initiale définie par l'utilisateur. Si la position est incorrecte ou imprécise, cela peut entraîner des erreurs de suivi ultérieurement. Cependant, cette approche peut être utile dans les cas où l'utilisateur souhaite suivre des objets spécifiques et est en mesure de fournir une estimation initiale raisonnable de leur position.
Suivi de l'initialisation avec le deep learning
Suivi avec AR

Lorsqu'on parle d'initialisation de suivi basée sur l'apprentissage profond, l'idée est d'utiliser un modèle entraîné pour effectuer cette tâche. Ce modèle est capable d'apprendre à reconnaître les caractéristiques et les modèles pertinents dans les images de référence afin de fournir une initialisation de suivi plus robuste et plus précise.

Le processus d'initialisation du suivi basé sur l'apprentissage profond implique généralement plusieurs étapes :

Collecte de données : il est nécessaire de rassembler un ensemble de données de formation comprenant des images de référence prises lors du suivi. Ces images doivent couvrir une variété de scènes, d'éclairages et de conditions environnementales afin d'obtenir un modèle capable de généraliser efficacement.
Formation sur modèle : une fois les données de formation collectées, elles sont utilisées pour former un modèle d'apprentissage en profondeur. Ce modèle peut être un réseau de neurones convolutifs (CNN) ou une autre architecture adaptée à la tâche d'initialisation du suivi. Le but de la formation est d'apprendre au modèle à reconnaître les caractéristiques pertinentes pour l'initialisation du suivi, telles que les objets d'intérêt, les motifs distinctifs ou les points de repère dans l'image.
Validation et ajustement : une fois le modèle formé, il est évalué sur un ensemble de données de validation distinct pour mesurer ses performances et son efficacité. Si nécessaire, des ajustements peuvent être apportés pour améliorer les performances du modèle, comme augmenter les données d'entraînement, ajouter une régularisation ou optimiser les paramètres.
Utilisation du modèle : Une fois le modèle suffisamment entraîné et validé, il peut être utilisé pour initialiser le suivi dans une application réelle. Lorsque l'utilisateur démarre le suivi, l'application utilise le modèle pour analyser les premières images et estimer la position initiale de l'objet ou de la cible à suivre. Cette estimation initiale est ensuite utilisée comme point de départ du processus de suivi continu.

Techniques de suivi

En utilisant l'apprentissage profond pour l'initialisation du suivi, nous pouvons donc obtenir une méthode plus robuste et adaptable aux changements d'éclairage, d'arrière-plan de la scène et d'autres variations visuelles. Il convient cependant de noter que l’efficacité du modèle dépend de la qualité et de la diversité des données d’entraînement, ainsi que des performances de l’algorithme d’apprentissage utilisé.
Suivi et modèle de suivi

Utilisé dans de nombreux domaines, comme la vision par ordinateur, la robotique ou la réalité augmentée, un modèle de suivi est un modèle ou un algorithme utilisé dans le cadre du processus de suivi décrit ci-dessus, plus précisément dans le suivi et la localisation d'objets dans des séquences d'images ou de vidéos.

Il est conçu pour estimer et prédire la position, le mouvement et les caractéristiques d'un objet d'intérêt au fil du temps. Il peut s’appuyer sur des techniques d’apprentissage automatique telles que l’apprentissage supervisé, l’apprentissage non supervisé ou l’apprentissage par renforcement. L’objectif est de fournir des informations précises sur la position et le mouvement des objets, permettant le suivi, la détection, la reconnaissance et l’analyse.

Le modèle de suivi doit être distingué du terme suivi, car ce n’est pas la même chose : ils sont interdépendants et l’un ne peut fonctionner sans l’autre.

Pour que le suivi du modèle soit possible, plusieurs conditions doivent être remplies :

Modèles CAO 3D
Ils doivent être précis par rapport à la réalité
L'objet cible associé doit rester visible dans la caméra pendant les opérations
Contenir une ou plusieurs parties

Le tracking permet dans la solution DELMIA Augmented Experience d'identifier les équipements à assembler ou à inspecter grâce à son modèle 3D, de localiser simultanément plusieurs éléments à la fois et d'afficher les informations numériques nécessaires au processus industriel au bon endroit, au bon endroit. au bon moment et à la bonne échelle.
NJC.© Info Delmia Article by Wendy (Klotz) Mlynarek, DELMIA Strategic Business Development and Marketing Director, DELMIA Marketing.

---------------------------------------------------------------------------------------------------------------

08/05/24-English

The Role of Tracking in Augmented Reality

Image- Delmia

Tracking is used in the DELMIA Augmented Experience solution to identify the equipment to be assembled or inspected. Thanks to its 3D model, it simultaneously locates several elements at once, and displays the digital information required for the industrial process in the right place, at the right time and at the right scale.
What is tracking?

Tracking is the software process that locates a given product of in a real-time video camera acquisition. This tracking process is the basis of the application that offers an augmented reality experience.

In other words, tracking is:

Locating the camera in relation to specific objects (target objects).
Understanding and mapping the environment.
Real-time recognition and tracking of specific objects (target objects) based on movements.

In addition, the accuracy of the 3D model in relation to reality, the texture and shape of target objects (presence of edges) and lighting conditions (visibility) are key points to take into account for more effective tracking.

The Role of Tracking in Augmented Reality

Tracking relies on detection and tracking algorithms. These are trained to recognize and follow the object’s distinctive characteristics, such as its shape, colour, contours and so on.

For tracking to work, these elements are required:

The real object being manipulated
The specific object to be tracked
The tracking model (or 3D model) of the object to be tracked

 Manual tracking initialization

In the case of manual tracking initialization, the user manually defines the first position to start tracking. The application then stores certain reference images taken during tracking. These reference images are a starting point for the tracking initialization process.

When the user defines the first position, the application captures images that represent the scene from different angles and perspectives. These images are then used as a reference for subsequent tracking. They may contain objects or specific elements of the scene that the user wishes to track. For tracking initialization, the reference images are compared with real-time images captured by the device’s camera. Image matching techniques are used to find correspondences between the pixels of the reference images and those of the real-time images.

Using these correspondences, the application can estimate the transformations required to align the reference images with the real-time images. This determines the initial position and orientation of the objects to be tracked in relation to the camera.

Once tracking is initialized, the tracking process begins. The application uses the initial information obtained to track objects in the scene in real time. The positions and orientation will be maintained in the video stream.

This method of tracking initialization depends on the accuracy of the initial position set by the user. If the position is incorrect or imprecise, this can lead to tracking errors later on. However, this approach can be useful in cases where the user wishes to track specific objects and is able to provide a reasonable initial estimate of their position.
Tracking initialization with deep learning
Tracking with AR

When talking about deep learning-based tracking initialization, the idea is to use a trained model to perform this task. This model is capable of learning to recognize relevant features and patterns in reference images in order to provide a more robust and accurate tracking initialization.

The tracking initialization process based on deep learning typically involves several steps:

Data collection: It is necessary to gather a training dataset that includes reference images taken during tracking. These images must cover a variety of scenes, illuminations and environmental conditions in order to obtain a model capable of generalizing efficiently.
Model training: Once the training data has been collected, it is used to train a deep learning model. This model can be a convolutional neural network (CNN) or another architecture adapted to the tracking initialization task. The aim of training is to teach the model to recognize features relevant to tracking initialization, such as objects of interest, distinctive patterns or landmarks in the image.
Validation and adjustment: Once the model has been trained, it is evaluated on a separate validation dataset to measure its performance and effectiveness. If necessary, adjustments can be made to improve model performance, such as increasing the training data, adding regularization or optimizing parameters.
Using the model: Once the model has been sufficiently trained and validated, it can be used to initialize tracking in a real application. When the user starts tracking, the application uses the model to analyse the first images and estimate the initial position of the object or target to be tracked. This initial estimate is then used as the starting point for the continuous tracking process.

Tracking techniques

By using deep learning for tracking initialization, we can therefore obtain a method that is more robust and adaptable to changes in illumination, scene background and other visual variations. However, it should be noted that the effectiveness of the model depends on the quality and diversity of the training data, as well as the performance of the learning algorithm used.
Tracking vs. tracking model

Used in many fields, such as computer vision, robotics and augmented reality, a tracking model is a model or algorithm used as part of the tracking process described above, more specifically in the tracking and localization of objects in image or video sequences.

It is designed to estimate and predict the position, movement and characteristics of an object of interest over time. It can be based on machine learning techniques such as supervised learning, unsupervised learning or reinforcement learning. The aim is to provide precise information on the position and movement of objects, enabling tracking, detection, recognition and analysis.

The tracking model should be distinguished from the term tracking, as they are not the same thing: they are interdependent, and one cannot function without the other.

For model tracking to be possible, several conditions must be met:

3D CAD models
They must be accurate in relation to reality
The associated target object must remain visible in the camera during operations
Contain one or more parts

Tracking is used in the DELMIA Augmented Experience solution to identify the equipment to be assembled or inspected thanks to its 3D model, to simultaneously locate several elements at once, and to display the digital information required for the industrial process in the right place, at the right time and at the right scale.
NJC.© Info Delmia Article by Wendy (Klotz) Mlynarek, DELMIA Strategic Business Development and Marketing Director, DELMIA Marketing.

  -------------------------------------------------------------------------------------------------------------------

08/05/24-NL

De rol van tracking in augmented reality

Image- Delmia

Tracking wordt gebruikt in de DELMIA Augmented Experience-oplossing om de apparatuur te identificeren die moet worden gemonteerd of geïnspecteerd. Dankzij het 3D-model lokaliseert het meerdere elementen tegelijkertijd en toont het de digitale informatie die nodig is voor het industriële proces op de juiste plaats, op het juiste moment en op de juiste schaal.
Wat is volgen?

Tracking is het softwareproces dat een bepaald product lokaliseert in een real-time videocamera-acquisitie. Dit trackingproces vormt de basis van de applicatie die een augmented reality-ervaring biedt.

Met andere woorden, tracking is:

Lokaliseren van de camera ten opzichte van specifieke objecten (doelobjecten).
De omgeving begrijpen en in kaart brengen.
Realtime herkenning en tracking van specifieke objecten (doelobjecten) op basis van bewegingen.

Bovendien zijn de nauwkeurigheid van het 3D-model in relatie tot de werkelijkheid, de textuur en vorm van doelobjecten (aanwezigheid van randen) en lichtomstandigheden (zichtbaarheid) belangrijke punten waarmee rekening moet worden gehouden voor een effectievere tracking.

De rol van tracking in augmented reality

Tracking is afhankelijk van detectie- en trackingalgoritmen. Deze zijn getraind om de onderscheidende kenmerken van het object, zoals de vorm, kleur, contouren enzovoort, te herkennen en te volgen.

Om tracking te laten werken, zijn deze elementen vereist:

Het echte object dat wordt gemanipuleerd
Het specifieke object dat moet worden gevolgd
Het trackingmodel (of 3D-model) van het te volgen object

 Handmatige tracking-initialisatie

In het geval van handmatige tracking-initialisatie definieert de gebruiker handmatig de eerste positie om te beginnen met volgen. De applicatie slaat vervolgens bepaalde referentiebeelden op die tijdens het volgen zijn gemaakt. Deze referentiebeelden vormen een startpunt voor het tracking-initialisatieproces.

Wanneer de gebruiker de eerste positie definieert, legt de applicatie beelden vast die de scène vanuit verschillende hoeken en perspectieven weergeven. Deze afbeeldingen worden vervolgens gebruikt als referentie voor daaropvolgende tracking. Ze kunnen objecten of specifieke elementen van de scène bevatten die de gebruiker wil volgen. Voor tracking-initialisatie worden de referentiebeelden vergeleken met real-time beelden die zijn vastgelegd door de camera van het apparaat. Er worden beeldmatchingstechnieken gebruikt om overeenkomsten te vinden tussen de pixels van de referentiebeelden en die van de real-time beelden.

Met behulp van deze overeenkomsten kan de applicatie de transformaties schatten die nodig zijn om de referentiebeelden uit te lijnen met de realtime beelden. Dit bepaalt de initiële positie en oriëntatie van de te volgen objecten ten opzichte van de camera.

Zodra het volgen is geïnitialiseerd, begint het volgproces. De applicatie gebruikt de aanvankelijk verkregen informatie om objecten in de scène in realtime te volgen. De posities en oriëntatie blijven behouden in de videostream.

Deze methode voor het volgen van de initialisatie is afhankelijk van de nauwkeurigheid van de beginpositie die door de gebruiker is ingesteld. Als de positie onjuist of onnauwkeurig is, kan dit later tot trackingfouten leiden. Deze aanpak kan echter nuttig zijn in gevallen waarin de gebruiker specifieke objecten wil volgen en een redelijke eerste schatting van hun positie kan geven.
Initialisatie volgen met deep learning
Volgen met AR

Als we het hebben over op deep learning gebaseerde tracking-initialisatie, is het de bedoeling om een ​​getraind model te gebruiken om deze taak uit te voeren. Dit model is in staat om relevante kenmerken en patronen in referentiebeelden te leren herkennen om zo een robuustere en nauwkeurigere tracking-initialisatie te bieden.

Het tracking-initialisatieproces op basis van deep learning omvat doorgaans verschillende stappen:

Gegevensverzameling: het is noodzakelijk om een ​​trainingsgegevensset te verzamelen die referentiebeelden bevat die tijdens het volgen zijn gemaakt. Deze beelden moeten een verscheidenheid aan scènes, belichtingen en omgevingsomstandigheden bestrijken om een ​​model te verkrijgen dat in staat is efficiënt te generaliseren.
Modeltraining: Zodra de trainingsgegevens zijn verzameld, worden deze gebruikt om een ​​deep learning-model te trainen. Dit model kan een convolutioneel neuraal netwerk (CNN) zijn of een andere architectuur die is aangepast aan de tracking-initialisatietaak. Het doel van de training is om het model te leren kenmerken te herkennen die relevant zijn voor het volgen van de initialisatie, zoals interessante objecten, onderscheidende patronen of oriëntatiepunten in het beeld.
Validatie en aanpassing: Nadat het model is getraind, wordt het geëvalueerd op een afzonderlijke validatiedataset om de prestaties en effectiviteit ervan te meten. Indien nodig kunnen aanpassingen worden gedaan om de modelprestaties te verbeteren, zoals het vergroten van de trainingsgegevens, het toevoegen van regularisatie of het optimaliseren van parameters.
Het model gebruiken: Zodra het model voldoende is getraind en gevalideerd, kan het worden gebruikt om tracking in een echte toepassing te initialiseren. Wanneer de gebruiker begint met volgen, gebruikt de applicatie het model om de eerste beelden te analyseren en de initiële positie van het te volgen object of doel te schatten. Deze initiële schatting wordt vervolgens gebruikt als startpunt voor het continue trackingproces.

Trackingtechnieken

Door deep learning te gebruiken voor het volgen van initialisatie, kunnen we daarom een ​​methode verkrijgen die robuuster is en aanpasbaar aan veranderingen in verlichting, scèneachtergrond en andere visuele variaties. Er moet echter worden opgemerkt dat de effectiviteit van het model afhangt van de kwaliteit en diversiteit van de trainingsgegevens, evenals van de prestaties van het gebruikte leeralgoritme.
Tracking versus trackingmodel

Een trackingmodel wordt op veel gebieden gebruikt, zoals computervisie, robotica en augmented reality, en is een model of algoritme dat wordt gebruikt als onderdeel van het hierboven beschreven trackingproces, meer specifiek bij het volgen en lokaliseren van objecten in beeld- of videosequenties.

Het is ontworpen om de positie, beweging en kenmerken van een interessant object in de loop van de tijd te schatten en te voorspellen. Het kan gebaseerd zijn op machinale leertechnieken zoals begeleid leren, onbewaakt leren of versterkend leren. Het doel is om nauwkeurige informatie te verschaffen over de positie en beweging van objecten, waardoor tracking, detectie, herkenning en analyse mogelijk wordt.

Het trackingmodel moet worden onderscheiden van de term tracking, omdat ze niet hetzelfde zijn: ze zijn onderling afhankelijk en de een kan niet zonder de ander functioneren.

Om modeltracking mogelijk te maken, moet aan een aantal voorwaarden worden voldaan:

3D CAD-modellen
Ze moeten accuraat zijn in relatie tot de werkelijkheid
Het bijbehorende doelobject moet tijdens operaties zichtbaar blijven in de camera
Bevat een of meer onderdelen

Tracking wordt gebruikt in de DELMIA Augmented Experience-oplossing om de apparatuur te identificeren die moet worden geassembleerd of geïnspecteerd dankzij het 3D-model, om tegelijkertijd meerdere elementen tegelijk te lokaliseren en om de digitale informatie die nodig is voor het industriële proces op de juiste plaats, op het juiste moment, weer te geven. op het juiste moment en op de juiste schaal.
NJC.© Info Delmia Article by Wendy (Klotz) Mlynarek, DELMIA Strategic Business Development and Marketing Director, DELMIA Marketing.

--------------------------------------------------------------------------------------------------------------------