Les sources des images peuvent être très diverses:

• numérisation d'un film négatif ou d'une diapositive (scanneur) ,
• numérisation d'un tirage papier (scanneur de documents opaques), d'un négatif ou d'une diapositive (scanneur de documents transparents),
• numérisation d'une source vidéo analogique (ou transfert d'une source vidéo numérique via un médium analogique),
• acquisition directe (photographie ou vidéo numérique),...

   Chacune de ces sources d'images introduit des spécificités dans le traitement qu'il est nécessaire de prendre en compte afin d'assurer un contrôle de la chaîne d'acquisition de la manière la plus rigoureuse possible.

   Dans le cas le plus général, l’image est considérée comme une représentation dans un espace bidimensionnel local (relatif) obtenu par une projection depuis un espace tridimensionnel absolu.
Une situation particulière est celle du traitement d'images d'objets qui sont purement bidimensionnels (c'est-à-dire planaires ou assimilables comme tel), comme des numérisations de documents imprimés ou peints. Dans ce cas, le traitement de ces images pourrait se faire à un niveau purement bidimensionnel, mais ce n'est qu'un cas particulier intégrable dans le traitement d'images d'objets tridimensionnels.
Par la suite nous ne traiterons que d'images dites photographiques c'est à dire issue d'un appareil photographique (argentique ou numérique) muni d'un objectif photographique.

   L’assemblage des images doit être réalisé dans un espace commun, repéré géométriquement et absolu (repéré géographiquement par rapport à un référentiel géographique ou de manière arbitraire par un choix de repères conventionnels fixés a posteriori).

Au niveau de l'acquisition physique des images photographiques, ce sont essentiellement les caractéristiques optiques, par une formalisation des images, qu'il est nécessaire de contrôler ou de modéliser par:

• la détermination « a priori » ou « a posteriori » de(s) focale(s), des échelles,...
• la détermination des distorsions

Par ailleurs, concernant plus précisément l'objectif d'assemblage des images, il sera nécessaire de déterminer les conditions dans lesquelles seront applicables les techniques présentées concernant en particulier le problème de recouvrement entre les images qui peut être causé par les problèmes de parallaxe. Pour des raisons qui seront détaillées (dans la partie Méthodologie), la situation qui sera étudiée est (ou sera ramenée à) une situation idéale où le point de prise de vue sera supposé fixe (pour ramener le problème de l'assemblage dans un espace bidimensionnel) et que certaines conditions d'acquisition seront respectées (par exemple par la définition et le respect géométrique du point nodal de l'optique utilisée).

Un cas simplifié particulier pourra être celui du traitement d’une série de photographies prises par un même appareil photographique numérique dont l’optique est déjà calibrée en respectant toutes les contraintes méthodologiques nécessaires, mais la formalisation de la chaîne d'acquisition permettra d'intégrer certaines variations méthodologiques.

   La formalisation des images présentée est essentiellement une formalisation d'orientation dans l'espace et pas, a proprement parler, une formalisation de positionnement. Afin de ne pas introduire la complexité d'un traitement dans un espace tridimensionnel, nous supposerons que toutes les images auront été prises du même point de vue. La définition même de "point de vue" sera détaillée par la suite.
Dans cette situation, le positionnement de chacune des images est ramené à ce centre optique qui sera considéré, pour simplifier, comme l'origine de l'espace.
Dans le cas d'assemblage d'images d'objets planaires (à l'aide d'un scanneur par exemple), le positionnement de chacune des images pourra être unifié en le ramenant à l'infini et revenir à une situation approximative de projection orthographique.

   Le paramètre principal caractérisant une optique photographique est la couverture visuelle qu'elle permet. Elle est définie par son angle d'ouverture (horizontal par exemple) et est liée directement à la distance focale qui est généralement utlisée à sa place.

   L'intérêt de l'utilisation de l'angle d'ouverture est qu'il n'est pas lié à la taille du film utilisé (négatif ou diapositive) ou du capteur CCD (dans le cas de la photographie numérique). En effet, la longueur focale d'un objectif est liée directement à la taille de la zone sensible de la pellicule photographique (photographie argentique) ou à la taille du capteur (photographie numérique).

Ce paramètre, que l'on nommera (V ou Hfov) permet de classifier les objectifs selon sa valeur.

   Les distorsions sont les déformations contenues dans les images en provenance essentiellement de la différence qu'il peut exister entre le résultat que devrait procurer le modèle théorique de la perspective et le résultat réel. Selon les formules optiques utilisées dans l'objectif (agencement de lentilles, qualité des verres utilisés), la qualité de la géométrie des images peut varier.
Les distorsions sont généralement considérées comme radiales (constantes selon la distance par rapport à l ’axe optique). Elles peuvent être modélisées par une fonction de correction, comme par exemple un polynôme de degré 3, déterminée par 4 coefficients (a,b,c,d):

rsrc = ( a . rdest3 + b . rdest2 + c . rdest + d ). rdest

   D'autres paramètres optiques peuvent être définis comme le centre optique ou l'inclinaison de l'axe optique par rapport au plan de l'image.
Le centre optique est défini comme l'intersection de l'axe optique et du plan du film (ou du capteur). Ce centre optique est situé en principe au centre de l'image mais, selon la qualité du montage et du couplage optique/appareil, il peut être décalé entraînant un effet de fuite des perspectives. Ce cas se révèle plus ou moins systématiquement dans le cas de l'utilisation d'images photographiques tirées en laboratoire photographique puis scannées puisque le centre optique des images est entièrement dématérialisé (sauf à utiliser des appareils photographiques spécifiques "imprimant" un repère géométrique directement sur le négatif lors de la prise de vue).
De la même manière, un défaut d'inclinaison de l'axe optique (non rigoureusement orthogonal au plan de l'image) introduit un effet d'ovalisation de l'image qui fait que l'image d'un cercle parfaitement parallèle au plan de l'image se transformera en ellipsoïde qui sera caractérisé par son axe principal et un coefficient d'excentricité.

   Les optiques photographiques généralement utilisées sont conçues de manière à rendre le plus fidèlement possible la vision perspective et ne se distinguent essentiellement que par leur angle d'ouverture (focale). Le choix d'une optique ou les incidences que peut avoir ce choix ne dépend sensiblement que de ce paramètre qui définit la classe de ces objectifs dit "standards" (grand-angle, télé-objectif, ...). Les images obtenues à l'aide de ces objectifs sont qualifiées de "rectilinéaires". Cependant, il existe d'autres types d'objectifs (en particulier l'objectif appelé "Fish-eye" ) et même des appareils photographiques spécifiques (basés sur des mécanismes de balayage du capteur ou de l'optique) que nous ne détaillerons pas.

   Les caractéristiques des optiques qui sont utilisées dans le processus d'acquisition des images conditionnent leur contenu tant du point de vue quantitatif que qualitatif, même dans le cas d'optiques parfaites. Différents facteurs entrent en jeu dans l'évaluation du rapport qui existe entre la quantité d'information traitée et la qualité des résultats obtenus. Entre autres:

• le nombre d'images utilisées,
• la définition (taille en pixels) de ces images,
• l'angle d'ouverture de l'objectif,
• le taux de recouvrement entre images,
• la précision la mise en correspondance pour l'assemblage.

   La plupart de ces facteurs sont liés entre eux. Ainsi par exemple pour la création d'un panoramique, le nombre de photographies nécessaire pour couvrir l'espace de tout un horizon (360°) va dépendre principalement de l'angle d'ouverture de l'objectif utilisé. Ce nombre dépend également du taux de recouvrement qui le peut faire augmenter significativement.

   D'un autre côté, il est possible de diminuer le nombre d'image en augmentant l'angle d'ouverture. Cela permet de traiter un volume d'information moindre pour une couverture donnée. Cependant si l'on considère que chaque image possède une définition (en nombre de pixels) fixe, la définition de l'image assemblée verra également sa définition maximale diminuée (étant approximativement au plus égal à la somme des définitions de chaque image). De plus la qualité de l'assemblage par mise en correspondance (automatique ou manuel) sera moins précis puisque les détails dans les images (points caractéristiques) seront moins bien définis.

   Pour information, le nombre d'images nécessaires pour couvrir la totalité de l'horizon (360°) est donné à titre indicatif (en tenant compte d'un recouvrement moyen) par le tableau ci-après:

   Les objectifs basés sur une optique fish-eye sont classés dans la classe des objectifs à très grand angle puisque leur caractéristique principale est de pouvoir couvrir un champ proche de 180°, voire supérieur.
En deçà d'un angle de 180° les lois de la perspective classique, le modèle du sténopé, ainsi que le principe de la projection conique (sur un plan) peuvent s'appliquer directement. Seules quelques contraintes au niveau des lois de l'optique réfractive induisent automatiquement des artefacts connus en photographie (abberations chromatiques, vignetage, ...). Plus l'angle s'approche de cette limite de 180°, plus l'image numérique devrait être grande pour conserver tous les détails.
Mais les principes de la projection conique ne peuvent plus s'appliquer pour des angles d'ouvertures supérieurs ou égaux à 180°, puisque l'étendue de l'image devrait être infinie.
Des objectifs spéciaux ont donc été conçus pour répondre à cette situation en utilisant d'autres modèles de projection et en particulier la projection sphérique. Dans ces modèles, l'image n'est plus projetée directement sur un plan mais une surface non plane (sphérique dans le cas d'un fish-eye hémisphérique) puis reprojetée dans un "plan image". La longueur (circonférence) de la sphère qui sert à projeter l'image sur le plan du capteur ou du film détermine l'angle d'ouverture du fish-eye. La limite théorique à l'ouverture des fish-eyes hémisphérique est de 180° tandis que celle des fish-eyes dit "angulaires" est quasiment de 360° mais en pratique certains fish-eye atteignent une ouverture de 220°. Les images ainsi obtenues sont qualifiées d'images "sphériques" (spherical fisheyes).

Ces objectifs peuvent également se comporter comme des optiques "très grand angle" quand la totalité de l'espace image n'est utilisé que pour couvrir la partie centre de l'image sphérique. Ces images caractérisées par des courbures (déformation sphériques) très importantes sont qualifiées d'images fish-eye "plein champ" (Full frame).
Une optique de type fish-eye est caractérisée par la linéarité ou la non-linéarité de la fonction de transfert entre l'angle qui existe avec une direction de visée donnée (par rapport à l'axe optique) et la distance du point associé dans l'image par rapport à son centre.

Exemples d'image de type Fish-eye sphériques prise avec l'objectif Nikon FC-E9:

Les objectifs de type fish-eye possèdent de multiples avantages par rapport aux optiques photographiques traditionnelles:

• seulement deux prises de vue (diamétralement opposées) suffisent pour réaliser un panoramique 360°
• couverture supérieure dans le sens vertical : possibilité de panoramiques sphériques (360° horizontal - 180° vertical)

L'inconvénient principal de l'utilisation de seulement deux prises de vue est que le recouvrement est minimal (voire nul) et que ces zones dans les images sont très atteintes par les problèmes d'abberation chromatique et de vignetage. La solution pour resoudre ces problème est de rajouter quelques images intermédiaires supplémentaire (réparties de manière homogène dans l'espace, et principalement au nadir et au zénith).

Un exemple d'utilisation de ce type d'optique sera présenté dans la partie exploitation.