Un des défauts majeurs de la numérisation des images et, dans une certaine mesure, de l'utilisation de capteurs CCD dans les appareils numériques de prise de vue est la limitation de la précision des informations colorimétriques et la limitation de la dynamique du signal.
La limitation de la précision est inhérente au processus d'échantillonage numérique qui détermine matériellement la résolution d'acquisition et le nombre de niveaux de signals distincts, mais également aux phénomèmes de bruits dans le signal qui apparaissent au niveau du capteur lors de la conversion physique des photons en signal électrique.

   Pour répondre au problèmes de la limitation de la précision des images, les techniques d'assemblage peuvent être appliquées de manière théorique dans un cas limite : celui où les différentes images sont constituées d'une succession d'images ayant été acquises quasiment dans les mêmes conditions de prise de vue. En photographie cela peut être vérifié lorsque la position de l'appareil photographique est resté fixe (utilisation d'un pied photographique) mais aussi en vidéo quand le mouvement apparent dans des images successives est très faible.
Le contenu de ces images est donc très cohérent (grandes zones de recouvrement) et peut donc servir à déterminer avec une grande précision les paramètres optiques et d'orientation de chacune des images.

  La corrélation (et la fusion) de ces images permet, d'une part (dans le cas d'absence de mouvement), de diminuer le bruit du capteur (signal parasite) par une pondération des erreurs de chaque pixel des images ( par exemple le calcul d'une moyenne suffit) et, d'autre part, d'obtenir un sur-échantillonnage spatial de l'image "réelle" et donc l'équivalent d'une augmentation de la résolution de l'image acquise. Cette dernière technique est d'autant plus intéressante que la résolution native du capteur utilisé est faible, ce qui est le cas en vidéo numérique où la "résolution vidéo" est beaucoup plus faible que la résolution des appareils photographiques numériques (typiquement de 768x576 pixels en vidéo au format PAL). Par contre, la qualité du résultat est fortement dépendante de la qualité du "recalage" entre les images et de la détermination des paramètres du dispositif d'acquisition (un calibrage préalable ou effectué au cours du processus est souvent nécessaire).

   Les images suivantes illustrent une technique de diminution du bruit. A partir d'une image de référence (théorique), quatre images bruitées aléatoirement ont été créées avec un modèle de bruit gaussien, à hauteur de 12.5% du signal original (ce qui représente un niveau de bruit très élevé par rapport aux valeurs généralement rencontrées, sauf conditions extrêmes). Ce sont généralement ce genre d'images qui sont obtenues par les dispositifs d'acquisition.

Image de référence		Image bruitée 1	Image bruitée 2		Image traitée
		Image bruitée 3	Image bruitée 4

   L'image traitée est obtenue en calculant la moyenne arithmétique de chacun des pixels correspondants des images bruites. La qualité de cette image est nettenment améliorée et augmentera d'autant plus que le nombre d'images utilisées sera élevé.

   Dans le cadre de la création d'images panoramiques, le cas le plus simple d'application de ces méthodes est d'utiliser l'assemblage d'images créées à partir d'un sous-ensemble d'images sources cohérentes, mais il est également envisageable d'utiliser l'assemblage d'un ensemble d'images panoramiques créé chacun à partir d'un ensemble d'images sources non forcéments hautement cohérentes.

   Les examples suivants illustrent une technique d'augmentation de la résolution d'images, issues d'un camescope numérique au format DV (définition ramenée à 768x576 pixels), basée sur un outil d'assemblage (Realviz Stitcher) dans deux situations et objectifs différents.

   Dans le premier cas, l'objectif est d'obtenir une image de meilleure qualité d'un sujet, couvert directement par le champ de la caméra, à partir du film (illustration de la déforestation dans la région de Los Lagos au Chili-source M.Barrué-Pastor)

Exemple d'image extraite de la séquence

Détail de l'image extraite

   Le résultat de l'assemblage réalisé à partir de 8 images de la séquence est le suivant:

Résultat de l'assemblage d'images

Détail de l'image assemblée

   L'amélioration de la résolution effective de l'image assemblée est nettement visible et permet d'obtenir une image finale ayant une qualité quasiment photographique alors qu'elle est issue d'un capteur CCD n'ayant qu'une résolution vidéo.

   Dans le deuxième cas, l'objectif est d'obtenir une image panoramique d'un site, en ayant comme objectif secondaire d'obtenir également une image de meilleure qualité. Le nombre d'images nécessaires pour satisfaire ces deux objectifs doit être plus important car il faut simultanément assurer une certaine cohérence entre les images successives et couvrir un champ horizontal important (site portuaire de Puerto Montt au Chili-source M.Barrué-Pastor).

Exemple d'image extraite de la séquence

Détail de l'image extraite

Autre exemple d'image extraite de la séquence

Détail de l'image extraite

Un assemblage est réalisé à partir de 11 images de la séquence et permet d'obtenir les résultats suivants:

Premier détail de l'image assemblée

Deuxième détail de l'image assemblée

   Comme dans l'exemple précédent, l'amélioration de la résolution effective de l'image assemblée est nettement visible, permettant même de faciliter la lecture de certains éléments de la scène.

    La faible dynamique du signal des capteurs utilisés en photographie ou vidéo numériques, comparativement la dynamique des niveaux d'exposition acceptables de la pellicule photographique argentique, est un autre inconvénient. En effet l'amplitude de la mesure des capteurs est limitée par des phénomènes de seuils : manque de sensibilité dans les basses lumières et effet d'éblouissement du capteur dans les hautes lumières. La dynamique du signal contenu dans ces images est donc restreinte quand elles contiennent des zones d'éclairement extrêmes. Des techniques de modélisation de la réponse du capteur et l'utilisation d'une série d'images obtenues avec un réglage de sensibilité différents (ouverture du diaphragme ou vitesse) ayant chacune une courbe de réponse non saturée permettent d'obtenir une image résultante (dite HDRI pour High Dynamic Range image) ayant une courbe de réponse globale optimale. Les niveaux de couleurs de ces images sont codées avec des formats spécifiques sur un nombre importants de bit (typiquement 32 ou 33 bit/pixel et une échelle logarithimque). Pour être affichées, elles sont retraduites avec une courbe de réponse donnée correspondant à un périphérique de sortie (écran par exemple).
Les techniques utilisées pour l'assemblage d'images panoramiques peuvent être employées pour recaler les images entre elles (s'il y a eu un déplacement) et pour approximer l'image à haute dynamique par une fusion (calcul d'une valeur pondérée) des pixels de chaque image.

   Les image suivantes illustrent les possibilités des techniques des images HDR (obtenu avec le logiciel Photosphere développé par Greg Ward). Un ensemble de photographies sont prises à main levée (pas de pied photographique), à ouverture constante mais à vitesses échelonnée (utilisation du "Bracketing" automatique sur 5 vues). Cette scène (l'intérieur de l'église de La Martre-Québec-Canada) illustre bien les problèmes rencontrés lors de ce type de prise de vue: aucun réglage ne permet de bien rendre simultanément les détails dans les ombres et les détails de l'ouverture ou de l'espace extérieur. Une image HDR est constituée en recalant les images les unes aux autres et en estimant la courbe de réponse de l'appareil photographique.

Vitesse: 1/60s Ouverture: F/2.8	Vitesse:1/30s Ouverture: F/2.8
Vitesse :1/8s Ouverture: F/2.8	Vitesse :1/4s Ouverture: F/2.8
Rendu de l'image HDR combinant les images précédentes (courbe de réponse automatique)

   Ces techniques sont intéresantes à intégrer dans le cadre de la création d'images panoramiques. En effet, il est relativement difficile de concilier les contraintes de prise de vue (utilisation des mêmes réglages d'exposition pour toutes les images), la limitation intrinsèque de la dynamique des capteurs des appareils phtographiques numériques, et la présence dans la scène à représenter de fortes variations d'éclairement. Une solution est donc de créer un panoramique utilisant, soit directement un ensemble d'images HDRI, soit un ensemble de panoramiques HDRI créés aux-même avec les images prises dans les mêmes conditions d'exposition.