Sous le patronage de :
Club EEA Information, signal, images et vision Groupe français imagerie numérique couleur CNRS Education gouvernement
Lieu :
Au Cnam (métro Arts et métiers ou Réaumur Sébastopol) salle 11 A3 33.
La salle se trouve à l'accès 11 au rez
chaussé par l'entrée du 292 rue Saint-Martin 75003 Paris
Coordinateurs :
- Pierre Bonton (Université Blaise Pascal Clermont-Ferrand) Pierre.Bonton@lasmea.univ-bpclermont.fr
- Guy Demoment (Université Paris XI) demoment@lss.supelec.fr
Cette première journée de rencontre entre des chercheurs qui relient l’art au traitement du signal et de l’image est largement ouverte à différents domaines et applications. C’est une occasion pour nous rencontrer et réfléchir si une action dans la durée peut être montée sur ce sujet « TSI et Arts ». Une prolongation est déjà prévue au cours du colloque ASTI qui se tiendra à Clermont-Ferrand au mois d’octobre.
9 heures 45 : Ouverture de la journée
10 heures 00 : Le numérique en peinture : un horizon nouveau pour un art traditionnel (Pierre Berger pmberger@noos.fr Site : http://www.roxame.com)
Dans quelle mesure une machine peut-elle jouer le rôle d'un artiste-peintre, c'est à dire créer images en deux dimensions pour représenter la nature ou exprimer des concepts ? C'est pour explorer l'espace ouvert par cette question qu'a été créé le logiciel Roxame, écrit en C++ (avec C++ Builder de Borland).
Dans son état
actuel, Roxame peut, en fonction de son "humeur" et de demandes
formulées par une interface textuelle (mais, sauf à des fins de démonstration,
l'auteur s'interdit d'intervenir au cours de l'exécution) :
-
générer et combiner des formes "géométriques" (du pixel
aux algorithmes génératifs complexes, avec un fort appel à l'aléatoire),
-
traiter des photographies et plus généralement tout document bitmap
(filtres, segmentation, reconnaissance des formes...),
-
combiner ces deux formes de travail dans différents "styles",
pour aboutirà une oeuvre, qui est alors stockée en mémoire (et le cas échéant
imprimée
et présentée comme une "toile" traditionnelle).
Un tel projet,
par construction, ne connaît pas de limites. La gamme des formes reconnues
ou engendrées, la complexité et la finesse des traitements, le dictionnaire
des termes et et la percolation des "états d'âme", la richesse et
les règles harmoniques de la composition peuvent toujours être étendus. Depuis
son lancement il y a quatre ans, le projet Roxame a montré qu'il est possible
d'obtenir des oeuvres à la fois originales et suffisamment "belles"
pour se faire accepter dans des galeries et des salons d'arts plastiques.
Un logiciel peut donc revendiquer le statut d' "artiste" même si,
bien sûr, il ne peut se concevoir sans le travail d'un auteur humain.
Ce projet montre aussi l'intérêt de la recherche sur des oeuvres matérielles
et statiques. Malgré l'énorme montée en puissance des médias audiovisuels
relayés par la Toile et les mobiles, le livre sur papier de continuer de jouer
un rôle culturel important et innovant, y compris chez les plus jeunes. De
même, dans le domaine des arts numériques, le rôle central joué désormais
par les oeuves interactives et multimodales n'en laisse pas moins ouverte
une large place aux oeuvres statiques, qui peuvent être l'expression de technologies
avancées aux frontières du traitement du signal, de la robotique et de l'intelligence
articifielle.
10 heures 45 : Un scanner 3D multispectral pour les objets d’art (Alexandra Lathuilière a.Lathuiliere@iutlecreusot.u-bourgogne.fr , François Tavin, Amin Mansouri, Franck Marzani, Yvon Voisin, Pierre Gouton). Laboratoire LE2I UMR CNRS 5158, Université de Bourgogne http://vision.u-bourgogne.fr/le2i/
Nous avons mis au point un scanner multispectral basé sur une caméra multispectrale et un projecteur vidéo [1]. La caméra multispectrale [2][3] est composée d’une caméra mono CCD noir et blanc et d’une roue porte filtres, composée au maximum de 10 filtres, et positionnée devant la caméra. Cette dernière peut être remplacée par une caméra sensible dans le proche infra rouge si l’application le demande : dans ce cas, la roue accueille un ou deux filtres dans le proche infra rouge. Le deuxième élément est le projecteur de lumière structurée.
L’utilisation d’un vidéo-projecteur LCD classique nous permet de valider notre système de reconstruction 3D tout en ayant la possibilité de modifier le patron de lumière rapidement et facilement.
L’intérêt d’un tel système est de donner, en même temps, la réflectance de l’objet et les coordonnées 3D modélisant sa surface. [4][5]
Les informations de la caméra multispectrale permettent de mesurer le spectre de réflectance de l’objet en chaque point. Cette technique de reconstruction spectrale permet, par exemple, de recalculer la couleur apparente de l’objet sous un éclairage différent de celui utilisé pour l’acquisition. Ainsi, pour la mise en valeur des pièces, les tests d’éclairages peuvent être simulés, au lieu d’être testés un à un.
L’information 3D est calculée en effectuant une triangulation entre les points de la mire de lumière structurée projetée et ceux de l’image multispectrale acquise.
Le laboratoire possède une bonne expérience en scanning d’objets [6] : reliures anciennes de la bibliothèque de Troyes et objets naturels tels que oursins, fossiles du département biogéosciences de l’université de Bourgogne.
Les applications du système décrit ci-dessus peuvent être nombreuses, notamment dans le domaine des arts. Alors que la caméra multispectrale utilisée seule permet une mesure spectrale précise d’un tableau, le scanner 3D multispectral permet l’acquisition d’objets volumiques, à la fois au sens 3D et spectral tels que des sculptures, par exemple.
Deux utilisations sont immédiatement envisageables : création d’un musée virtuel pour lequel des informations 3D et spectrales sont associées à chaque objet de la scène afin d’obtenir un rendu très réaliste ; ou encore, utilisation d’un tel système pour aider à la restauration d’oeuvres d’art - l’information spectrale ne peut-elle pas être à la base de la datation d’objets archéologiques ?
Bibliographie :
[1] A. Lathuiliere, A. Mansouri, F.S. Marzani, Y. Voisin: ‘Stereoscopic system of 3D reconstruction using a multispectral camera and a projector LCD’, Proc. OSAV’2004, Int. Topical Meeting on Optical Sensing and Artificial Vision, Saint Petersburg, Russia, 18-21 October 2004, State University ITMO, Vol. 1, 13–18.
[2] A. Mansouri, F.S. Marzani, P. Gouton, “Development of a protocol for CCD calibration: application to a multispectral imaging system”, International Journal of Robotics and Automation, Special Issue on Color Image Processing and Analysis for Machine Vision,Acta Press, 20 (2), pp. 94-100, 2005.
[3] A. Mansouri, J.Y. Hardeberg, F.S. Marzani, P. Gouton, “Optical calibration by deblurring channel-images of a multispectral system”, IASTED Conference, Visualization, Imaging, and Image Processing, Benalmadena, Espagne, Vol. 1, 8-10 septembre 2003, p. 210 215.
[4] R. Baribeau, M. Rioux, G. Godin, “Color reflectance modeling using a polychromatic laser range sensor”, IEEE PAMI, v. 14, n. 2, February 1992.
[5] R. Baribeau, “Application of spectral estimation techniques to the improvement of a 3D-color digitizing camera”, Proc. 2nd European Conference on Colour in Graphics, Imaging, and Vision (CGIV), Aachen, Germany, April 5-8, 2004, pp. 259-262.
[6] vision.u-bourgogne.fr/Seulin/24.htm et vision.u-bourgogne.fr/Seulin/28.htm Pour visualiser les modèles 3D suivre les instructions de la rubrique Viewer 3D.
11 heures 30. Lecture optique des cylindre d'orgues mécaniques. Laurent Daudet (Laboratoire d'Acoustique Musicale) Université Pierre et Marie Curie (Paris 6) daudet@lam.jussieu.fr , O. Romain (Laboratoire d'Instrumentation et des Systèmes d'Ile de France)
Au cours des XVIIIe et XIXe siècles, les orgues automatiques, actionnés par cylindres furent très couramment utilisés, dans le répertoire tant sacré que profane. Les cylindres qui nous sont parvenus de nos jours représentent un patrimoine musical largement sous-exploité, principalement à cause du manque d'instruments en état de jouer. Pourtant ils portent des informations musicologiques essentielles: d'une part ils sont parfois le seul vestige de partitions inédites ou disparues, d'autre part la surprenante précision de l'annotation permet d'avoir accès à des nombreuses informations concernant l'interprétation musicale aux époques considérées.
Cette étude concerne la mise au point d'un dispositif expérimental permettant de lire la musique inscrite sur ces cylindres. La méthode optique utilisée (prise de vue par caméra CCD linéaire et traitement d'images) a l'avantage d'être sans contact et de pouvoir s'adapter aux différents standards utilisés.Lors de cet exposé, nous présenterons un dispositif expérimental préliminaire et les techniques de traitement d'images qui permettent de remonter à la position des différents picots qui marquent les notes. Les résultats permettent d'identifier correctement environ 90% des notes, avec un taux de fausse alarme d'environ 14 %.
Ces résultats satisfaisants valident nos choix expérimentaux, mais des nombreuses améliorations sont encore à implémenter, tant du point de vue du dispositif de lecture que des algorithmes de traitement, avant de pouvoir obtenir des informations exploitables en musicologie.
12 heure 15: Repas (2 rue Conté ou dans des restaurants autours du Cnam)
13 heures 30 : Des pinceaux de lumière pour des Pleins et des Déliés (Geneviève Bosvieux Coilliot, LSEE, Artois University bosvieux@univ-artois.fr)
Ce papier présente des travaux qui touchent à la peinture sur ordinateur. Le rapprochement avec la peinture doit servir surtout à créer des outils et des fonctions, mais la matière de base est ici la lumière colorée.
Lors de précédents travaux, nous avons centré notre étude sur la personnalisation de certains processus assistés par ordinateur, en particulier dans la peinture, la robotique, la conception en Bâtiment, et les nouvelles technologies éducatives. Cette personnalisation est un des sujets des évolutions des logiciels actuels.
L'interaction Homme/Machine (IHM)
a profité de nombreux développements :
- outils de saisie (tablettes sensitives, Stylus avec un nombre de degrés
de liberté croissant), Space ball, Data Glove associé au head-mounted display,
outils à retour de forces, PDA, téléphones avec accès imode, 3 ou 4G, …
- techniques d'analyse et de synthèse d'images et vocales, de techniques de
dialogues…
qui concourent à permettre l’éclosion de nouveaux modes d’interactivité plus
naturel. Nous pensons que grâce aux efforts de standardisation développés
par le W3C (WW W Consortium), créant un langage ‘InkML’ qui prend en compte
les degrés de liberté d’un crayon multiparamétré, ce type de saisie va pouvoir
connaître un réel développement, et rendre plus accessible l’exploitation
du geste, en particulier dans le domaine graphique
Lors d'études précédentes menées dans le domaine de la peinture
pour ordinateur et du design nous avons introduit la notion de générateur.
Un générateur doit permettre à l'utilisateur de prédéfinir des fonctions activables
par des paramètres d'entrée et par les données de saisie-multiple, et d'instancier
des choix multiples en une seule action - 6D pour placer un objet, pour le
'coup de pinceau' variable avec le geste de la main... .
Le ‘constructeur d’outils’ doit prendre en compte les multiples degrés de liberté des nouveaux styles, y ajouter le temps dans toutes ses implications, et donner au scripteur la possibilité de personnaliser ses gestes, ses outils et ses matériaux.
Le constructeur doit permettre d’effectuer des traitements d’un type nouveau, parce que modulables au mouvement du pinceau et par des lois dynamiques, à partir d’un ensemble de fonctions issues du traitement et de la synthèse de l’image.
L’importance du ‘trait’ telle qu’exprimée par le peintre calligraphe SHITAO, va trouver aussi une signification dans un art basé sur la lumière.
14 heures 15: Bruit et détérioration d'images, techniques de restauration et cinéma expérimental. (Eric Alvernhe, Philippe Montesinos. eric.alvernhe@ema.fr LGI2P – Ecole de mines d’Alès Nîmes )
Si l'on englobe dans la définition du cinéma expérimental tout ce qui tente de renouveler ou d'élargir l'expression cinématographique, alors le cinéma expérimental est aussi vieux que le cinéma lui-même. A ses origines, le cinéma voulait rendre au mieux ce que reçoit l'oeil en terme de mouvement. Le spectateur se devait de considérer la projection cinématographique proposée comme un signal visuel quelconque de la réalité, comme une simple substitution de l'oeil. Avec entre autres le courant expressionniste, le cinéma devient regard; il fait une proposition s'adressant directement au sensible. En particulier, les cinéastes se sont naturellement intéressés à la représentation du passé, aux souvenirs. Hors la représentation mentale de ces derniers est floue, incomplète, et réciproquement un film détérioré nous semble ancien. Par cette adéquation, la détérioration volontaire d'un film est donc un effet qui se justifie, et perd en ce sens sa connotation négative naturelle.
Du point de vue scientifique, et plus particulièrement dans le travail de reconstitution de film, le bruit reste l'ennemi. Il est à supprimer, et de nombreuses techniques aux résultats étonnants sont utilisées à cet effet. Nous présenterons brièvement quelques méthodes de restaurations basées sur les équations aux dérivées partielles (EDP) dont nous expliciterons le lien avec une approche Variationnelle. L'utilisation de la formule d'Euler-Lagrange, qui permet justement de faire ce lien, et une discussion sur les rôles du terme d'attache aux données et du terme de régularisation dans la fonctionnelle énergie nous permettra d'introduire les techniques classiques de régularisations, de débruitages, et de inpainting. Quelques résultats de ces méthodes particulières seront proposés. Notre approche sera essentiellement image, et l'on s'intéressera à la difficulté d'étendre sur la dimension temporelle les différentes méthodes.
Autour de modèles de bruits, ces deux démarches se rejoignent : le scientifique gagne de belles images sur lesquelles travailler et auxquelles il doit apporter des modèles de bruits nouveaux le cas échéant. Ces modèles de bruit permettent en retour de traduire de manière numérique les détériorations; le cinéaste gagne en expressivité. Nous présentons quelques extraits d'oeuvres de trois artistes ayant chacun à leurs manières travaillé sur la détérioration de la pellicule : Éric Heilmann, Bill Morrison et Jürgen Reble et les caractéristiques propres à chacun d'eux.
15 heures 00 : Pause
15 heures 15: Synthèse de textures et de sons par l'utilisation de modèles stochastiques issus de la prédiction linéaire ( Olivier Alata Laboratoire SIC, FRE CNRS 2731 - (Université de Poitiers) alata@sic.sp2mi.univ-poitiers.fr, Clarisse Mandridake - Advestigo, Recherche et développement - Saint-Cloud, France.)
L'aléatoire est une notion qui a été pleinement intégrée à l'art au cours du 20ème siècle. On peut citer par exemple les pianos préparés de John Cage ou la technique de peinture de Jackson Pollock.
Pour la génération de textures et de sons numériques, les premières pouvant être intégrées dans des logiciels de création d'images et les seconds dans des compositions électro-acoustiques, il existe à l'heure actuelle de nombreuses méthodes qui s'appuient le plus souvent sur des approches soient déterministes soient aléatoires ce qui peut paraître limitatif.
Au cours de l'exposé, un bref rappel sera donné sur les fondements des modèles stochastiques issus de la prédiction linéaire et les mesures spectrales associées. Ces dernières permettent d'ailleurs de définir la nature d'un processus aléatoire suivant la décomposition de Wold : c'est une somme d'un processus déterministes et d'un processus purement aléatoire que ce soit en 1D ou en nD.
Les modèles stochastiques issus de la prédiction linéaire sont des modèles paramètrés. Pour la génération de signaux nD, il faut donc définir un ensemble de paramètres. Cet ensemble de paramètres peut être soit choisi directement par un utilisateur soit obtenu à partir de signaux réels, ce qui nécessite une phase d'estimation des paramètres nommée analyse. En fonction de la complexité du modèle, il peut être tout aussi difficile de faire une synthèse correspondant parfaitement aux spécifications du modèle que d'obtenir une estimation précise de ceux-ci.
Une autre propriété importante à prendre en compte, que ce soit pour la synthèse ou l'analyse, est la stationarité du processus aléatoire qui peut se définir de la manière suivante : un processus aléatoire est stationnaire si la loi de probabilité des variables aléatoires le constituant n'évolue pas au cours du temps. Il est aussi possible d'envisager une stationnarité "par morceaux" c'est à dire que le processus pourra être considérer comme stationnaire pour des sous-ensembles de variables aléatoires le constituant.
Ainsi, pour les sons, des modèles non-stationnaires seront présentés. Pour les textures, nous aborderons essentiellement des modèles stationnaires. Différentes méthodes d'analyse et de synthèse seront présentées. Cet exposé sera principalement illustré par des résultats en synthèse de textures.
Le travail présenté au cours de cet exposé est issu d'un partenariat entre le laboratoire SIC et l'Equipe Recherche et Développement de la Société Advestigo. Nous nous intéressons aussi à l'utilisation de ces modèles mathématiques pour la production d'empreintes de documents
15 heures 50 : L’indexation d’images, une interrogation sur la mémoire, une ouverture sur la connaissance. Pascale GADON, artiste en arts visuels, pgadon@club-internet.fr Noël RICHARD, Laboratoire SIC, richard@sic.sp2mi.univ-poitiers.fr
Lire, déchiffrer, décoder une image est un processus complexe qui nécessite une grande masse d’informations apprises au cours de l’évolution de la personne. Les références utilisées sont pour partie communes et font appel aux savoirs de base des systèmes éducatifs, pour une autre partie des références propres de l’utilisateur (cadre social, culturel, géographique, …). Plusieurs vecteurs ont participé à la diffusion de ces savoirs, le principal d’entre eux fût le livre, aujourd’hui en passe d’être détrôné par les media électroniques. Le paradoxe de cette évolution est que les bases de la communication ont d’abord été orales, puis picturales (fresques, peintures liturgiques, …) puis écrites pour revenir aujourd’hui vers l’image et le son. Que tirer de cette évolution, si ce n’est qu’une image s’interprète, alors qu’un texte impose une interprétation. De même la problématique de l’artiste repose sur la base de la communication graphique et plus généralement sensorielle, elle cherche non pas à imposer une idée ou un concept mais à ouvrir la porte à une question, une interrogation, une quête de sens.
Alors que le traiteur d’images cherche à exprimer le contenu mathématique de l’image, l’artiste repère des organisations, des points d’intérêts visuels, des structures, des associations représentatives du contenu. Le propos de la collaboration entre Pascale Gadon et Noël Richard concerne l’exploitation d’un système d’indexation pour l’apprentissage par l’image. Une application en cours d’évaluation porte sur la lichenologie. Le maître mot est « Interroger sans questionner ».
L’intérêt de la collaboration réside dans le choix des images tant dans leur contenu, que dans leur mise en scène. L’a priori esthétique fort autorise un autre regard sur le contenu de l’image et permet d’associer un affect important qui laisse trace dans la mémoire de l’utilisateur. Or la capacité de mémorisation d’un individu dépend notamment de cette charge émotionnelle. Face à ces images au contenu figé, le système d’indexation offre une dynamique de lecture. L’indexation par le contenu, basée sur différents opérateurs d’extraction d’informations (couleur, forme, texture, organisation), permet soit de parcourir l’espace des possibilités offertes par le système, soit d’interroger l’utilisateur sur la notion de voisinage. Cette notion imposée de façon masquée à l’individu l’oblige par la connaissance de son existence à mieux regarder les images à poser des hypothèses, qu’il validera ou non dans le parcours
« Interroger sans questionner » a pour objectif de proposer des informations à l’utilisateur, sans que celui-ci ne formule de questions, ces informations correspondant cependant à une interrogation personnelle. Dans l’idée qui est la nôtre, le parcours d’une base d’images correspond soit à une recherche experte pour un besoin particulier, qui s’appuie alors sur des descripteurs précis, indexables notamment textuellement, soit de façon plus intuitive selon le contenu visuel. Ce dernier mode est alors entièrement dépendant de l’utilisateur. Ce qui est à la fois une difficulté est également un avantage. La difficulté naît de l’inadaptation globale inhérente à l’intégralité des utilisateurs, l’avantage exploite cette différentiation individuelle pour proposer une démarche personnalisée à chacun. Le parcours dans la base d’image est alors un vecteur de curiosité, permettant d’intégrer les informations connexes distillées selon ce parcours. L’envie associée à ce questionnement muet permet alors d’atteindre une plus grande efficacité dans la préhension des connaissances associées à la base d’images, faisant ressortir les nombreuses implications d’une telle collaboration.
16 heures 30 : Présentation de sujets pour la prochaine journée :
- Numérisation et Authentification d’œuvres d’art par vision numérique multi-composantes. V.Vurpillot, A.C. Legrand, A.Tremeau Laboratoire LIGIV anne.claire.legrand@univ-st-etienne.fr
Dans le cadre de la journée thématique Traitement signal image et arts, nous nous proposons de présenter nos travaux de recherche sur le développement d’outils de numérisation et d’authentification d’œuvres d’art par vision numérique multi-composantes, dans le contexte de la conservation du patrimoine artistique.
Les différentes phases de conception d’un système de vision numérique sont étudiées afin de définir des méthodes de caractérisation des outils de mesure pour obtenir une numérisation conforme et fiable des œuvres. Des méthodes de traitement des données spectrales et colorimétriques acquises sont également élaborées pour permettre une authentification et une sécurisation des oeuvres.
Il s’agit tout d’abord d’élaborer un procédé d’éclairage adapté aux œuvres et conforme aux attentes du système. La définition de l’éclairage est primordial pour garantir l’acquisition de mesures fiables et notamment une bonne numérisation des composantes couleurs de l’oeuvre.
Le choix, la disposition et la caractérisation des composants sont analysés pour mettre en place un système assurant une homogénéité spatiale, une bonne stabilité, une bonne reproductibilité, et un respect des composantes spectrales.
La phase suivante de développement du procédé d’acquisition consiste à choisir les appareils de mesure, puis à les caractériser et enfin à établir un protocole de calibrage du système d’acquisition. Le système de numérisation doit fournir des données spectrales et colorimétriques, à la fois exactes et reproductibles.
La phase finale de traitement des données a pour objectif d’assurer l’authentification et la sécurisation des œuvres. Dans ce but, nous travaillons sur la mise en place d’outils de traitement de ces données multi-composantes.
- Contrôle de la musique par vision artificielle du geste. F. Bardet, T. Château, M. Naranjo – Université Blaise Pascal Clermont-Ferrand LASMEA. frbardet@univ-bpclermont.fr
Nous développons différents systèmes d’interaction homme-machine par vision artificielle, pour permettre à un utilisateur (un « gesteur »), de générer et/ou de contrôler de la musique à partir de ses gestes. La finalité de ces développements est l’exploration des apports de ces systèmes d’interaction pour le spectacle vivant. Une collaboration est en cours avec des danseurs, une va démarrer avec un chef de chœur, et nous cherchons d’autres applications avec tout « gesteur »: mime, marionnettiste, jongleur…
Deux prototypes seront présentés :
-
trio pour deux danseuses et un musicien : le système associe
à chaque danseuse un son qui lui est propre, et le génère en fonction de ses
mouvements, positions, et postures.
Prototype conçu pour un spectacle donné à Clermont-Ferrand les 14 et 15 juin
2005.
- Environnement sonore évolutif, commandé par les gestes des deux mains d’un « gesteur ». Les gestes sont classifiés en classes apprises par apprentissage supervisé. Une fois reconnus, ces gestes commandent l’évolution du système suivant une séquence.
16 heures 45 : Bilan et perspectives (Pierre Bonton, Guy
Demoment).
17 heures : Fin