. Introductie

In de Nederlandse artificial intelligence (AI)-onderzoekswereld hebben twee vragen in de afgelopen 25 jaar veel aandacht gekregen. Het zijn: (1) kunnen computers schaken? (1975-1997) en (2) kunnen computers rechtspreken? (1991-heden). Omstreeks 1998 kwam daar een derde vraag bij: kunnen computers kunst herkennen? De vraag is even eenvoudig als doeltreffend. Het is een geweldig uitdagende onderzoeksvraag. Hij ligt dan ook in het verlengde van de eerste twee vragen. Niettemin is er duidelijk sprake van een paradigm shift. Bij schaken gaat het om cognitie (weten, kennen, leren kennen), bij rechtspreken gaat het om het beoordelen van casus die op schrift gesteld zijn (cognitie) en niet om het (mede-) beoordelen van antwoorden die een juridische partij geeft in de rechtszaal. Bij kunst gaat het om beelden, kleuren en composities, om percepties (herkennen, zien, waarnemen, begrijpen). Menselijke perceptie is het resultaat van een langdurig ontwikkel- en leerproces. Dat geldt ook voor kunstmatige perceptie. Het leren herkennen van visuele patronen speelt hierbij een belangrijke rol. In de AI wordt veel gebruik gemaakt van automatische leertechnieken, ook wel machine-learningtechnieken genoemd. Met behulp van deze technieken is het mogelijk om een computer aan de hand van voorbeelden een (visueel) patroon te laten herkennen.

Een computer is bepaald geen blindganger meer die bij toeval het goede antwoord geeft. In tegendeel, door een gedegen analyse en een zorgvuldige implementatie van diverse intelligente technieken hebben computers zich ontwikkeld tot ware experts. Enige jaren geleden onderzochten Postma en Van den Herik een manier om de visuele herkenningsprestaties van een automatische leertechniek te bepalen. Een tentoonstelling van neo-impressionisten bracht hen op het idee om een verzameling gedigitaliseerde schilderijen als uitgangspunt te gebruiken. Deze verzameling bestond uit werken van zes schilders (Claude Monet, Vincent van Gogh, Paul Cézanne, Alfred Sisley, Camille Pissarro, en George Seurat). Uit ieder schilderij werden door de computer specifieke kenmerken geëxtraheerd (kleur, compositie, herhaling van patronen, en penseelstreken). Uit neurowetenschappelijk en psychologisch onderzoek was ons bekend dat in het menselijk visueel systeem vooral kenmerken als kleur, vorm, en textuur, een belangrijke rol spelen in de visuele herkenning van objecten. Dat geldt ook voor schilderijen. In één van onze experimenten lieten we de computer daarom deze biologisch plausibele visuele kenmerken uit de gedigitaliseerde schilderijen halen. Vervolgens trachtten we aan de hand van de kenmerken automatisch de schilder bepalen. Tot onze verbazing bleek de computer in staat om in meer dan 90% van de gevallen de identiteit van de schilder te herkennen uit de textuureigenschappen alleen (dus uit de penseelstreek). Nadere analyse onthulde dat de computer had geleerd de verschillen in de manier waarop de verf op het doek was aangebracht te herkennen. Zo werd Van Gogh herkend door zijn specifieke wilde penseelstreek en Cézanne door zijn hoekige schilderstijl. Inmiddels is het schilderijenproject uitgegroeid tot een promotieonderzoek in het kader van het NWO-project Authentic [noot 1] waarin promovendus Igor Berezhnoy een systeem ontwikkelt dat kunstexperts ondersteunt bij hun analyse van schilderijen.

2. Het Authentic-project

In Maastricht concentreert het Authentic-project zich op de ontwikkeling van technieken voor de perfectionering van de automatische analyse. Een verzameling van 169 gedigitaliseerde schilderijen van Vincent van Gogh is onze bron van inspiratie en onderzoek. Tot op heden verrichten we vooral onderzoek met behulp van analyses van gebruikte kleuren en analyses van (lokale) textuur.

Voor de compositie en de herhaling van patronen gaat het om ruimtelijke zaken, ook wel de visuele contouren genoemd. Natuurlijk overlappen de contouren van objecten elkaar vaak of beïnvloeden ze elkaar met een schaduw. Om de schilderijen op een goede manier aan onze automatische leertechniek (een classifier) te kunnen aanbieden maken we gebruik van verschillende voorbereidingstechnieken die de dimensionaliteit van de afbeelding reduceren. Vijf voorbeelden van dergelijke voorbereidingstechnieken zijn: (1) histogramming, (2) wavelet transformatie, (3) statistische descriptoren, (4) principale componenten analyse, en (5) fractale dimensie analyse. Na de voorbereidingstechnieken gaat het eigenlijke herkenningswerk beginnen. Een automatisch lerende classifier is daar erg goed in, want eigenlijk is het een classificatietaak (Monet, Van Gogh, Cézanne, Sisley, Pissarro, en Seurat). Classificeren komt weer neer op tellen en daar is een computer nu juist heel goed in. Als je lokaal alles weet, dan kun globaal een heel goed oordeel geven. Om lokaal “alles” te weten doen we bijvoorbeeld een beroep op diverse statistische descriptoren die een deel van het schilderij beschrijven. In de kern zijn de descriptoren in staat om de “handtekening” van een schilder zeer nauwkeurig te beschrijven en de schilder derhalve te identificeren, zelfs op de tweedeling echt-onecht. Hieronder geven we enig inzicht over de aanpak bij kleur en penseelstreek.

3. Automatische analyse van kleur

Iedere pixel in een gedigitaliseerd schilderij bestaat uit een triplet van kleurintensiteiten behorende bij de basiskleuren rood, groen, en blauw. Door menging van de drie basiskleuren (ook wel rgb-kleuren genoemd) met verschillende intensiteiten ontstaat een spectrum van kleuren. De rgb-kleuren worden gebruikt voor de representatie en reproductie van kleuren. Voor onze doeleinden is met name de representatie van kleur belangrijk. Om een betrouwbare analyse te kunnen uitvoeren van de kleuren dienen we zo veel mogelijk rekening te houden met de perceptuele aspecten van kleur. (Hoe beleven mensen een kleur? En hoe “doet” een computer dat?) Uit neurowetenschappelijk onderzoek is gebleken dat kleurwaarneming veel complexer is dan het mengen van drie basiskleuren. Daarom wordt voor de representatie van de perceptuele aspecten van een kleur gebruik gemaakt van alternatieve kleurrepresentatiesystemen zoals hsi en CIELab. 

In het hsi-representatiesysteem worden kleuren gerepresenteerd door het triplet Hue (de tint), Saturation (de verzadiging), en Intensity (de intensiteit). Enkel op basis van de Hue-waarden kunnen al grove kleurovereenkomsten in een schilderij worden gedetecteerd. Ter illustratie toont figuur 1 twee schilderijen van Vincent van Gogh die een overeenkomstige globale kleurcompositie hebben. In beide schilderijen wordt veel gebruik gemaakt van geel en blauw, hetgeen duidelijk zichtbaar is door een vergelijking van de bijbehorende hue-histogrammen. De pieken in beide histogrammen komen ruwweg overeen met de kleuren geel en blauw.

Vooral in zijn latere werk maakt Vincent van Gogh veelvuldig gebruik van complementaire kleuren om accenten aan te brengen in zijn schilderijen. De kleurparen rood-groen en geel-blauw zijn de belangrijkste complementaire kleuren. Uit neurowetenschappelijk onderzoek is gebleken dat deze kleurparen een belangrijke rol spelen in het neurale mechanisme dat aan kleurperceptie ten grondslag ligt. In dit zogenoemde opponente-kleuren mechanisme worden kleuren gerepresenteerd in termen van een balans tussen rood en groen, geel en blauw, en zwart en wit. Het CIELab-kleurrepresentatiesysteem is een adequate benadering van de opponente-kleuren representatie. 


Figuur 1. Twee schilderijen van Vincent van Gogh met een overeenkomstige globale kleurcompositie. De histogrammen van de hue-component van het hsi-kleurrepresentatiesysteem vertonen pieken op vrijwel dezelfde hue-waarden (overeenkomend met de kleuren geel en blauw). Bron: het Webmuseum: http://www.ibiblio.org/wm. Met dank aan Nicolas Pioch.

3.1 JH-nummers

Iedere kunstenaar kent ontwikkelingen in zijn/haar werk. De meeste kunstenaars hebben een vroege periode en een late periode. Deze perioden hebben verschillende karakteristieken. In de tussenliggende periode zie je de ontwikkeling van de karakteristieken. De vraag is nu of dit pad volledig in kaart gebracht kan worden. Sterker nog, de eigenlijke vraag luidt: is het mogelijk om een collectie van schilderijen van een kunstenaar chronologisch te ordenen? Voor Van Gogh is dit min of meer gebeurd; dat wil zeggen, niet door een computer, maar door Jan Hulsker. Hij heeft een nummersysteem gedefinieerd dat de chronologische volgorde van de (vermeende) creaties van de schilderijen bij benadering goed vastlegt. De getallen worden JH-nummers genoemd. Een belangrijke vraag voor kunsthistorici is nu: kun je uit de JH-volgorde aflezen dat Van Gogh in zijn actieve periode (1881-1890) steeds meer gebruik ging maken van complementaire kleuren? Nauwkeurige analyse van opponente kleuren met behulp van het CIELab-representatiesysteem in de hoogwaardige digitale reproducties van schilderijen (gerangschikt volgens JH-nummers) toont aan dat dit vooral het geval is als Van Gogh in Parijs woont en later in Zuid Frankrijk. Figuur 2 geeft een weergave van de toename in het gebruik van complementaire kleuren (uitgedrukt in “opponency value”, dat is de proportie rood-groen en geel-blauw overgangen in het schilderij) als een functie van de (bij benadering) chronologische JH-nummers. Een duidelijke overgang in het gebruik van complementaire kleuren is zichtbaar rondom de JH-nummers tussen 1000 en 1400. Deze nummers corresponderen met de tijd waarin Van Gogh verhuisde van Antwerpen naar Parijs en later Arles. Met onze analysetechniek is het tevens mogelijk om automatisch objecten te detecteren waarop Van Gogh de nadruk legde door rood-groen of geel-blauw overgangen. Figuur 3 toont een voorbeeld. De inzet rechtsonder is een silhouet van een persoon dat door Van Gogh is voorzien van geel-blauwe contouren. Zonder het te weten maakte Van Gogh gebruik van het neurale opponentiemechanisme dat ten grondslag ligt aan de menselijke perceptie van kleuren. 


Figuur 2. De opponency value (proportie rood-groen en geel-blauw overgangen in een schilderij) als een functie van het Jan Hulsker nummer (een bij benadering chronologische ordening van de werken van Van Gogh). De curve geeft het gemiddelde aan.


Figuur 3. De automatische segmentatie van een silhouet van een persoon door de detectie van (in dit geval) geel-blauw overgang uit het schilderij “Landschap met bomen en vrouwelijke figuur” Saint-Rémy, 1889, (JH 1848). Bron: The Vincent van Gogh Gallery: http://www.vggallery.com. Met dank aan David Brooks.

4. Automatische analyse van (lokale) textuur

Naast kleur is een van de belangrijkste kenmerken van een schilder zijn penseelstreek. Kunstexperts beweren zelfs dat een schilder direct te herkennen is aan de wijze waarop hij de penseelstreken aanbrengt. Door een specifieke verftechniek bepaalt de schilder de visuele textuur van het schilderij. Met behulp van geavanceerde visuele filtertechnieken (die wederom zijn geïnspireerd door neurowetenschappelijke inzichten) kan de gedigitaliseerde textuur worden gekwantificeerd. Een voorbeeld van een biologisch geïnspireerd filter tonen we in figuur 4. De x- en y-as vormen het beeldoppervlak van het schilderij, de z-as representeert de respons van het aangebrachte filter (een Gabor-filter). Gegeven de vorm en oriëntatie van het Gabor-filter, wordt een maximale respons verkregen wanneer er sprake is van een verticale rood-groen overgang. Dit filter is een voorbeeld van een model voor de gevoeligheid van neuronen in het visueel systeem. Bovendien heeft het wiskundig gezien aantrekkelijke eigenschappen, zoals een optimale combinatie van resolutie in spatiële frequentie en plaats. Voor het gebalanceerd kwantificeren van de lokale textuureigenschappen wordt doorgaans gebruik gemaakt van meerdere Gabor-filters op dezelfde positie, maar met verschillende oriëntaties en verschillende grootte. 


Figuur 4. Illustratie van een Gabor-filter.

Momenteel verrichten wij een diepgaande computationele analyse van de locale textuur zoals die is aangebracht op de diverse schilderijen met behulp van Gabor-filters en statistische leertechnieken. Het doel is om de statistische structuur van de penseelstreken van Van Gogh te inventariseren en vervolgens zodanig te karakteriseren dat de kunstexperts van het Van Gogh museum hun meetbare eigenschappen kunnen gebruiken voor hun oordeel (vals of echt).

5. Een intelligente kunstherkenner?

Om een schilderij te herkennen hebben we patroonherkennende vermogens nodig. Dat geldt zowel voor mensen als voor computers. De patroonherkennende vermogens van de door ons ontwikkelde technieken zijn groot. Tot op zekere hoogte zijn ze groter dan het patroonherkennend vermogen van een mens. Figuur 5 toont de beroemde Vermeer-vervalsing De Emmaüsgangers van meestervervalser Han van Meegeren. Met onze technieken zou het schilderij ondubbelzinnig als een vervalsing worden geclassificeerd. Dat de vermaarde kunstexpert Abraham Bredius ondanks twijfels het schilderij als authentiek aanmerkte had meer te maken met zijn diepe wens om een echte Vermeer te ontdekken dan met een gebrekkig patroonherkennend vermogen. Zo beschouwd bieden onze technieken een objectieve bijdrage aan het werk van de kunstexpert. Ieder detail van het schilderij wordt door de computer moeiteloos en zonder emotie geanalyseerd en vertaald in een objectief oordeel. Bredius mag dan verblind zijn geweest door de twijfel die hem bevangen had, een computer zal dat niet (snel) overkomen. Computers zijn geen blindgangers meer als het relevante antwoorden betreft over de textuur van een schilderij.


Figuur 5. De Emmaüsgangers. (Vermeer vervalsing). Bron:http://www.museumbredius.nl/eerherstel.htm. Met dank aan het Museum Bredius en het Museum. [noot 2]

Is onze kunstmatige kunstkenner daarmee intelligent? Ja en nee. Enerzijds is onze kunstkenner intelligent, omdat het over een klein maar belangrijk stukje perceptuele intelligentie beschikt. Het is precies dat deel van de natuurlijke perceptuele intelligentie dat vooraf gaat aan de herkenning van objecten en dat mensen in staat stelt om snel te bepalen waar de blik op gericht dient te worden. Anderzijds is onze kunstkenner niet intelligent, omdat deze (nog) geen notie heeft van vorm of betekenis. Het huidig onderzoek aan de kunstmatige kunstkenner is daarop gericht. Misschien zijn we in de komende jaren in staat om de kunstkenner te leren objecten te herkennen (en op een juiste wijze te interpreteren). De kunstmatige bepaling van het “thema” van een schilderij vereist wereldkennis en die is voorlopig alleen nog maar beschikbaar in de hoofden van natuurlijke kunstkenners. Alleen zij kunnen zeggen of de Emmaüsgangers “blindgangers” waren. Eigenlijk moeten de kunstkenners voor een antwoord op deze vraag ook beschikken over een grote hoeveelheid theologische kennis.

5.1 Biologische geïnspireerd onderzoek

Het voorbeeld van de kunstmatige kunstkenner illustreert de kracht van biologisch geïnspireerd AI-onderzoek. Onze conclusie is dan ook dat de combinatie van biologisch plausibele kenmerken en leertechnieken, zoals neurale netwerken, in de toekomst een kunstmatig perceptueel intelligent systeem gaat opleveren dat kunstexperts kan ondersteunen bij hun analyse van schilderijen. 

Een vraag van een geheel andere orde is tenslotte de eenvoudige vraag: vind je een schilderij mooi? Kan een computer daar ook iets zinnigs over zeggen? Laten we er dit van zeggen. Als een computer criteria heeft (geleerd) dan kan het deze criteria toepassen en is een waardering niet zo moeilijk te geven. Je zou in het slechtste geval kunnen zeggen dat de waardering idiosyncratisch is, maar als AI-onderzoeker willen we natuurlijk graag dat de waardering is verankerd in ons gevoel van esthetiek. Daarvoor zullen we nog een lange onderzoeksweg moeten afleggen. 

6. Conclusie

Kunst en kunstmatige intelligentie hebben een gediversifieerde relatie met het cultureel erfgoed. Enkele gebieden zijn fundamenteel van aard (compositie en thema), andere hebben een meer praktisch karakter (kleuren en herhaling van patronen) en nog weer andere hebben een duidelijk gericht toepassingsgebied (penseelstreek). Het cultureel erfgoed is een betrekkelijk nieuw toepassingsgebied, met name als dit vergeleken wordt met Recht en Informatica, als ook met Medische Informatica. Voor kunstmatige intelligentie en het cultureel erfgoed is in de samenleving evenwel een bijzondere positie weggelegd, immers dit erfgoed is ons spoor uit de historie dat ons de weg naar de toekomst wijst.