Beoordelen AI-modellen gezichten zoals mensen?
We vergeleken modeloordelen met menselijke beoordelaars op een openbare dataset. De overeenstemming is hoog voor gemiddeldheid en symmetrie, lager voor charme.
Waarom we het vroegen
Onze pijplijn stelt elk rapport eerst op met een AI-model voor beeldanalyse, waarna een mens het nakijkt. Als de oordelen van het model afwijken van de menselijke waarneming, moet de menselijke stap dat opvangen. We wilden weten waar die afwijking zit.
Wat we deden
We namen 500 frontale portretten uit een openbare onderzoeksdataset, met toestemming verzameld en met bestaande menselijke aantrekkelijkheidsscores, pasten er onze beoordelingsinstructies op toe en vergeleken de scores van het model per kenmerk met de menselijke gemiddelden.
Wat we vonden
- Gemiddeldheid en symmetrie: correlatie boven 0,8. Het model ziet wat mensen zien.
- Huidkwaliteit: sterke overeenstemming, iets strenger dan menselijke beoordelaars op textuur.
- Dimorfisme: goede overeenstemming bij mannen, zwakker bij vrouwen, waar het model de kaakbreedte te zwaar laat doorwegen.
- 'Charme' en expressie: zwakke overeenstemming. Mensen belonen warmte op een manier die modellen niet meten.
Wat het betekent voor jouw rapport
De gemeten delen van een Faciem-rapport zijn betrouwbaar. De delen over expressie, uniciteit en charme worden geschreven door de analist die het rapport nakijkt, niet door het model. Die verdeling is bewust.