Context
Beeldherkenningsmodellen zijn de afgelopen jaren enorm vooruitgegaan. State-of-the-art systemen herkennen mensen in algemene toepassingen bijna foutloos. Maar niet iedereen heeft hetzelfde lichaam, en dat is precies waar beeldherkenning nog veel te leren heeft.
Moderne systemen hebben grote moeite met het herkennen van mensen met protheses. Vaak worden protheses gelabeld met denigrerende of absurde termen, zoals “stoel”, “toilet” of “fles”. Deze case study wil product- en datateams bewustmaken van deze bias en biedt inzichten om deze systemen inclusiever te maken voor mensen met protheses.
Deze case study wil product- en datateams bewustmaken van deze bias en biedt inzichten om deze systemen inclusiever te maken voor mensen met protheses.
Aanpak
Samen met het Amputee Care Center by Spronken in Genk, België, nodigden we vier mensen met protheses, één ergotherapeut en de coördinator van het centrum uit om de resultaten van een geavanceerd beeldherkenningssysteem voor protheses te onderzoeken.
Het doel was om te begrijpen hoe het systeem hun protheses interpreteert, wat de impact van deze interpretaties op de deelnemers is en hoe zij zouden willen dat het systeem verandert om inclusiever te zijn. De gebruikte methodes omvatten groepsgesprekken, directe observaties en prototyping met Mask2Former.
Bevindingen
Absurde labels voor protheses
We observeerden snel dat het beeldherkenningssysteem mensen met protheses vaak op absurde manieren labelt — zoals een prothese-arm als een "fles", een prothese-been als een "stoel", of het volledig negeren van de prothese door deze onder het label "persoon" te plaatsen.
Hoewel er verschillen waren in hoe deelnemers hun protheses specifiek benamd wilden zien, waren ze het er allemaal over eens dat protheses een eigen label nodig hebben. Een deelnemer stelde voor om volkse namen te gebruiken, afhankelijk van de regio en cultuur.
Maatschappelijke onwetendheid
Een deelnemer merkte op dat deze verkeerde voorstellingen niet alleen een technisch probleem zijn, maar ook een breder maatschappelijk issue. Hoewel de maatschappelijke acceptatie van protheses de afgelopen decennia enorm is toegenomen, blijft er onwetendheid bestaan. Het is niet onverwacht dat een beeldherkenningssysteem dat is opgebouwd uit die maatschappij dezelfde blind spots weerspiegelt.
Diversiteit van protheses
Er is een grote verscheidenheid aan protheses wat betreft lichaamsdeel, materiaal, textuur, kleur en decoratie. Een prothese-arm met een Kaukasisch huidachtige mouw geeft heel andere herkenningsresultaten dan een blootgestelde metalen prothese — beide van dezelfde persoon. Deze diversiteit maakt een one-size-fits-all benadering voor labels fundamenteel ongeschikt.
Impact van verkeerd labelen
Voor ervaren prothese-dragers werden absurde labels vaak met humor en perspectief ontvangen. De coördinator van het centrum wees er echter op dat mensen die net een prothese hebben gekregen — bijvoorbeeld na een ongeluk — nog geen vrede hebben met hun nieuwe realiteit. Voor hen kunnen labels zoals "stoel" of "toilet" diep confronterend zijn en het acceptatieproces bemoeilijken.
Iemand zal veel meer foto's moeten maken.
— Een deelnemer, na het zien van zijn prothese-been gelabeld als "toilet"
Conclusie: wat data scientists kunnen leren
De behoefte aan diverse datateams
De hier besproken verkeerde voorstellingen komen deels voort uit een maatschappij die protheses nog niet volledig heeft omarmd. Zelfs diverse datateams zijn gevormd binnen dezelfde maatschappij. Kennis alleen is niet voldoende, wat nodig is, is empathie en vertrouwdheid. Teamleden die persoonlijke ervaring hebben met protheses brengen een significant en onvervangbaar voordeel met zich mee.
Misschien gaat dit probleem niet alleen over kennis, maar vooral over empathie en vertrouwdheid.
De niet-uniformiteit van mensen met protheses
Mensen met protheses vormen geen uniforme groep. Ze hebben zeer verschillende voorkeuren voor hoe ze vertegenwoordigd willen worden. Datateams moeten het idee loslaten dat ze voor één homogene groep bouwen, en in plaats daarvan mensen uit deze gemeenschap direct betrekken bij het ontwikkelproces, rekening houdend met de nuances daarbinnen.
De impact van het verkeerd voorstellen van protheses
Datateams moeten zich bewust zijn van de emotionele lading die verkeerde labels met zich meebrengen. Naarmate beeldherkenning dieper geïntegreerd raakt in producten en diensten, zullen de gevolgen van verkeerd labelen alleen maar toenemen. Inclusief bouwen is hier geen luxe, het is een verantwoordelijkheid.