Community & data

Hoe communitytesters de betrouwbaarheid verbeteren.

Zo wegen we de meldingen van onze communitytesters: waarom reputatie en recentheid meetellen, en wat we doen bij tegenspraak en manipulatie.

Door TrustDeals Kwaliteitsteam
Gepubliceerd
Leestijd 4 minuten

01 · De menselijke laag

Bij de kassa kan technisch alles kloppen en toch niets werken.

Een machine ziet of een code de prijs verlaagt in een vaste testwinkelmand. Wie echt bestelt, ziet meer. Jij merkt bijvoorbeeld dat de code alleen in de app werkt, dat hij hapert bij één merk of dat hij een account vraagt dat al eerder besteld heeft.

Daarom telt jouw melding als communitytester mee, als aparte laag naast de rest. Je meldingen vervangen de machines en de gegevens van de winkel zelf niet. Ze vullen aan wat die over het hoofd zien.

Het gaat om onafhankelijkheid. Twintig meldingen uit dezelfde bron wegen niet zwaarder dan drie bevestigingen die echt los van elkaar staan.

02 · Reputatie

Niet elke stem telt vanaf dag één even zwaar.

Ben je nieuw als tester, dan heb je nog geen verleden bij ons. Dat bouw je op. Doe je lange tijd meldingen die we kunnen natrekken, dan gaan jouw bijdragen zwaarder meetellen. Botsen jouw meldingen steeds met bewijs dat we later bevestigen? Dan verliezen ze juist invloed.

De exacte gewichten houden we voor onszelf. Anders stemt iemand zijn gedrag precies af op de formule, en dan kan hij de scores meteen sturen.

Eerdere juistheid
Klopten oude meldingen met latere onafhankelijke tests?
Recentheid
Een test van vandaag zegt meer over de kassa van nu dan een test van maanden terug.
Context
Een melding met winkel, tijdstip en voorwaarde is bruikbaarder dan alleen “werkt niet”.
Onafhankelijkheid
Meldingen die gekopieerd of onderling afgestemd zijn, vertrouwen we minder.

03 · Consensus

Een melding is een aanwijzing, geen oordeel.

  1. De melding komt binnen. We koppelen jouw uitkomst aan de code, de winkel, het tijdstip en de context.
  2. We wegen de bron. Hoeveel bewijskracht je melding heeft, hangt af van je reputatie, van hoe recent de melding is en van mogelijke banden met andere melders.
  3. We leggen er andere signalen naast. Denk aan winkelwagentests, gegevens van de winkel zelf en anonieme signalen uit de app, die je melding bevestigen of juist tegenspreken.
  4. De Code score beweegt. Zijn de bronnen het eens, dan stijgt het vertrouwen. Spreken ze elkaar tegen en weten we niet waarom, dan remt dat de score.

Wetenschappers gebruiken vergelijkbare modellen om de waarheid te vinden in bronnen die elkaar tegenspreken. Je kijkt daarin naar twee dingen tegelijk: hoe waarschijnlijk een claim is en hoe betrouwbaar de bron is. Zo'n gepubliceerd model bouwen we niet letterlijk na. Het idee erachter gebruiken we wel.

04 · Integriteit

Meer meldingen is niet altijd beter bewijs.

Niet elke melder is neutraal. Een winkel, een adverteerder of een groep accounts kan er belang bij hebben dat de score die jij ziet stijgt of daalt, dus letten we op plotselinge pieken, op herhaling, op onderlinge banden en op meldingen die afwijken van de andere bronnen.

Je leest hier waar we op controleren, maar niet elke technische regel. Leggen we je precies uit hoe we fraude opsporen, dan maken we fraude alleen maar makkelijker. Zien we een verdacht of tegenstrijdig patroon? Dan zakt het vertrouwen, tot onafhankelijk bewijs duidelijkheid geeft.

05 · Privacy en grenzen

Voor de score telt het testresultaat, niet wie je bent.

Je melding bevat zo min mogelijk persoonsgegevens. Wat we van je nodig hebben, is het resultaat, de code, het tijdstip en wat context, zoals een minimumbedrag of een productcategorie. En wat je verder gekocht hebt? Dat hoort niet in de berekening thuis.

Ook een grote community ziet niet elke winkelmand. Krijg jij een persoonlijke actie, of verschilt een code per regio, dan blijft dat voor anderen lastig te zien. Meldingen maken de Code score dus sterker. Onfeilbaar wordt hij er nooit van. Daarom leggen we altijd meerdere lagen naast elkaar die los van elkaar staan.

Bronnen

Controleer de basis.

  1. A Survey of Trust and Reputation Systems Wetenschappelijk overzicht van reputatiemodellen voor online diensten en hoe betrouwbaar deelnemers zijn.
  2. A Survey on Truth Discovery Overzicht van methoden om waarheid en bronbetrouwbaarheid samen af te leiden uit botsende data.
  3. Frustratingly Easy Truth Discovery Recent onderzoek naar het samenvoegen van bronnen die in betrouwbaarheid verschillen.
  4. TrustDeals: Hoe kortingscodes worden getest Onze uitleg van communitytests als één van vier onafhankelijke signaallagen.