Win de nieuwste gadgets van Stündenglass en G Pen met de Overcomputers Giveaway.
Op 9 januari 2024 kondigde Meta aan dat het tienergebruikers zal beschermen door hen te blokkeren voor het bekijken van inhoud op Instagram en Facebook die het bedrijf schadelijk acht, waaronder inhoud gerelateerd aan zelfmoord en eetstoornissen.
De stap komt op een moment dat federale en staatsregeringen de druk op sociale mediabedrijven hebben opgevoerd om veiligheidsmaatregelen voor tieners te bieden.
Teens zoeken tegelijkertijd steun bij hun leeftijdsgenoten op sociale media die ze elders niet kunnen vinden. Inspanningen om tieners te beschermen kunnen hen onbedoeld ook belemmeren om hulp te krijgen.
Congres heeft de afgelopen jaren talloze hoorzittingen gehouden over sociale media en de risico’s voor jonge mensen.
De CEO’s van Meta, X – voorheen bekend als Twitter – TikTok, Snap en Discord zijn gepland om op 31 januari 2024 voor de Senaatscommissie voor Justitie te getuigen over hun inspanningen om minderjarigen te beschermen tegen seksuele uitbuiting.
De techbedrijven “worden eindelijk gedwongen om hun mislukkingen te erkennen als het gaat om het beschermen van kinderen”, aldus een verklaring van de voorzitter en ranglid van de commissie, de senatoren Dick Durbin (D-Ill.) en Lindsey Graham (R-S.C.) respectievelijk.
Ik ben een onderzoeker die online veiligheid bestudeert. Mijn collega’s en ik hebben het sociaal media-interacties van tieners en de effectiviteit van de inspanningen van platforms om gebruikers te beschermen, bestudeerd.
Onderzoek toont aan dat hoewel tieners in gevaar zijn op sociale media, ze ook peer-ondersteuning vinden, vooral via directe berichten.
We hebben een reeks stappen geïdentificeerd die sociale mediaplatforms zouden kunnen nemen om gebruikers te beschermen terwijl ze ook hun privacy en autonomie online beschermen.
Wat jongeren tegenkomen
De prevalentie van risico’s voor tieners op sociale media is goed vastgesteld. Deze risico’s variëren van pesten en intimidatie tot slechte geestelijke gezondheid en seksuele uitbuiting.
Onderzoeken hebben aangetoond dat bedrijven zoals Meta hebben geweten dat hun platforms geestelijke gezondheidsproblemen verergeren, waardoor de geestelijke gezondheid van jongeren een prioriteit is geworden van de Amerikaanse Surgeon General.
Veel adolescentenonderzoek naar online veiligheid is gebaseerd op zelfgerapporteerde gegevens zoals enquêtes.
Er is behoefte aan meer onderzoek naar de echte privé-interacties van jongeren en hun perspectieven op online risico’s.
Om aan deze behoefte te voldoen, hebben mijn collega’s en ik een grote dataset verzameld van de Instagram-activiteit van jongeren, inclusief meer dan 7 miljoen directe berichten.
We hebben jongeren gevraagd om hun eigen gesprekken te annoteren en de berichten te identificeren die hen een onveilig of ongemakkelijk gevoel gaven.
Met behulp van deze dataset hebben we vastgesteld dat directe interacties cruciaal kunnen zijn voor jongeren die steun zoeken bij zaken variërend van het dagelijkse leven tot geestelijke gezondheidsproblemen.
Onze bevinding suggereert dat jongeren deze kanalen hebben gebruikt om hun openbare interacties dieper te bespreken. Op basis van wederzijds vertrouwen in deze omgevingen, voelden tieners zich veilig om hulp te vragen.
Uit onderzoek blijkt dat de privacy van online discussies een belangrijke rol speelt in de online veiligheid van jongeren en tegelijkertijd komt een aanzienlijke hoeveelheid schadelijke interacties op deze platforms in de vorm van privéberichten.
Ongewenste berichten die door gebruikers in onze dataset werden gemarkeerd, omvatten pesten, seksuele berichten, seksuele verzoeken, naaktheid, pornografie, haatzaaiende taal en verkoop of promotie van illegale activiteiten.
Desalniettemin is het voor platforms moeilijker geworden om geautomatiseerde technologie te gebruiken om online risico’s voor tieners te detecteren en te voorkomen omdat de platforms onder druk zijn gezet om de privacy van gebruikers te beschermen.
Meta heeft bijvoorbeeld end-to-end-encryptie geïmplementeerd voor alle berichten op haar platforms om ervoor te zorgen dat de berichtinhoud veilig is en alleen toegankelijk is voor deelnemers aan gesprekken.
Ook zorgen de stappen die Meta heeft genomen om zelfmoord- en eetstoorniscontent te blokkeren ervoor dat deze inhoud niet beschikbaar is in openbare berichten en zoekopdrachten, zelfs als een vriend van een tiener het heeft geplaatst.
Dit betekent dat de tiener die die inhoud heeft gedeeld, alleen zou zijn zonder de steun van hun vrienden en leeftijdsgenoten.
Bovendien houdt de contentstrategie van Meta geen rekening met de onveilige interacties in privégesprekken die tieners online hebben.
Een balans vinden
De uitdaging is dus om jongere gebruikers te beschermen zonder inbreuk te maken op hun privacy. Met dat doel hebben we een studie uitgevoerd om erachter te komen hoe we minimale gegevens kunnen gebruiken om onveilige berichten te detecteren.
We wilden begrijpen hoe verschillende kenmerken of metadata van risicovolle gesprekken, zoals de lengte van het gesprek, de gemiddelde reactietijd en de relaties van de deelnemers aan het gesprek, kunnen bijdragen aan het detecteren van deze risico’s door machine learning programma’s.
Zo heeft bijvoorbeeld eerder onderzoek aangetoond dat risicovolle gesprekken meestal kort en eenzijdig zijn, zoals wanneer vreemden ongewenste avances maken.
We ontdekten dat ons machine learning programma in staat was om 87% van de tijd onveilige gesprekken te identificeren met alleen metadata voor de gesprekken.
Maar het analyseren van de tekst, afbeeldingen en video’s van de gesprekken is de meest effectieve aanpak om het type en de ernst van het risico te identificeren.
Deze resultaten benadrukken het belang van metadata voor het onderscheiden van onveilige gesprekken en zouden kunnen worden gebruikt als richtlijn voor platforms om kunstmatige intelligentie risicodetectie te ontwerpen.
De platforms zouden hoog-niveau kenmerken zoals metadata kunnen gebruiken om schadelijke inhoud te blokkeren zonder die inhoud te scannen en daarmee de privacy van gebruikers te schenden.
Als voorbeeld, zou een aanhoudende treiteraar die een jong persoon wil vermijden metadata produceren – herhaalde, korte, eenzijdige communicatie tussen niet-gekoppelde gebruikers – die een AI-systeem zou kunnen gebruiken om de treiteraar te blokkeren.
Ideaal gezien zouden jongeren en hun verzorgers door het ontwerp de optie moeten krijgen om versleuteling, risicodetectie of beide in te schakelen, zodat ze kunnen beslissen over de afwegingen tussen privacy en veiligheid voor henzelf.
Opmerkingen van de redactie:
Opmerking van de redactie: Dit artikel is geschreven door Afsaneh Razi, universitair hoofddocent Informatiewetenschappen aan de Drexel University, en opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees het originele artikel.
