Russische trollen in Nederland. Hoe de Groene Amsterdammer haar lezers op het verkeerde been zette.

by

Er is in Nederland veel aandacht voor de mogelijke pogingen door de Russische overheid om de publieke opinie hier te beïnvloeden. Minister Ollongren probeerde de Tweede Kamer hiervan te overtuigen maar kon geen enkel aantoonbaar bewijs leveren. Minister Ank Bijleveld van Defensie zei op 14 oktober 2018 in het televisieprogramma WNL op Zondag. “Men probeert op allerlei manieren ook in ons normale dagelijks leven, in onze democratie invloed te hebben”. Helaas gaf de minister ook deze keer geen voorbeelden.

De Groene Amsterdammer deed onderzoek naar trollen en  publiceerde hierover op 29 augustus 2018 een artikel met de titel ‘Onderzoek Desinformatie op Twitter . Hoe Russische trollen inspelen op westerse angsten .’ De trollen zouden werken voor het Russische Internet Research Agency (IRA). Een Russisch bedrijf met een kantoor in St. Petersburg waarvan de directeur connecties met het Kremlin zou hebben.

Echter uit eigen onderzoek blijkt helemaal nergens uit dat Russische trollen zich met MH17 onderwerpen richten op Nederland. 

In juli 2018 publiceerde NRC een soortgelijk artikel met de titel ‘Russisch trollenleger ook actief in Nederland‘. In tegenstelling tot de analyse van De Groene concludeerde NRC  niet dat Russische trollen MH17 gebruiken voor beinvloeding. NRC spreekt over “pogingen om via Twitter het anti-islamsentiment aan te wakkeren”.

Op 17 oktober kwamen er nog meer Tweets beschikbaar. NRC schreef in dit artikel:

96 procent van de op 18 juli door de trollen verstuurde tweets is volgens Twitter in het Russisch geschreven. Dat wijst erop dat de trollen vooral de publieke opinie over MH17 in Rusland zelf probeerden te beïnvloeden. De trollen verstuurden die dag slechts vier Nederlandstalige tweets. Daarin wordt geen desinformatie verspreid, maar medeleven met de slachtoffers uitgesproken. „rust in vrede.. Het spijt me zo #MH17 Boeing 777”, schrijft een Russische IRA-trol die zichzelf omschrijft als „een jong en actief publiek figuur in St. Petersburg”.

De Groene in augustus

Terug naar augustus.

Het artikel van de Groene,  geschreven door Robert van der Noordaa en Coen van de Ven, schetst de lezer een beeld van Russische trollen die zich bezig houden met het beïnvloeden en misleiden van de publieke opinie in Nederland door gebruik te maken van wat de auteurs noemen ‘Nederlandse onderwerpen’. Dat zijn dat met name onderwerpen als MH17 en de PVV.

De, misleidende suggestie, dat Russische trollen zich richten op Nederland werd overgenomen door een aantal Nederlandse media waaronder het AD en BNR. Het AD bijvoorbeeld kopte met de titel ‘Russische troll-accounts ook actief in Nederland‘

En ook de Groene zelf stelt in de aankondiging van het artikel op “Russische trollen beïnvloeden ons online”. Met ons wordt overduidelijk de Nederlandse bevolking bedoeld.

Ook de Tweet van een van de auteurs van het artikel laat geen twijfel bestaan. De Russische trollen richten zich op Nederland. Waarom zou je anders als trol MH17 , rellen in Rotterdam en Wilders in je Tweets noemen? Dat doen trollen niet als ze zich op Rusland richten. Toch?

De Groene misleidt

Uit mijn onderzoek  blijkt dat een aantal van de stellingen in het artikel van de Groene niet kloppen. Zo is er helemaal geen sprake van ‘beschuldigingen aan het adres van Boeing, de bouwer van het verongelukte toestel’. En zijn er nauwelijks Tweets over MH17 die gericht zijn op Nederland.

Ik gaf op Twitter aan dat de lezer door het artikel op verkeerde been wordt gezet en  zal denken dat Russische trollen de Nederlandse opinie proberen te beïnvloeden.De reactie van een van de beide auteurs is verrassend.

De reactie van Robert van der Noordaa op was:

Opeens bemoeien de Russische trollen zich blijkbaar op Rusland zelf. Dat is een 180 graden draai tov de Tweets van de Groene en Coen van de Ven.

Toch knap dat het artikel zo misleidend is dat zelfs de Groene zelf de verkeerde conclusie trok.

De datasets

Laten we het onderzoek beginnen door naar de data die door de Groene is gebruikt te kijken.

De bron voor haar artikel is een lijst die Twitter in juni 2018 vrijgaf aan het Amerikaanse congres. De lijst bevat 3841 Twitter accounts. Twitter heeft deze lijst samengesteld op basis van accounts die kunnen worden gelinkt aan Rusland.

Twitter maakte in november 2017 ook al een lijst met accounts die aan de IRA konden worden gelinkt. Twitter had naar eigen zeggen de accounts geselecteerd op de  criteria zoals hieronder aangegeven.

Twitter’s acting general counsel Sean J. Edgett told the Senate Select Committee on Intelligence how Twitter sought to identify accounts tied to the IRA. The company looked at accounts that generated election-related content and examined whether an account was created in Russia; whether the account was associated with a Russian email or phone number; whether the user ever logged in from a Russian IP address; or whether the display name contained Cyrillic characters. Twitter relied in part on an algorithm, but its review also included “internal, manual reviews conducted by Twitter employees,” Edgett said.

De juni 2018 lijst van accounts is door onderzoekers Darren Linvill en Patrick Warren die werken voor de Amerikaanse Clemson University verder geanalyseerd.

De onderzoekers verwijderden een flink aantal accounts, namelijk de accounts die in de periode die Clemson University  onderzocht geen Tweets hadden verstuurd. Dit resulteerde in een nieuwe dataset die  2.973.371 tweets afkomstig van 2.848 Twitter accounts bevat. De Tweets in deze set zijn verstuurd in de periode februari 2012 tot mei 2018. Verweg de meeste Tweets in deze set zijn verstuurd van 2015 tot 2017.  De ruwe dataset is te doorzoeken op meerdere sites waaronder https://russiatweets.com/ en https://russian-troll-tweets.datasettes.com/

De onderzoekers van de Clemson University gingen vervolgens op de ruwe dataset filteren. Ze selecteerden Tweets verstuurd in de periode 19 juni 2015 tot 31 december 2017. Ten opzichte van de lijst met Tweets die het Amerikaanse Congress vrijgaf werden 17.980 Tweets door de  Clemson University verwijderd omdat deze niet afkomstig waren van de IRA.  In deze studie van de beide onderzoekers is dat beschreven. Nog eens 154.832 van 24 Twitter accounts werden verwijderd omdat deze ook niet tot de IRA behoorden.

Daarnaast werden 828.219 Tweets afkomstig van 1.472 Twitter accounts verwijderd omdat deze accounts voornamelijk in andere talen dan Engels Tweeten. Uiteindelijk bleven er 1.875.029 tweets van 1.311 Twitter accounts over die werden gelinkt aan de IRA.

De Groene analyseerde ongeveer 3 miljoen Tweets. Die kwamen van een drietal bronnen. Namelijk de dataset van 2,848 Twitter accounts gemaakt door Darren Linvill en Patrick Warren die werken voor de Amerikaanse Clemson University . Deze set werd gecombineerd met een dataset die NRC eerder gebruikte (3841 Twitter accounts) en lijsten die het Amerikaanse Congres publiceerde met namen van Twitter-accounts (ook 3841 accounts).

In totaal analyseerde  de Groene Tweets afkomstig van ‘3854 Russische trollen’. Nergens in het artikel valt op te maken dat deze 3854 Russische trollen daadwerkelijk uit Rusland afkomstig zijn en hoe De Groene dit heeft onderzocht. In andere datasets bleek  eerder dat een aantal onschuldige Amerikanen onderdeel uitmaakte van de set.

Bovendien is het opmerkelijk dat De Groene beschikt over een dataset die veel groter is dat de dataset van Clemson University. Juist bij het samenstellen van deze kleinere dataset zijn veel Twitter accounts waarvan onduidelijk was wat de herkomst was weggehaald.

Alle Tweets zijn openbaar beschikbaar in de vorm van een set van .CSV bestanden. https://github.com/fivethirtyeight/russian-troll-tweets Dit stelt iedereen in staat om zelf onderzoek te doen naar de Tweets. En dus ook om de beweringen in de Groene Amsterdammer te controleren.

De IRA begon haar online activiteiten in de zomer van 2013. Opvallend is echter dat in de dataset die De Groene gebruikte toch nog 647 Tweets staan welke zijn verzonden voor 1 juli 2013. Daarvan zijn er 112 in het engels geschreven. Ik kon geen enkele Tweet vinden die ook maar in de richting komt van beïnvloeding.

Nederlandse MH17 termen

Een van de claims van de Groene is dat MH17 wordt gebruikt door Russische trollen

De trollen bemoeien zich actief met voor Nederland relevante onderwerpen zoals de MH17-ramp, waar ruim drieduizend tweets over werden verstuurd.

Deze zin zal door vrijwel iedereen worden begrepen als ‘Rusland bemoeit zich in het Nederlandse debat middels MH17 gerelateerde Tweets’.

Laten we eens nader onderzoek doen of Russische trollen zich op Nederland richten door gebruik te maken van onderwerpen als MH17.

Zoeken op trefwoord ‘MH17’ geeft 1150 resultaten. Zoeken is hoofdletter onafhankelijk op ttps://russiatweets.com/ , dus zoeken op ‘mh17’ geeft hetzelfde aantal resultaten. Als trollen zich specifiek op Nederland zouden richten verwacht je dat een flink aantal van deze Tweets in het Nederlands zijn geschreven.

Niets is minder waar. Slechts 2 van de 1150 Tweets zijn Nederlandstalig. En deze Tweets verwijzen ook nog eens naar een artikel van de Volkskrant. Niet echt een krant waarvan je zou verwachten dat trollen deze willen aanbevelen.

Het wordt nog gekker.  882 van de 1150 Tweets zijn in het Russisch geschreven. Aangezien vrijwel geen Nederlander de Russische taal machtig is, kan worden uitgesloten dat trollen zich specifiek op Nederland richten. En slechts 159 Tweets gestuurd met hashtag #MH17 in het Engels.

Er blijft dus helemaal niets over van de stelling van de Groene : De trollen bemoeien zich actief met voor Nederland relevante onderwerpen zoals de MH17-ramp, waar ruim drieduizend tweets over werden verstuurd.

De enige te rechtvaardigen conclusie uit de dataset is dat het grootste deel van de Tweets met trefwoord MH17 waren gericht op een publiek dat Russisch kan lezen. En dan moet nog nauwkeurig worden onderzocht wat de strekking was. Die zal  namelijk niet altijd bedoeld zijn om te trollen.

Zouden er wellicht andere trefwoorden worden gebruikt door de trollen? Dat zou op zich al vreemd zijn. Als je de aandacht wil vestigen gebruik je de hashtag #MH17 zou je denken. Dat klopt ook uit de analyse van andere zoekopdrachten die met MH17 te maken hebben.

Zoeken op ‘MH-17’ geeft geen resultaten. Trefwoord ‘BUK’  geeft een schamele 22 resultaten. Zoeken op ‘Almaz-Antey’ geeft 1 resultaat. En zoeken op ‘Spekkers’ geeft 10 resultaten

Er zijn 94 resultaten als op Bellingcat wordt gezocht. 67 daarvan zijn geschreven in de Russische taal.

‘Besmeuren van Boeing’

Een ander voorbeeld uit het artikel waaruit beïnvloeding moet blijken.

De Groene stelt dat vliegtuigfabrikant Boeing sinds de MH17 ramp wordt besmeurd door trollen. De vraag is waarom trollen dit überhaupt zouden willen doen.

Opvallend is dat het bedrijf Boeing sinds het neerhalen van de MH17 in verschillende talen wordt besmeurd. Tweets over incidenten rond het bedrijf zoals arbeidsconflicten en rechtszaken worden gretig rondgestuurd door bots. De tweet ‘Boeing employees fired for sexting at work #local’ wordt vele malen rondgepompt door de Russische trollen.

Zoekopdrachten op beide eerder genoemde websites leveren opvallend genoeg maar 1 Tweet op met tekst over Boeing. En die tekst heeft helemaal geen relatie met MH17.

Via e-mail vroeg ik een van de auteurs van het artikel, Coen van der Ven, of hij dat kon uitleggen. Hij schreef mij ‘

Als ik snel kijk in onze database haal ik deze vier voorbeeldtweets uit.

Hij stuurde mij als reactie een screenshot van de enige Tweet waarin Boeing werd genoemd plus drie Tweets over een geheel ander onderwerp. Namelijk een Britsh Airways piloot die selfies maakte in de cockpit. Duidelijk niets te maken met Boeing en al helemaal niet met MH17.

Hieronder staat de screenshot.

De Amerikaanse onderzoekers geven aan dat er diverse typen trollen actief waren. Een van de types is de News Feeds. De onderzoekers schrijven hierover:

News Feeds are a bit of a mystery: They present themselves as local news aggregators, with names such as @OnlineMemphis and @TodayPittsburgh, and the news they link to is typically legitimate

Vrijwel alle Tweets in het Engels met Boeing in de tekst vallen in de categorie ‘News feeds’.

Die News Feeds geven dus veelal legitiem nieuws.

Ik vroeg nogmaals  van de Ven om een toelichting. Deze gaf aan dat hij Robert van der Noordaa zou vragen dit te verklaren. Echter in het contact dat ik via Twitter met Van der Noordaa had kon hij geen enkel voorbeeld geven van Tweets die wijzen op het besmeuren van Boeing vanwege MH17.

Des te opvallender wordt het als na mijn e-mail conversatie blijkt dat de tekst door de Groene wordt aangepast. De aangepaste tekst geeft aan dat er zelfs diverse Tweets zijn verstuurd om Boeing te besmeuren.

De originele tekst

De tweet ‘Boeing employees fired for sexting at work #local’ wordt vele malen rondgepompt door de Russische trollen.

werd later vervangen door onderstaande aangepast tekst

Tweets zoals ‘Boeing employees fired for sexting at work #local’ worden vele malen rondgestuurd door de Russische trollen.

Hoewel er geen enkele aanwijzing is voor besmeuren maakt de Groene er meervoud van. Bijzonder.

“Beinvloeding van Nederland”

Hoe staat het met de andere voorbeelden? De Groene schrijft:

In Nederland waarschuwde minister van Binnenlandse Zaken Kajsa Ollongren vorig jaar nog voor invloed op het Nederlandse debat.Overtuigende voorbeelden had de minister toen niet, maar uit een analyse door De Groene Amsterdammer van 2.973.331 tweets afkomstig van 2808 Twitter-trollen blijkt dat Rusland wel degelijk Nederlandse onderwerpen in het vizier heeft

Uit het gebruik van de woorden ‘maar’  en ‘wel degelijk‘ zou de lezer kunnen denken dat er dus in de dataset die De Groene gebruikte  voorbeelden van Tweets te vinden zijn waaruit blijkt dat er vanuit Rusland wordt geprobeerd de Nederlandse publieke opinie te beïnvloeden.

De auteurs gebruiken hier een slimmigheid om de lezer op het verkeerde been te zetten. In de eerste zin wordt verwezen naar invloed op het debat. In de conclusie van de Groene wordt geschreven over Nederlandse onderwerpen.

Het hele artikel van de Groene is samen te vatten als: ‘Twitter accounts die gevonden werden  in een door Twitter vrijgegeven lijst blijken onderwerpen te gebruiken die ook in Nederland worden gebruikt, zoals PVV en MH17’.

Een stuk minder spectaculair als ‘Russische trollen proberen het debat in Nederland te beïnvloeden’.

‘MH17 was een false flag’

Een ander voorbeeld waarmee de Groene wil aantonen dat Nederlandse onderwerpen door Russische trollen, kennelijk bedoeld om te beïnvloeden, is dat alternatieve theorieën worden verspreid. De Groene schrijft:

Geheel in lijn met de Russische staatskanalen worden alternatieve theorieën – ‘er was een bom aan boord’ of ‘was een false flag-operatie’ – verspreid. Dat gebeurt in tal van talen waaronder het Nederlands, Engels, Duits, maar vooral Russisch.

Het wordt eentonig maar ook hier kunnen de auteurs van de Groene geen enkel voorbeeld aanleveren waaruit blijkt dat Tweets in het Nederlands, Engels of Duits worden gestuurd met iets van een tekst als bom aan boord in relatie tot MH17.

Van de Ven schrijft mij ‘We schrijven expliciet dat er vooral in het Russisch wordt getwitterd hierover’. Dat klopt, maar waarom dan melden dat er ook in Nederlands over een false flag wordt getwitterd terwijl de auteurs zelf geen voorbeeld kunnen geven?

Anti-islamsentiment

Er zijn volgens het artikel ook aanwijzingen die duiden op een poging tot aanwakkeren van anti-islamsentiment in Nederland. Trollen gebruiken de aanslagen in Brussel om Tweets te versturen met hashtags als   . Vaak is er sprake van een RT van een Tweet verstuurd door een Belg of Nederlander, welke is aangevuld met deze hashtags. Soms is er sprake van het kopieren van een Nederlandse Tweet met toevoeging van hashtags.

Echter, #IslamKills komt in de dataset maar 52 keer voor in Nederlandstalige Tweets. #stopislam 13 maal.

Deze aantallen vallen in het niet vergeleken met anti-islam Tweets verstuurd door authentieke Nederlandse Twitter accounts.

Deens onderzoek naar MH17 propaganda

Onderzoekers van de Universiteit van Kopenhagen deden onderzoek naar desinformatie over MH17 op Twitter.

In het onderzoek schreven zij het volgende:

However, in 2017 Twitter provided the US Congress with a list of 2,752 human-controlled Twitter profiles linked to Russia’s Internet Research Agency (IRA), popularly known as the ‘Russian Troll Farm’. Interestingly, none of these trolls appeared in the k-10 core. Although it is impossible to determine with complete certainty, we found no indication that any of the citizen profiles in our sample were managed by the IRA.

Dus geen van de Twitter accounts in de lijst die het Congress vrijgaf en die een groot deel bevat van de accounts die De Groene onderzocht speelden een belangrijke rol in het verspreiden van desinformatie over MH17.

Verzoek om voorbeelden

Ik vroeg de auteurs diverse malen om voorbeelden te geven van Tweets die het verhaal zouden bevestigen. Ik kreeg al reactie dat de trefwoorden die werden gebruikt op een later tijdstip bekend zouden worden gemaakt. Tot op heden is dat niet gebeurd. Een tweede artikel over trollen die zou verschijnen is nooit gepubliceerd.

Kritiek

In de Nederlandse media is geen kritiek gegeven op het stuk van de Groene. Burgeronderzoeker Max van der Werff deed wel een onderzoek naar het artikel en kwam tot dezelfde conclusie als ik. Hij verzocht de Groene om het artikel terug te trekken of te rectificeren. Daar wilde de redactie niet aan blijkens onderstaande email van redactiechef Evert de Vos.

 

Conclusie

Over het artikel van de Groene kan ik vrij kort zijn: het slaat nergens op! De tijd hadden de journalisten beter ergens anders aan kunnen besteden. Bijvoorbeeld aan de vele misstanden door de Nederlandse overheid zoals gaswinning in Groningen, Lelystad Airport of het kunstmatig oprekken van het aantal vluchten van Schiphol.

Reactie van de auteurs op kritiek

Op 16 november schreven de beide auteurs een reactie op de kritiek. Over het besmeuren van Boeing schrijven ze:

Daarnaast was er verontwaardiging over het feit dat wij het hoge aantal tweets over het bedrijf Boeing bespreken. Daar kunnen we kort over zijn: de reden dat dit is meegenomen is dat we het opvallend vonden dat dit bedrijf, dat het MH17-vliegtuig bouwde, zoveel voorkwam.

Analyse van Tweets

De auteurs schermen met een door hun gebruikte database en zoekopdrachten waarmee ze Tweets hebben gevonden die anders niet zo makkelijk te vinden zijn. Heel spannend is dat allemaal niet.

Iedereen kan dit eenvoudig binnen 15 minuten ook doen. Download SQLite (gratis) en download vervolgens de database met daarin de 3 miljoen tweets. Deze staat in de deze link.

Vervolgens kan je zelf ook allerlei SQL zoekopdrachten geven.

 

 

by