Recognizing emotions using brain activity and facial expression analysis

In 2017 I wrote my master’s thesis on automatic recognition of emotions (using brain activity and face expression analysis) at Tilburg University.

Modality face off: detecting affect by analyzing electroencephalography and facial expressions

In this thesis, emotion recognition performance through encephalogram (EEG) analysis is compared to the more established performance of facial expression analysis. An experiment was conducted to assess recognition performance of five discrete affective states (fear, amusement, disgust, sadness, and neutral). Participants were shown emotion-eliciting movie fragments while their EEG and facial expressions were recorded.

The EEG modality was able to detect the emotions only to a limited extent and significantly underperformed compared to the face modality. The combination of modalities, however, significantly outperformed both the individual modalities.

These findings (1) contribute to our knowledge of the added value of EEG to facial expression recognition and (2) encourage future research to take a multimodal approach.

Here’s a link to the thesis: “Modality face off: detecting affect by analyzing electroencephalography and facial expressions

  • Master’s thesis
  • Communication and Information Sciences
  • Specialization Human Aspects of Information Technology
  • Faculty of Humanities
  • Tilburg University, Tilburg

Tracking events in Google Analytics with WordPress plugin Contact Form 7

If you’re looking for an easy way to create forms on your WordPress blog, I recommend the Contact Form 7 plugin. Once you’ve set up a form using this plugin, you’ll probably want to track its usage in Analytics. The Contact Form 7 plugin support site has published a quick tutorial on how to configure Analytics tracking of forms. However, it doesn’t work (at least, not anymore). When I tried to track my form by adding the code line of the tutorial to the Additional Settings, two problems arose. First, the form sent confirmation message disappeared, leaving visitors in confusion and overflowing my email inbox with duplicate mails of those confused visitors harassing the submit button. Secondly, event tracking still did not work. The problems are caused by an error that you can find via Firebug or console in Chrome’s Element Inspection:

“Uncaught ReferenceError: _gaq is not defined”

Fortunately, there is an easy way to solve this. Instead of using this line (as is said in the plugin site’s tutorial):

on_sent_ok: “_gaq.push([‘_trackEvent’, ‘Contact Form’, ‘Submit’]);”

Add the following line to the ‘Additional Settings’ field at the bottom of the contact form edit page:

on_sent_ok: “ga(‘send’, ‘event’, ‘category’, ‘action’);”

You’ll see that the confirmation message returns and events are being tracked in Google Analytics.

Ondernemers: wees online gastheer

Laatst werd ik gevraagd om tips voor websiteoptimalisatie te geven aan een groep ondernemers op de Brabantse Wal. De groep volgde een cursus gastheerschap: je omgeving leren kennen (natuur, cultuur) en die kennis inzetten door bijvoorbeeld je klanten op bijzondere plekjes in de buurt te kunnen wijzen. Online doen ondernemers vaak erg weinig met hun directe omgeving, een gemiste kans.

Beleving overbrengen

Soms zijn er wel wat foto’s, of standaard Wikipediatekstjes over de omgeving te vinden. Met name in de toeristische sector. Die info is voor sommige bezoekers interessant. Maar er zijn meer manieren om de beleving van je omgeving overbrengen via je site. Laten we dit online gastheerschap noemen. In plaats van links te plaatsen naar de VVV en lokale bootjesverhuurder, kun je jouw omgeving op een originele manier tonen en bezoekers op je site houden. Een voorbeeld:

Show, don’t tell

Stel, je bent eigenaar van camping Konkuru, een camping die zicht richt op de actieve vakantieganger: hardlopers, wandelaars, surfers, wielrenners, noem maar op. Je kunt bezoekers van je site dan wel vertellen dat je rondom camping Konkuru fantastisch kunt wielrennen, maar je kunt het ze ook laten zien. Zet naast het tekstje over de ‘vele fietsroutes in de buurt’ live klassementen van Strava (een app die wielrenners gebruiken om hun routes te tracken). Of: maak een ‘Camping Konkuru’-route aan op Strava en daag je gasten uit om de snelste tijd neer te zetten. Misschien een gratis overnachting aanbieden aan de winnaars?

Nog een voorbeeld:

Hotel Heidehuis ligt aan de rand van het bos en kijkt uit over een paarse heide. Vanuit de hotelkamers zie je ‘s ochtends hertjes scharrelen en valken over de boomtoppen cirkelen. Versterk de beleving van een verblijf in hotel Heidehuis door webcams die Staatsbosbeheer op het nest van de valkenfamilie heeft gericht te laten zien aan je bezoekers.

Gebruik je ligging

Kortom, maak online gebruik van je fysieke ligging. Plaats niet dat Wikipediatekstje over de bezienswaardigheden in je regio. Er zijn talloze originelere manieren te bedenken om sitebezoekers een voorproefje te geven van wat jouw omgeving te bieden heeft. De speelse toevoegingen aan je site helpen om interesse op te wekken, en leiden misschien wel tot een telefoontje of boeking…

 

Wekkerinnovatie: je eigen wake up call samenstellen

In de film Iron Man (2008) zit een scene waarin Tony Starks vriendinnetje wordt wakker gemaakt door J.A.R.V.I.S., de slimme huiscomputer. Terwijl Jarvis de gordijnen opendoet en het zonlicht binnenlaat (“Good morning, it’s 7 AM …”) laat de computerstem weten of het de rest van de dag zonnig blijft.

Hoewel de apps op de ramen in het filmpje misschien nog een beetje science fiction zijn, is de wake up call goed te realiseren. Is het niet vreemd dat we nog worden gewekt door ouderwetse alarmtonen terwijl we Siri, Google Now en Cortana hebben? Dat moeten de filmmakers ook hebben gedacht, want ze brachten Jarvis naar iOS. Maar, hoewel de app aardig werkt, is het slechts een alarm met stemmetje.

Een goede wake up app zou de mogelijkheid moeten bieden om je persoonlijke wake up call samen te stellen. Een voorbeeld:

Maak me wakker en geef me een update van het weer. Lees me dan de headlines van NOS voor. Zeg vervolgens hoe laat ik de deur uit moet gaan om op tijd bij mijn eerste afspraak te arriveren. En zet tot slot mijn favoriete muziek op.

Een beetje moderne telefoon heeft deze gegevens al paraat. Als ik Google Now vraag om het weerbericht, mijn afspraken of reisinformatie dan krijg ik dit meteen te horen. Ook een muziekje opzetten via Spotify is geen enkel probleem.

Het zou mooi zijn als we de mogelijkheid hebben om deze functies achter elkaar uit te voeren op een bepaald tijdstip. Zie de mock up hieronder om te zien wat ik bedoel. Mocht je tijd, zin en de skills hebben om zo’n app te bouwen: laat je het weten als ik mag testen (-; ?

 

Wake up app

 

(Nexus 5 template van Luc Chaissac. Icoontjes van iconmonstr, NOS en Spotify)

 

Maak webteksten minimaal 16 pixels groot

Dit artikel verscheen eerder op kweekcommunicatie.nl (12 juli 2012).

Laatst luisterde ik naar de radio. Je weet wel, dat retro medium waar mensen alleen in de auto naar luisteren. Ik zat ook achter het stuur toen de Coen & Sander Show bezig was. De heren waren luisteraars warm aan het maken voor de vierde nationale Comic Sans Dag op 6 juli. Een dag in het leven geroepen om het ‘veelvuldig verguisde’ lettertype uit het verdomhoekje te halen. Dat mensen Comic Sans gebruiken voor verjaardagsuitnodigingen is ergens nog te begrijpen, maar dat sommigen het durven te gebruiken als lettertype voor hun bedrijf is echt gedurfd. Geen visitekaartje, reclamebord of website ziet er serieus uit zodra er Comic Sans is gebruikt. Toch doen mensen het. Nog sterker, zoals Coen en Sander zeiden: “In de prille jaren van het internet was een website zonder Comic Sans haast ondenkbaar.”

Gelukkig komt Comic Sans niet heel vaak meer voor op websites. Wat helaas wel nog vaak voorkomt zijn webteksten met een kleine lettergrootte. Misschien ben jij iemand die alleen grote letters gebruikt om aan die verplichte tien pagina’s voor een paper te voldoen en het verder wel prima vindt dat teksten klein zijn. Toch zouden websites vaker grotere letters moeten gebruiken:

Er zijn tussen de 160.000 en 320.000 slechtzienden in Nederland. Die hebben waarschijnlijk al moeite om een krantenkop van De Telegraaf te lezen, laat staan die minuscule teksten op een website. Daarnaast zijn er steeds meer bejaarden. In 2025 is één op de vier Nederlanders ouder dan 65. Die ouderen moeten vier keer zo hard werken met hun ogen als 20-jarigen om dezelfde tekst te kunnen lezen. Maar ook jonge mensen hebben baat bij grotere letters. De meeste mensen fronsen hun wenkbrauwen en knijpen hun ogen samen bij letters kleiner dan 16 pixels, ook al hebben ze het vaak zelf niet door. Hoe vaak zit jij naar het scherm gebogen om teksten beter te kunnen lezen? Daarnaast zijn grotere letters ook prettiger wanneer je een website bezoekt via je telefoon.

Webteksten zouden minimaal 16 pixels groot moeten zijn. Die grootte is niet volkomen uit de lucht gegrepen: 16 pixels op een beeldscherm is ongeveer net zo groot als de meeste tekst in boeken of tijdschriften. Tekst in boeken is eigenlijk kleiner dan 16 pixels, maar lijkt groter omdat we het meestal dichter bij onze ogen houden. De meeste mensen zitten zo’n 50 centimeter van hun scherm, de aanbevolen afstand is zelfs 70 centimeter. Die afstand is veel groter dan wanneer je een tijdschrift leest. Daarnaast is de lettergrootte die browsers standaard weergeven ook 16 pixels.

Denk je nog steeds dat grotere letters onnodig zijn? Lees dit artikel van Bnonn voor alle argumenten en counterargumenten op tegenargumenten om webteksten 16 pixels groot te maken. Als hij je niet kan overtuigen met heerlijke oneliners als ‘Readership = revenue’ en ‘If you want the maximum number of readers, set your text to a minimum size of 16 pixels’, dan weet ik het ook niet meer.

Creëer diepte op je website met parallax scrolling

Dit artikel verscheen eerder op kweekcommunicatie.nl (12 februari 2013).

Als je in de auto zit en naar buiten kijkt, dan zie je dat de lantaarnpalen naast de weg veel sneller voorbij lijken te komen dan het landschap in de verte. Dit is het parallax-verschijnsel.

Met parallax scrolling kun je de illusie van diepte creëren op beeldschermen. Dit werd voor het eerst gedaan in het spelletje Moon Patrol uit 1982:

(© Rich Jones) De bergen op de voorgrond bewegen sneller dan die op de achtergrond.

Het effect wordt steeds vaker gebruikt op websites. De achtergrond beweegt dan bij het scrollen langzamer omhoog en omlaag dan de voorgrond. Kijk bijvoorbeeld eens op de site van cultural solutions uk. De bollen op de achtergrond bewegen minder snel dan de tekst op de voorgrond. Ze hebben het parallax-verschijnsel ook op een andere manier toegepast: als je met je muis over het logo beweegt volgen de bollen je bewegingen.

Met de illusie van diepte kan een website interessanter worden om te bekijken. Zo lijkt het op de site van expeditie Row to the Pole net alsof je boven ijsschotsen vliegt doordat de wolkjes sneller bewegen dan de ijsplaten daaronder. Dit brengt het onderwerp van de site goed over. Ook is het wat levendiger: je voelt bijna de poolwind waaien terwijl je scrollt.

Parallax scrolling is leuk om te zien en kan een verhaal ondersteunen. Maar als er een grote hoeveelheid afbeeldingen op verschillende manieren in beweging gezet is kan dat de website vertragen. Ook is het nogal afleidend als alles nadrukkelijk beweegt.

Als het niet te opvallend aanwezig is en de snelheid of gebruiksgemak niet tegenwerkt dan is het zeker een leuke toevoeging aan een site.

Wil je zelf aan de slag met diepte op je website? Deze links helpen je vooruit:

Italo Svevo

Italo Svevo (19 december 1861, Triëst – 13 september 1928, Motta di Livenza), een pseudoniem van Aron Hector Schmitz (kortweg Ettore Schmitz), was een Italiaans schrijver.

Svevo was een schrijver van romans, novellen, toneelstukken en korte verhalen. Daarnaast was hij ook zakenman. Svevo, van Joodse afkomst, werd geboren als zoon van een Duitse vader, Francesco Schmitz, en een Italiaanse moeder, Allegra Moravia.

In 1873 vertrok hij naar Duitsland om zich de Duitse taal eigen te maken en het was tijdens deze periode dat hij in aanraking kwam met en zich ging interesseren voor de literatuur.

In 1878 keert hij terug naar Triëst om te studeren. Na twee jaar moet hij echter vanwege de financiële situatie zijn studie opgeven en gaan werken bij een bank. Hij heeft echter zijn voorliefde voor literatuur niet kunnen onderdrukken. Hij kwam vaak in de bibliotheek en ging zich steeds meer interesseren voor negentiende-eeuwse Franse schrijvers en de filosofie van Schopenhauer.

Een samenwerking met de lokale, liberale krant L’Indipendente komt tot stand, waarvoor hij onder het pseudoniem E.Samegli artikelen en recensies over uiteenlopende onderwerpen schrijft. In deze tijd boekt hij zijn eerste succes met zijn theaterstuk Ariosto Governatore en het verhaal ‘L’assassino di via Belpoggio’. Zijn eerste roman, Una vita(Een leven)schrijft hij in 1892, net na de dood van zijn vader. Het is de eerste keer dat hij het pseudoniem Italo Svevo gebruikt. In 1896 trouwt hij met zijn nicht Lidia Veneziani. Met haar krijgt hij één dochter: Letizia. Zijn tweede roman Senilità (in het Nederlands vertaald als Een man wordt ouder) schrijft hij in 1898. Het wordt echter geen succes. Tussen 1899 en 1912 werkt hij voor zijn zwager. Ondanks dat literatuur niet meer de eerste plaats lijkt in te nemen in het leven van Svevo, is het in deze periode dat zijn werken Un marito (Een echtgenoot), Le avventure di Maria (De avonturen van Maria) en nog een tiental andere verhalen tot stand komen.

In 1907 leert hij Joyce kennen. Uit die ontmoeting bloeit een vriendschap op. Joyce leert hem Engels en houdt zo zijn interesse voor de literatuur in leven. De theorieën van Freud geven een nieuwe impuls aan zijn interesse voor de psychoanalyse. In 1915 vlucht zijn familie uit Triëst uit angst voor de Eerste Wereldoorlog. Svevo blijft alleen achter om het bedrijf te runnen. Dit moet enkele jaren later echter zijn deuren sluiten en dit geeft hem de kans om zich weer op zijn literaire activiteiten te storten. Zo vertaalt hij onder andere samen met een neef Freuds Traumdeutung in het Italiaans.

In 1919 begint hij met het schrijven van zijn derde roman, La coscienza di Zeno (Bekentenissen van Zeno). Het zou zijn beroemdste en meest geprezen werk worden. Tijdens zijn laatste jaren schreef hij aan een vierde roman: Le confessioni di un vegliardo. Op 13 september 1928 verliest hij het leven als gevolg van een auto-ongeluk.