Infographics – nuttige links

Deze week zijn we met een leuk groepje LosMakende dames en één heer bijeen geweest om te leren over infographics en te experimenteren met tools. Simon Koolwijk, bedankt voor je initiatief.

‘Kan een infographic ook geanimeerd zijn?’, was een van de vragen die we bespraken. Hier een mooi voorbeeld daarvan over abortuswetten, van de site GOOD:

Voor wie zich verder wil verdiepen een paar links:

Een proefschrift over infographics en e-learning dat zeer leesbaar is. Ben erin begonnen, maar nog niet heel ver.

Cursus Infographics Fundamentals op Lynda.com (19 euro per maand). Pascal Koole (in wiens leuke huis we bijeenkwamen, is hier zeer over te spreken.

Cursus op Coursera, die afgelopen week toevallig weer is begonnen. Heb de eerste filmpjes gekeken. Lekker Amerikaans. En Coursera is gratis, als je geen certificaat hoeft.

Een lijstje op elearningindustry.com met vrij voor de hand liggende redenen waarom je infographics zou moeten gebruiken in e-learning. Naar mijn idee is het onderscheid tussen een ‘infographic’ en ‘graphics that contain information’ heel wazig. Wat wel een slimme tip is: gebruik een infographic als job-aid met een samenvatting van een module, die lerenden kunnen printen of op hun device kunnen opslaan. In dit artikel zitten zoveel links, dat je wel even blijft hangen op de site van elearningindustry.

Alle pagina’s van elearningindustry over infographics bij elkaar verzameld in een overzicht met links naar infographics. De info op deze site is vaak oppervlakkig maar de waarde zit hem in alle links naar voorbeelden. Deze interactieve infographic over car sharing bij voorbeeld is echt prachtig.

Een soort startpagina van dailytekk.com naar alles wat je nodig hebt om een infographics wizard te worden. Zowel links naar achtergrondinfo, naar goede en slechte voorbeelden en naar tools. De pagina is uit 2012, dus sommige links en tools werken misschien niet meer. Help! Ik mag wel een dagje uittrekken om dit allemaal te bekijken.

The Guardian is een voorloper in journalistiek en ook in storytelling met data. Ze hebben een professional network voor global development en daarin is een pagina gemaakt met een guide to data visualisation voor mensen bij NGO’s die snel de aandacht willen voor overzichtelijke berichten over hun resultaten.

Geniet in de zomer van een gratis open air live blog of chat

Leren in de open lucht

Leren in de open lucht

Eindelijk is het volop zomer. Ik hoop dat je tijd hebt om ervan te genieten. Ik bied je de mogelijkheid om het aangename met het nuttige te verenigen met een ‘open air live blog of chat’: mini-leersessies in het park.

We praten over een onderwerp dat jou, en eventueel je collega’s, interesseert en waar ik verstand van heb. Iets op het gebied van blended learning ontwerp dus. Jij kiest uit het lijstje onderwerpen hieronder en ik kom naar je toe. Bij elk kantoor is wel een parkje of stuk gras waar we de zon kunnen pakken.

Open air live blog?

We leren samen in de open lucht, misschien met papier, maar wel zonder technologie. Ook wel eens lekker om niet naar een scherm te kijken, maar naar elkaar. Bij elke kantoorlocatie is er binnen 10 minuten lopen wel een stuk gras met een bankje waar we kunnen zitten. Is de weersvoorspelling op het afgesproken tijdstip echt naar, dan wijken we uit naar binnen en dan neem ik mijn eigen grasmat mee.

Het is live. We zijn met zijn tweeën of maximaal met een man of zes. Je kunt onze ontmoeting plannen in je pauze of in het teamoverleg. Kun je meteen samen doorpraten over de toepassing in het lopende werk.

Vergelijk de sessie met het lezen van een blog. Je krijgt één helder afgebakend idee. De leestijd van een flinke blogpost is zelden langer dan 20 minuten. Die tijd houden wij ook aan. In een blog tref je vaak links naar ‘Meer weten’ aan. Die mail ik je achteraf.

Onder een blog kun je comments plaatsen. In een comment geef je de schrijver feedback en verwerk je wat je ervan opgestoken hebt. Hoewel het nuttig is, neem je daar vaak niet de tijd voor. Die tijd is nu ingebouwd in het half uur dat we reserveren. Je kunt meteen terugpraten en antwoord krijgen op je vragen. Misschien komt er een discussie op gang waardoor we wat langer dan een half uur bezig zijn. Ook goed.

Ideegeboreningrasin30minuten

Zenden of uitwisselen? Open air live chat

Een blog veronderstelt dat ik zend en jij luistert, voordat je iets terug kan zeggen. De alternatieve ‘sociale technologie’ is een chat waarin we live een dialoog voeren. De inzet is dan een product van jezelf of jouw team. Denk aan een presentatie die je aan het voorbereiden bent (het concept van Generale.nu), een storyboard voor een e-learning module, een opdracht die je voor cursisten aan het schrijven bent. Ik lees je werk onderweg in de trein en ik geef je oplossingsgerichte feedback. Daarbij stel ik vragen waardoor je je eigen wijsheid kan aanboren. Daar leer je meer van dan als ik oplossingen op je af stuur.

Oplossingsgerichte feedback

Oplossingsgerichte feedback

Onderwerpen voor een live blog

  • Strategische innovatie van training onderzoeken met de Lean Start Up-methode
  • Samenwerking aangaan met inhoudsdeskundigen
  • Oefenen met interviewen van en luisteren naar inhoudsdeskundigen
  • Leerdoelen formuleren waar je echt iets aan hebt bij ontwerp
  • Vanuit leerdoelen instructiescenario’s kiezen
  • Tools kiezen bij instructiescenario’s Leertaken ontwerpen met het interactieve blendpaneel
  • Opdrachten schrijven voor cursisten in een blended leeromgeving
  • De mogelijkheden van Moodle als platform voor blended learning
  • Storyboard schrijven voor een e-learningmodule
  • Prikkelende discussievragen bedenken voor forums
  • Toetsvragen schrijven voor interactieve tests

Onderwerpen voor een live chat met oplossingsgerichte feedback

  • Trainingsontwerp onderzoeken met het interactieve blendpaneel
  • Frisse kijk op een storyboard voor een module of video
  • Een opdracht om van te leren in de werkpraktijk onderzoeken op leerdynamiek
  • Een presentatie samen voorbereiden (het concept van Generale.nu)
  • Een issue in de samenwerking binnen een ontwikkelteam

Waarom dit fijne zomeraanbod?

Dit idee kent verschillende motieven, die niet helemaal onbaatzuchtig zijn.

Lukt het me om samen in een half uur een leereffect te bereiken? Die uitdaging wil ik aangaan om echt tot de kern te komen. Ik kan over bovengenoemde onderwerpen een complete opleiding van een jaar ontwikkelen, maar de mensen die ik hiervoor op het oog heb, zijn al opgeleid in onderwijs- of opleidingskunde. Aansluitend bij die voorkennis kan ik jouw vertrouwde manier van werken een draai geven met een kernachtige boodschap en een paar goede voorbeelden.

socratischedialoogkleinLukt het me om kennis te delen met de middelen die Socrates en Plato ook hadden? Zelfs als ik iets wil vertellen over digitale tools in blended learning?

Je gaat terugpraten en daarmee mijn ideeën aanscherpen en verrijken. Ik leer mensen kennen buiten mijn netwerk, als je me uitnodigt of dit bericht gaat delen.

Een aantrekkelijk ontwerp- of ontwikkelproject kan het gevolg zijn van onze ontmoeting of doordat jij nu mijn profiel gaat bekijken. Naast mijn project om docenten te coachen bij digitaal afstandsonderwijs voor de Universiteit van Bamako, heb ik nog werktijd over. Het geniet immers fijner van de zomerzon, na gedane arbeid.

Hoe werkt het in het kort

Bekijk mijn site en/of mijn LI-profiel en besluit dat je het experiment aangaat.

Stuur me een mailtje op post[at]helderenwijzer.nl met:

  • het onderwerp en eventueel een specifieke vraag daarbij
  • en/of het product waar je over wilt praten
  • aantal mensen
  • taal (Nederlands, Engels, Frans)
  • twee voorkeurstijdstippen vanaf een week na je bericht
  • adres waar ik jou/jullie kom ophalen

Deel dit bericht.

Goede e-learning neemt mij mee in mijn verhaal. Een podcast

‘Goede e-learning is spannend en authentiek, als lerende moet ik het gevoel hebben dat het over mij gaat en ik wil erbij betrokken worden.’

Dat antwoord gaf ik Frank den Hond op zijn vraag: ‘Wat is volgens jou goede e-learning?’ Als student aan de post-hbo opleiding E-Learning van Marcel de Leeuwe interviewde hij me via Skype. Frank heeft de audio tot podcast bewerkt.

Na een korte introductie van mijn achtergond geef ik een persoonlijk antwoord door de bril van een lerende. Ik denk namelijk dat het heel waardevol is als e-learningontwerpers hun eigen leerervaringen en die van hun collega’s gebruiken om anderen tot leren te motiveren.

Eerst beantwoord ik de vraag met het voorbeeld van de MOOC Blended Learning Essentials van FutureLearn die ik volg. Goede e-learning is ‘social’. Dat doen ze hier goed met slimme forumopties.

Het sociale wil ik ook terugzien in een verhaal, als aanjager van e-learning. Ook als ik individueel door schermen moet klikken, wil ik mensen zien die iets op te lossen hebben in een situatie waar ik in mijn werk ook voor kom te staan.

(De geluidskwaliteit is wat blikkerig vanwege de opname via Skype, maar goed te verstaan; 5:30.)

Zien we in e-learning wel genoeg mensen in verhalen?

From instructional strategy to teaching-learning cycle on to your choice of tool

If you have a hammer, you see nails everywhere. It’s a cliché, but that doesn’t make it less true for learning designers. If your company is awfully good at producing e-learning modules, every learning need can be answered with a sparky SCORM package. If you have a pool of trainers and a building with classrooms every learning need needs a classroom session. Of course you preach the blended gospel, but you are not really free. Well, we are. How to use that freedom well?

Although we believe fully that one can learn like Socrates did with his pupils, we also know there are many great digital tools out there we can use to make other types of learning possible. Our quest is “how to choose”. I introduced Diana Laurillards Conversational Framework as a basis for designs for teaching. Here I connect the various teaching-learning-cycles in the Framework to learning strategies. If you have found the why and how of your teaching, you know what should happen in each mini process in the cycle and with whom. Only then you can focus your search for tools.

Laurillard reviews  strategies, each with its own cycle. Here I describe them as short as possible. (You really should read her book and keep following her work. Although she is mainly devoted to Higher Education, you can adapt it easily to learning in the workplace.) In the last post of my trilogy, I will show how this insight in strategy and the application of it in a cycle can help us to describe and find digital tools.

What’s a cycle again?

typesofcyclessmallcycle

Acquisition

In the Acquisition strategy the cycle is always conceptual. The learner follows the narrative designed by the author or the teacher while watching a video, reading a chapter in a textbook or being present at a lecture. It can be an online resource. Distinctive for this strategy is the mostly passive role of the learner.

This strategy hardly ever suffices to really “get it”. It takes a big investment in content design and creation to motivate and make the learning stick if there’s nobody there, just a book or screen.

An Individual Cycle

In an individual cycle the teacher has wrapped herself inside a resource. I am on my own.

I have a goal > I make a prediction on how the short term memory works > I check the correctness of my prediction using the feedback from the conceptual resource I study (a diagram of information processed in memory) or from the response the real world (try to keep stuff in my own short term memory) gives on my action > Use the feedback t modulate my predictions on how it is

Teacher Communication Cycle

When the teacher comes on board and talks to me:

I have a goal > The teacher explains concepts in some kind of live presentation or she has organized the concepts in a (digital) resource > This explanation and her questions generate a response from me as a learner > The teacher gives feedback on my understanding of the concepts > I modulate my concepts. This goes – ideally – on until I can remember and have understood the new concept.

Inquiry

In Inquiry the learner is still in a conceptual cycle, but now she actively creates, or is guided to create, his own narrative by searching through (online) resources, libraries or specific collections, datasets or even physical locations with a “critical and analytical approach”. He tries to answer a question or find proof for a hypothesis. It is not about creating new knowledge, but about actively building a personal network of knowledge he needs to apply skills with reason, or, become a scientist. It’s usually called constructivism or problem based learning.

Peers Communication Cycle

Going on an inquisitive journey can be nicely done together. Find out how things work in your organization dividing observational questions among colleagues. Or a team can go on a webquest. The teacher can be asked for feedback on the team’s output.

In the way Laurillard describes Inquiry, I find a clear overlap, by the way, with Bloom, as Laurillard sums up in action verbs the skills that are trained during inquiry. Most of them would fit neatly in the domain Analyse in the wheel: “Students develop their skills […]: questioning, investigating, analysing, hypothesizing, designing, interpreting, sharing, arguing, synthesizing.”

Discussion

This strategy you will always find applied in social constructivism. Discussion can be diverse. You can recognize discussion in designs under the name of buzz groups, seminars, tutorials and whenever students get the task to “talk about this in your group”. Either with or without the teacher present, synchronous in chats or asynchronous in a forum, text based, with audio or even with video.

Learning something through discussion alone, can be pretty hard. The Framework clarifies what is needed to make it work. Looking at it digitally, an asynchronous forum combined with a discussion scenario or role taking promises the most success.

We are still in a conceptual cycle, but no discussion without peers. Sometimes a teacher who moderates and corrects is useful.

Practice

With the practice strategy we move up from the cognitive activity to the level of application. In acquisition, inquiry and discussion a teacher or peer has to speak or write to the learner to express his feedback. In practice however, the feedback can be internal, by experiencing success or failure after an action. Think of role-play in communication training, where you ask someone to do something for you and he does something entirely different. But mostly we see practice applied as “homework” that needs correction from a model given by the teacher or by peers.

Mundane as homework sounds, Diana reminds us that: “This is the goal-action-feedback-revision cycle, the modelling cycle, which is fundamental to the natural learning cycle.” Our job as teacher is to give excellent feedback.

Digital activities one can think of are simulations. A complex concept like “pricing” is explained easier if you see what happend with supply and demand if I lower the price of the Dutch cheese I sell.

Teacher Practice/Modeling Cycle

When I practice with the teacher:

I have a goal > The teacher elicits an action from me to put a new concept in practice (design a slide in an e-learning module that is based on the concept of what I think a STM can hold) or asks me to learn from a modeling environment (to ask different people to study my slide and report how their STM works) > I receive feedback on my work, either extrinsic from the teacher who is an expert or intrinsic feedback from my test persons, or both > I modulate the way I put my concepts in action and review my work.

Collaboration

This can comprise inquiring, discussing or practising alone or together but goes beyond. “Collaboration is a coordinated synchronous activity that is the result of a continues attempt to construct and maintain a shared conception of a problem”, cited by Laurillard from Roschelle and Teasley 1995. A group of students builds some kind of output containing new knowledge (if you take the term “knowledge” broadly). Outputs can be varied: an article for a trade journal, an instructional video, a press statement, etcetera.

Ever since communication technology became available for learning, there has been a search for the ideal tool for Computer Supported Collaborative Learning. Laurillard focuses on the wiki, discussion tools and microworlds that, by their design, support the collaborative problem solving or construction process. Interesting stuff!

Peers in the Practice/Modeling Cycle

Peers can do the same as teachers, and more. They can ask questions, challenge my understanding, ask me to write or produce something that shows my thoughts, correct me, model behavior, respond to me in a way that tells me if I have communicated successfully or edit my work if we are collaborating on a shared project. Peers can each represent a different background, perspective, experience or work style and enrich our production. But, if the teacher is not present, face to face or virtually, synchronous or asynchronous in time, she has no influence on the quality of the modulations the learners makes in this cycle.

Over to the tools

As a designing teacher, who is not afraid to use software or an app, I can choose something that facilitates every step in the cycle, for me or for my learners.

Something to:

  • Present and organize concepts in text or other media and store and retrieve them
  • Generate ideas or actions from others, set a task to think or practice
  • Practice with new concepts and behavior in a virtual environment or live
  • Share and edit output in text or media
  • Respond to output personally
  • Give automatic feedback (as a learner I can’t do this, only as a teacher I can program it)

What kind of technology suits me best, depends on my experience and expectations. Which part of my cycle is transformed in such a way that effectivity is significantly higher than with another tool, or with a conventional method or medium for my learners?

The book Teaching as a Design Science contains a really good comparison from conventional and digital technology one can use for each strategy. This will help us to describe and categorize those 1000 tools from Joost Verbrugge’s list (if we think this helps us).

View Table 6.3 “Types of Learning and the Different Types of Conventional and Digital Learning Technologies that Serve Them” from Teaching as a Design Science.

In the next and last post I suggest a list of fields to populate with data and options one could tick off when describing a tool in a database, with the focus on finding a tool that fits your needs.

How would you set up a Database that helps to select a tool?

databaseIn my previous posts I described two models that can be helpful for learning designers who want to select a tool to effectuate their instructional design. Not only your learning outcomes or instructional strategy determine what kind of tool you need, but also a number of organizational and technical matters. Suppose we would configure a database, what fields would you need to allow a quick search with a fitting selection of hits?

Let’s give it a try. My commadres and a few -padres from LOSMakers (and everybody else) are welcome to help. This is a concept of a list of fields with the options one can (multi-)select while adding a tool. From experience I know a database is not built in a day, so this is just a start. And maybe it doesn’t have to be a database, but just a good tag cloud?

In the following ideas for describing tools I try to combine the Pedagogy Wheel and the Conversational Framework. See my previous post for images of those models. The wheel is helpful because it actually categorizes tools; most of which we know. The Framework is good because it describes  complete Teaching-Learning cycles. Diana Laurillard has already done some of the sorting work in chapter 6 of her book Teaching as a Design Science. I combine these pedagogical features of a tool with practical information you need to choose well.

General information

Description and screenshots

A few lines of text about the purpose of the tool and how you can use it. Screenshots give an idea of styling and usability.

URL

Where to find the tool?

Producers/owners

Who made it and who owns the tool?

Target groups

  • Children under 6 (who can’t read)
  • Children under 12
  • Teenagers 12 -18
  • Students in vocational education
  • Students in Higher Ed
  • Professional adults

Database fields by Learning Strategy

Do we distinguish between what a teacher can do and what a learner can do? Most tools can be used by both sides. Sometimes, for instance in a Learning Management System or Virtual Classroom the teacher has more capabilities than the learner, but it’s practically always possible to upgrade a user to a role with more powers, so I think it’s more informative to look at the functionality then at the user. Although, often a teacher wraps the concepts she wants her learners to study or tasks she wants them to work on, in digital technology. I will mention that explicitly when necessary.

Acquisition

Bloom: Remember, Understand

Conceptual cycle, with or without teacher

Consume digital media

  • Read text
  • Watch video
  • Watch animation
  • Listen to music or podcast

Produce or edit media to be studied, containing concepts and/or tasks

  • Write and structure online text
  • Tell a story
  • Produce and design a presentation
  • Produce a video
  • Capture a lecture
  • Edit a lecture
  • Share/stream a lecture
  • Edit video
  • Produce animation
  • Produce music
  • Edit music
  • Produce podcast
  • Present data collection or image gallery
  • Reveal or clarify structures and relations between concepts, guide study behavior

Study media, process concepts or have understanding corrected

  • Summarize or annotate text
  • Answer questions in a text or posed with a resource and save your answer(s) to be corrected automatically or personally
    • Asynchronously by teacher (essay task)
    • Synchronously with (conditional) automatic feedback or model answers
    • Synchronously during a presentation
    • Answers can be represented graphically
  • Annotate presentation slides or video
  • Create a glossary
  • Collect concepts from various resources and restructure them (mindmapping)
  • Create and save study questions
  • Produce media, other than text, in response to a study task within the same tool/platform

Inquiry

Bloom: Analyze

Conceptual cycle with a teacher and sometimes with peers

  • Make available a (collection of) dataset(s), digital collection of resources or virtual museum
  • Search through digital collections or resources
  • Guide a digital search (webquest)
  • Collect, select, label or structure information, URL’s or files
  • Conduct a survey to collect opinions or other data from people
  • Analyze data
  • Represent data or result of analysis in a digital medium

Discussion

Bloom: Evaluate

Conceptual cycle with peers and teacher 

  • Discuss asynchronously
    • In text
    • In audio
    • In video
    • In graphical representations
  • Discuss synchronously
    • In text
    • In audio
    • In video
    • In graphical representations
  • Organize/structure discussion by topics or groups
  • Combine resources with discussion
  • Vote on statements
  • Moderate discussion with super powers
  • Evaluate contributions

Practice

Bloom: Apply or Create

Teacher Practice/Modeling Cycle (with peers) with intrinsic feedback

  • Create practice exercises in multimedia with automatic feedback
  • Create adaptive practice exercises in multimedia with automatic feedback
  • Analyse received feedback automatically
  • Monitor your progress automatically
  • Reflect on your progress
  • Design a (role playing) game  that provides intrinsic feedback
  • Play a game individually or with peers
  • Experiment in a virtual lab, simulation or authentic microworld that provides intrinsic feedback
  • Experiment in a virtual reality environment that provides intrinsic feedback

Collaboration

Bloom: Create

Peers Practice/Modeling Cycle

  • Create a shared output, using
    • Text
    • Graphics
    • Animation
    • Video
  • Discuss the development of shared output in relation with the output
  • Organize and structure the collaboration process
  • Document and represent the collaboration process graphically
  • Analyze and guide interaction automatically

Pedagogical use case with screen shots

I think it’s very important to show a use case. A teacher explains the pedagogical cycle she has designed for her learning goals and how she has chosen and deployed the tool, or combination of tools, to facilitate it online. Screen shots give an impression of the learning environment she created. She reports on the results and could give advice on other teachers who consider application.

(Laurillard is working on a website where pedagogical patterns can be shared. See the Learning Designer).

Practical information

Besides the pedagogical use a teacher can make of a digital tool, practical conditions are also important in the selection process. A tool might be perfectly fit for the teaching-learning cycle you ant to facilitate, but too expensive, too difficult to install, it will not pass the security thresholds your IT-department has laid out, only works with the very latest browser, or too difficult to learn if you only use it once…

Accessibility for teachers

  • Software can be used online after creating account, without downloading and installation
  • Software needs to be downloaded and installed, may require permission from institution

Accessibility for students

  • Is embedded in a HTML page, no extra  Login needed
  • Can be opened with a link, no Login needed
  • Can be opened from a learning platform with single sign-on
  • Can be opened with existing Gmail, Facebook or LinkedIn account
  • An account needs to be created
  • Student has to download and install software
  • Mobile use on tablet or smart phone

System requirements

  • Operating system independent
  • Browser independent
  • Requires Windows version x or OS y
  • Requires specific browser versions
  • Requires Flash
  • Popups have to be allowed
  • JAVA needs to be installed
  • Not functioning within Citrix

Communication with other tools, platforms or systems

Is it easy or even possible to integrate a tool in an existing platform or to make it exchange data with other systems or tools? Here my technological knowledge limits my ideas about useful describers.

Styling

  • Styling can not be adjusted
  • Own logo can be shown in header
  • Colors can be adjusted
  • Types and sizes can be adjusted
  • Styling is limited to a chosen template
  • Styling can be fully customized

Costs per user

  • Free
  • Under €5 per user per year
  • Between €5 and €10 per user per year
  • Over €10 per user per year
  • One time purchase of software included updates under €100
  • etc

Usability as reported by users

How to specify this? Make comparisons with software everybody knows? Required learning time? This is so dependent of people’s experience with technology and attitude towards it. For some people 5 minutes of concentrated exploring of menus and buttons is already too big an effort.

Are instructions available? Online help? A community?

Ratings

It would be nice if visitors to the database can rate their experience, and…

Reviews

write reviews, commenting on how they used the tool. One could create a form for this so user experiences can be collected in a standardized form. This would allow comparing.

I end with an afterthought…

How to describe tools that can be used in one or more cycles for wholly different stategies?

Laurillard states that usually one type of cycle will not suffice to fully master new knowledge or skills.  Suppose I am studying to become a really good designer for learning. Would just the strategy Acquisition, where a teacher comments on an essay I write, will get me there? I’d probably need to do lots of Inquiry to find out what we know about learning and what digital technology can do for learning, Practice by teaching learners in a virtual classroom for instance, Produce learning material for different environments, Collaborate with subject matter experts and multi media specialists and chew on the feedback I receive from them and from expert designers. Each unit or module in a course can play out a strategy.

I categorize functionality by learning strategy. The strategies are discussed in the second post of this trilogy.) Maybe this is not the best way, because we will see that many functionalities in tools can be used in multiple strategies, but for the inventory it helps me to follow the structure of Laurillards book. I think we will also see that each strategy activates a higher level of thinking and also contains the first strategy and often also the functionality and tools used.

An example with the very versatile tool Mindmeister

Suppose I am learning to become the best designer for learning in the Western Hemisphere, and I happen to be rather fond of Mindmeister. I could study Laurillards book taking notes using Mindmeister (Acquisition). Search for comparable design frameworks or methods and again, use Mindmeister to structure my notes and collect URL’s and files (Inquiry). Next I am using Mindmeister to create statements in the Notes fields. I share my mindmap with peers and my teacher and I invite them to respond to my statements (Discussion). We use the results of the discussion to choose three different design methods and bring them into Practice to map out a learning scenario. Again we can use Mindmeister for our designs. In our last learning cycle we pick the best design to Collaborate on a design that we will develop as a new course, using Mindmeister to define the sequence, collect learning materials and divide and manage tasks.

Where will this take us?

Some Losmakers have shown enthusiasm for the idea of a database to facilitate their daily work. We decided during our Meetup on January 28 to describe the five tools we looked at, using fields from the list above. We discuss these descriptions using one of those tools, the platform Learning Stone. This will give us a good idea of the usablility of this platform. What we conclude there will be taken over to the discussion in our LinkedIn-group, to involve the greater community. Then we will see if and how a database or tag cloud or combination of both will evolve. At least we will have a better structure to conduct our monthly tool exploration.

 

How to select a tool that fits your design?

9LinkedIn supports many interesting groups for people in the educational domain. The nicest group I subscribe to is LOSMakers (“Loose Makers”). The members, currently 334, talk about online tools and their usability. Every month there is a Tool Exploration, always held in some web conferencing tool. To see each other live we meet up every 3 months. On January 28 our topic is: how do you select a tool that fits your pedagogical plan? We can refer to two models. One is The Pedagogy Wheel and the other is Diana Laurillards Conversational Framework. How could that work and how can they help us to describe a tool so it helps us to choose from the toy store?

For the Dutch speaking audience of Losmakers, I created a presentation in Emaze.

Powered by emaze

1000 Tools in a list

A very active member of LOSMakers, Joost Verbrugge, has collected a yard long list of URL’s leading to online tools, categorized by functionality. Categories range from Brainstorming to Search options, and all kinds of types of producing media and online communication tools in between.

If I want to choose a tool to have my students easily create and share a video I can choose from a list of 25 online tools. I think they’re all free to use by the way. Obviously this list is fantastic. It grows daily, fed by tweets from people who signal tools to @VerbruggeJoost.

This categorization is a great help in the selection process. But, one obviously doesn’t start from this list when building an instructional scenario. “Hey, let me have my students make a game, because it sounds like fun! We’ll see what they learn from it.” When designing you would think:

I would like my students to understand some principles behind a well structured instructional text. I am going to let them compare three expertly written texts and search for examples of application of these principles. As a group they work online and collect these examples matching them to the principles.

What kind of tool would you suggest?

I am going to see how The Pedagogy Wheel helps me.

The Pedagogy Wheel based on Bloom’s Taxonomy

During the LOSMakers MeetUp we will go over the possibilities and pros and cons for about five tools. At the end we want to draw conclusions on useful labels for identifying tools. The group might work towards a database or tags for the tools. Three freelancing women are organizing the MeetUp. Su Rondon Gasque,  Jolien Wessels and me. Su suggested The Pedagogy Wheel as input, designed by Allan Carrington and others.

wheelYou can download the wheel as a pdf with all the apps linked. In 2013 already 8000 people had done this before you! The wheel shows apps for the iPad but also stuff you can use online or tools you have to buy, like Articulate. As you see, the apps are divided over Bloom’s Cognitive Learning Domains.

Choosing from the wheel menu would work like this, I think:

  1. Select a Domain your learning objective fits into. In the next circle in this piece of the pie you choose an Action verb that you have used in your objective (if you have written your objective as a performance, like Dr Mager taught us to)
  2. Choose an online Learning Activity that allows your students to perform the action(s)
  3. Select a tool based on the Activity that you want your students to use

Sounds easy.

Next task for you as a designer is of course to find out how the tool works and how to offer it. Is it best to present your assignment in the tool or somewhere else and than link to the tool? Do you see your target group eagerly dive into it? And, how are you going to make it available to them? Does it need installation, an account, or can you embed it somewhere?

Using the wheel for my learning task

In my example I launch my students safely from the Understanding platform. Surely, scaffolding is important, som more complex stuff will follow later. “Compare” is an action verb in the wheel. “Collect” examples and “match” them with principles are also part of the Bloom vocabulary.

Next: what activity will I get going online? It looks like I need Bookmarking and Commenting. Students can work straight into the example text I have given them.

From the tools in the outer ring I only know Twitter, Facebook and Google Search. iAnnotate is a name I associate with commenting into a pdf. Having checked this out in the AppStore, I think this tool can do the trick. My students need to share their stuff. No problem, I see they can share the annotated pdfs on Google Drive.

Before I would actually decide to use this, I have a long way to go researching and testing. The tool is not free, for instance. I would like my students to have a drop down box to choose the principles from, etcetera. (To be honest, as a Moodle user, I would first check out the plug in database. I think there is a pdf annotation plug in…)

The Conversational Framework

What I like about the wheel is that you can research tools driven by learning objectives. But, I miss the perspective of the pedagogy you as a teacher have chosen (or you are “invited” to apply by your institution).

Suppose you are not only thinking about having your students Evaluate texts but you also want to let them do this by Discussion. Categorizing tools with a combination of learning objectives and pedagogical strategy they afford, could be ideal.

Through a Mooc on blended learning organized by our Open University I stumbled on the work of Diana Laurillard. She works at the London Knowledge Lab (view her profile).

I am deeply interested in design methods for instruction, so I was delighted to see she published a book titled Teaching as a Design Science: Building Pedagogical Patterns for Learning and Technology. Building good instruction should be considered a design science, she says. I couldn’t agree more! It is awfully hard to prove scientifically what method or learning activity has a significant effect on learning outcome. Laurillard states that working as a designer and stealing from industrial or architectural designers lets you “articulate your pedagogy, adopt, adapt, test and improve it and even co-create and share it.” This will help in finding Holy Grails.

How does the framework work?

Laurillard explains her Conversational Framework in the first chapters of the book. In following chapters she discusses how you can use it when you are designing within the instructional strategy you have chosen, or when you want to evaluate what you just designed. No patience for a whole book? This link takes you to the moment in a recorded presentation on video where she starts explaining the Framework.

Here is an image of the framework.

framework

The book explains how you can touch just one part of the framework, some parts, or all of them. You can take a trip through the whole framework with your learners, if you let them follow a sequence of patterns of teaching-learning cycles, each based on a different learning strategy.

At first it takes quite some mental work to get it, but if you analyse it from the viewpoints that:

typesofcycles

  • the learner is always in the middle of the framework and
  • he is “in conversation” with either the teacher on the left or his peers on the right and
  • working conceptually or practising

it becomes clearer in which parts of the framework the strategy and pattern you have chosen are sitting.

Teaching/Learning cycles

A teaching-learning-cycle contains these steps for conceptual learning:

cycle

Learner has a goal > She studies, investigates or discusses concepts (action) > She generates some form of output (without that, feedback is impossible) > Teacher (and/or peers) give feedback > Learners revises her concepts and reaches her goal > New goal

For learning in practice or modeled learning:

Learner has a goal > She studies a model (action) > She tries it out in the real world or in a practice environment (action and output synchronously, with or without peers) > Feedback is returned intrinsically from the environment > She adapts her actions until she reaches her goal > New goal

Before we can really use new concepts or skills in our work we need to go through a number of these cycles. As a designing teacher we give our learners a series of Assignments. An assignment guides learners through a cycle that is optimally aligned to their learning goal and learning context.

They will learn either individually and only focused on conceptual knowledge, for instance What is the short term memory and how much information can it hold? Or they go through them in dialogue with a teacher and peers while experimenting in practice with new concepts. How can I create e-learning modules taking in account the limitations of short term memory? And all variations in between. These variations are determined by the strategies you choose as a designer.

In the chapters consecrated to strategies she discusses learning through Acquisition, Inquiry, Discussion, Practice and Collaboration. Examples of the way in which digital technology can facilitate them,helps to choose appropriate tools. She rarely names specific apps or software, but describes activities or features like hyperlinking, web quests or forums.

If you are interested in how these cycles look for each strategy, then move on to the next post.

Using the Conversational Framework for my learning task

So what strategy would I choose for the task in which I have learners understand principles of good instructional writing by recognizing examples of application? A simple form of Inquiry combined with Discussion, I think it is. The learners’ ideas about the principles will get sharpened in his own mind by distinguishing examples and receiving correction form the teacher. He would get help from peers in his reflection on the matching of principles with examples. I would try to find a clever way to link the group discussion to fragments in the texts they have read. This would perhaps take me to iAnnotate!

Synthesis possible between the wheel and the framework?

How do we proceed from here if our goal is to describe digital/online tools for education (or team collaboration) so we can select the tool that facilitates our design for teaching best? Should we:

  • design a database with fields for Blooms domains as well as for the strategies so you can do a combined search
  • write a formula that describes the pattern in the framework and make tools searchable per formula
  • create a set of tags for the Action verbs, activities and strategies
  • create a model that shows a synthesis of Blooms domains, verbs and activities and patterns from the framework
  • forget about synthesis and go for just one model, as using one model is already complicated enough?

And what to do with tools like AdobeConnect, platforms like Moodle or Learning Stone or YouTube? With these toys you can do almost anything, depending on the task you give your learners!

What strikes my while I am reading a post of another instructional hero, Clive Shepherd, is  that Laurillard is very much focused on teaching an d learning in formal higher education. Does her framework and the strategies she describes, cover workplace learning where so much learning is happening informally? This is a context for learning many of the LosMakers are designing for. Maybe ask Laura herself?

Read on from here to gain insight in the combination of pedagogical strategy and teaching-learning-cycles. Or jump straight to the overview of possible fields for a tool database.

Hoe managers in de GGZ het werk veiliger leren maken

8Arts-assistentDe GGZ werkt hard aan het verbeteren van de veiligheid voor patiënten en medewerkers. Incidenten zijn ellendig, ze moeten geanalyseerd worden om de kans op herhaling te minimaliseren. Dit is een van de speerpunten van het veiligheidsmanagementsysteem. Managers leren hun rol daarin goed te vervullen. Hoe pak je dat aan? Met een doeltreffende blend van leerstrategieën (ervarings-, informeel en werkplekleren) sla je de brug naar hun eerste zelfstandige analyse. Een interessante casus voor ontwikkelaars van blended learning in de gezondheidszorg.

In de boter gevallen

Ook de Parnassia Groep, een landelijke GGZ-organisatie met negen zorgmerken, wil incidenten zoveel mogelijk voorkomen en klopte daarvoor aan bij de eigen academie. Van november 2012 tot juli 2013 viel ik als projectleider in bij de Parnassia Academie. Er was al een goede start gemaakt met het project om interventies te ontwikkelen: het zou een film worden over de aanloop naar een incident ingebed in een e-learningmodule.

VoorAllesVeilig-logo_verkleind

Logo project

Voor de film was Martijn Brouns van Hit en Run  ingeschakeld. Martijn werkte met een collega van de academie, drie kwaliteitscoördinatoren en enkele behandelaars aan het scenario. Er was een projectplan met doelstellingen en een aantal goede ideeën, maar verder viel er nog veel te onderzoeken en ontwerpen. Ik viel met mijn neus in de boter met dit geweldige project: relevant onderwerp, professionele aanpak, creatieve ruimte voor iedereen en een meer dan geslaagd resultaat.

Het incident als vliegwiel

Betrokkenen schrikken enorm van een incident. Lees je de formele definitie:

Een onbedoelde gebeurtenis die tot schade heeft geleid, had kunnen leiden of (nog) kan leiden.

dan raakt het je niet zo. Maar stel dat je als arts bij de keel wordt gegrepen door de partner van een patiënt.

We hadden als doelgroep de managers van de Parnassia Groep op het oog. De kans dat zij een incident meebeleven is wat kleiner dan voor behandelaars. Op hun schouders ligt echter wel de taak om betrokkenen op te vangen en vervolgens een onderzoek naar de oorzaken te starten. Ook is het hun verantwoordelijkheid om voortdurend alert te zijn op veiligheidsrisico’s. Hun ogen en oren zijn in feite de medewerkers. Zij zullen ervan doordrongen moeten zijn dat een lacune in een protocol, onachtzaamheid in de communicatie met een patiënt of een laconieke houding onafhankelijk van elkaar een kettingreactie in gang kunnen zetten.

Attitude beïnvloeden

De attitude om veiligheid serieus te nemen, bovenop al die andere doelen die een manager worden gesteld, is cruciaal. Veiligheid mag niet ondersneeuwen door de eis om de efficiency te verhogen. De manager draagt dit idealiter ook naar zijn medewerkers uit. Het incident dat de managers op video zouden gaan zien moest levensecht zijn. Daarom hebben we als ontwikkelteam veel denk- en schrijfwerk geïnvesteerd in het scenario waarin onderstaande wensen vervuld moesten worden:

  • Het incident moest indruk maken, maar toch niet té ernstig zijn. Heel zware incidenten als het overlijden van een patiënt, komen veel minder vaak voor dan een escalatie als je zojuist hebt gezien.
  • De oorzaken van het incident moesten vertakkingen hebben naar verschillende afdelingen. In de praktijk wordt een patiënt immers omringd door psychologen, psychiaters, verpleegkundigen en baliepersoneel die weer ondersteund worden door een IT-afdeling die het EPD draaiend houdt.
  • Oorzaken moesten vallen in verschillende categorieën: organisatie, cultuur, techniek of communicatie. Ook het gedrag van de patiënt en zijn ‘systeem’ kan bijdragen aan een incident.
  • Ondanks de complexiteit van oorzaken moest het verhaal geloofwaardig en herkenbaar zijn.

Ook aan de kwaliteit van de productie stelden we hoge eisen: mooi camerawerk, perfect geluid en niet te vergeten acteurs die zich in de GGZ-wereld konden inleven. De kijkervaring moest zo meeslepend zijn dat managers elkaar gaan aanschieten tussen de flexplekken: ‘Heb je die veiligheidsmodule al gedaan? Ik kreeg het er warm van…’ Liever mond-tot-mondreclame dan verplichten.

De videofragmenten van de aanloop naar en van het incident zelf worden gebruikt in een e-learningmodule. De cursisten bekijken ze en analyseren de informatie op oorzaken, net als in de praktijk. In deze presentatie zie je hoe de module is opgebouwd.

Klaar zijn voor meldingen en analyse

De context waarin een module wordt geïmplementeerd is uiteraard van grote invloed op het rendement. Voor cursisten moet het helder zijn waarom het juist nu urgent is om de module te volgen.

Meldingssysteem

Bij de Parnassia Groep werd in 2012 een nieuw meldingssysteem geïmplementeerd. Op alle pc’s verscheen in de taakbalk het Voor Alles Veilig icoon. Wie een incident heeft meegemaakt, vult hier zo snel mogelijk een formulier in. Dat komt bij de teamleider of afdelingsmanager binnen. Hij/zij reageert daar op, uiteraard door meteen in gesprek te gaan met de betrokkenen. Niet elk gemeld incident hoeft vervolgens methodisch geanalyseerd te worden, maar de manager zal wel regelmatig een incident kiezen om de veiligheid op zijn afdeling te toetsen: hoe is het gebeurd en hoe kunnen we onze werkwijze, cultuur et cetera verbeteren zodat we het risico op herhaling reduceren? De e-learningmodule bereidt hem voor op die analyse.

Methodisch en ‘warm’ analyseren

Zo’n incidentanalyse is natuurlijk een precair proces. Betrokkenen kunnen emotioneel zijn, bang om de zwarte piet toegespeeld te krijgen en wellicht heeft de manager zelf ook een aandeel. Alle partijen moet voelen dat het incident wordt onderzocht om de feiten boven tafel te krijgen en niet om een schuldige aan te wijzen. De manager heeft heel wat bagage nodig: sociale vaardigheden, interviewtechniek en methodisch te werk gaan bij het doorvragen op relevante zaken. Met de input uit het groepsinterview gaat hij een oorzakenboom opstellen. Daarvoor past hij de PRISMA-methode toe (PRISMA = Prevention and Recovery Information system for Monitoring and Analysis). Hier zie je een redelijk eenvoudig voorbeeld van zo’n oorzakenboom uit de ouderenzorg.

Voorbeel oorzakenboom

Module als stap in een blended leerscenario

Met de e-learningmodule konden we niet alle doelen dekken. We hebben besloten om de module te richten op:

  1. Informatie beoordelen en schiften: alleen de feiten tellen, geen meningen of gissingen, en alleen relevante feiten
  2. Basisoorzaken opsporen door oorzaken van oorzaken vast te stellen waarbij de manager binnen de invloedssfeer van de eigen organisatie blijft

Ook afleiden van verbetermaatregelen uit basisoorzaken en voorzitten van een analysegesprek zijn natuurlijk belangrijke leerdoelen voor de manager die incidentanalyses wil gebruiken om de veiligheid op zijn afdeling te verbeteren. Daarvoor zetten we andere interventies in.

Ontwikkeling module

Deze module is gemaakt in Lectora Online. Een grafisch vormgever heeft het mooie VaV-logo en alle templates ontworpen. Vervolgens heeft een programmeur de pagina’s aangemaakt met de videofragmenten en de juiste interacties. Gelukkig bleek ‘sleuren en pleuren’ met directe feedback op correcte plaatsing, wat ik wilde gebruiken voor het bouwen van de oorzakenboom, ook mogelijk in Lectora.

Discussie in forum, maar liever nog, op de werkvloer

Toen het scenario definitief was, zijn we zelf een oorzakenboom gaan maken voor ‘ons’ incident. Dit is de boom die we de cursisten in de module wilden laten namaken. In ons team merkten we dat dit aardig wat discussie opleverde. Zowel het formuleren van de ‘aantekeningen’ als het schuiven met de oorzaken, hadden een paar versies nodig tot we het de beste te pakken hadden. Het dilemma met de feedback in de module was dat deze alleen juist of onjuist kan roepen, en niets ertussen in. Daarom hebben we Joost een keer duidelijk laten zeggen dat er discussie over mogelijk is en dat de cursisten daartoe in een forum zijn uitgenodigd.

Ervaringsleren, maar niet toevallig

Module en forum vormen passen daarmee samen in een strategie van ervaringsleren. (Zie voor een korte uitleg het blog van Clive Shepherd over experiential learning). We konden er echter niet op gaan wachten tot de manager toevallig met een incident geconfronteerd zou worden, spontaan een analyse ging opzetten en vervolgens daarop zou gaan reflecteren. Daarom hebben we hem met de video van het incident in de module in een ervaring geduwd. In een forum werd hij gevraagd om te reflecteren.

In een forum met eigen collega’s en ‘kwaco’

De module wordt aangeboden in een cursus in de leeromgeving van de Parnassia Academie (Moodle). De managers en teamleiders zijn uitgenodigd om in te loggen met een sleutel. Met deze sleutel schrijven ze zich automatisch in een ‘groep’ in. Dit is de groep managers van hun eigen zorgbedrijf. In het forum in de Moodle cursus konden ze met hun groepsleden in discussie gaan over vragen die de module bij hen opriep. De kwaliteitscoördinator van het zorgbedrijf faciliteert de discussie online. We hebben hen in het forum twee vragen meegegeven om over van gedachten te wisselen:

  • hoe denk je over de oorzaken die gekozen zijn voor het incident
  • hoe beoordeel je de kwaliteit van de verbetermaatregelen die Joost heeft geformuleerd?

Met dit forum wilden we dus aan twee doelen werken: zowel de identificatie van oorzaken als beoordelen van verbetermaatregelen.

En ‘onder ons’

Echter, veel belangrijker dan dat forum, is dat de discussie op de werkvloer op gang komt. Met deze high impact video en het ervaren van zo’n analyse wilden we vooral dat managers onderling en met hun ‘kwaco’ (kwaliteitscoördinator) in gesprek gaan. Praten over risico’s die ze op hun eigen afdeling herkennen uit de video en over incidenten waar ze zelf van op de hoogte zijn, brengt informeel leren op gang dat veel effectiever is dan die hele module zelf. In een forum zullen ze niet snel met de billen bloot gaan, maar face-to-face wel, zeker als een kwaco hen daarop met een open en vertrouwenwekkende houding bevraagt op het moment dat hij in de leeromgeving ziet dat de manager de module heeft afgerond.

Dan zelf doen

Is het noodzakelijk om alle managers na afronding van de module ook nog een training te laten volgen waarin vooral met het interviewen geoefend kan worden? Daar hebben we lang over nagedacht. Met de enorme kosten van het optuigen van een formeel trainingscircus  op tafel, hebben we voor een goedkopere én effectiever aanpak gekozen. Van het informele leren dat de kwaco in gang zet als hij met de manager in gesprek gaat over zijn leerervaring in de module is het een kleine stap naar werkplekleren.

In de cursus wordt de cursist opgeroepen zo snel mogelijk na afronding van de module een afspraak te maken met de kwaco van zijn zorgbedrijf: ‘Bel nu je eigen Wendy.’ Samen gaan ze bespreken welk recent incident zich het beste leent voor een volledige analyse volgens de methode. De kwaco begeleidt de  manager bij de voorbereiding (uitnodigen van betrokkenen), bij de sessie zelf en bij de evaluatie en het formuleren van verbetermaatregelen. Alle kwaco’s krijgen wel een formele training zodat ze de managers goed kunnen coachen, zowel op techniek van de methodiek als op het bewaken van een warme sfeer en omgaan met emoties.

Leerervaring delen met de hele afdeling

De volledige film met de aanloop naar het incident in chronologische volgorde staat ook in de leeromgeving. Managers kunnen de film in een informele setting samen met hun medewerkers bekijken en bespreken om de alertheid op risico’s op de eigen afdeling te vergroten en om hen te stimuleren incidenten te melden. In aansluiting op de discussie kan de manager een demo geven van het meldingssysteem.

Effect?

Het gesprek is op gang gekomen en de eerste analyses zijn uitgevoerd. Cursisten geven terug dat het gedrag van alle personages in de video zeer herkenbaar is. De oefening met de oorzakenboom helpt: ‘Dus zo moet het, nu zie ik voor me wat ik ga doen.’ En het allerbelangrijkste wat we wilden bereiken: de managers zien het belang in van incidentmelding door hun medewerkers én van regelmatig een analyse uitvoeren. Dan komt informatie die in hun hoofden en harten zit aan de oppervlakte, praten over veiligheid wordt normaal, zodat collega’s gezamenlijk veiliger gaan werken. Is de attitude eenmaal veranderd, dan komt het met de uitvoering ook wel goed.

Interesse?

Heb je belangstelling en wil je wellicht de hele module bekijken, dan kun je contact opnemen met Dorian Kemperman, manager bedrijfsvoering Parnassia Academie: d.kemperman@parnassiagroep.nl.

Zelf blended learning inzetten voor veiligheid of andere onderwerpen waarin het vooral om attitude draait? Martijn Brouns van Hit en Run en Isabelle Langeveld van Helder & Wijzer werken samen met hart voor leren in de gezondheidszorg.

Is een serious game een goede manier om algemene vaardigheden te leren?

Het logo van Code 4; een game dat bij de Belastingdienst is gespeeld om een meer klantgerichte en pro-actieve attitude aan te leren. Wie mee heeft gedaan, ontvangt een speldje met het logo voor op de revers. En ja, dit wordt met trots gedragen

We verwachten veel van hbo-studenten. In de Dublin-descriptoren is onder andere afgesproken dat studenten projectmatig, methodisch en reflectief kunnen handelen en hun ‘beroepsuitoefening voortdurend kunnen professionaliseren’. Aan hbo-docenten de taak om een leeromgeving in te richten die studenten in de gelegenheid stelt om deze competenties te verwerven. Bij de Hogeschool van Amsterdam heb ik daar als docent bij de opleiding Logistiek een bijdrage aan geleverd. (In mijn achterhoofd hoorde ik, terwijl ik SLB- en managementvaardighedenlessen gaf, steeds een duiveltje roepen: ‘En ben je daar zelf ook zo goed in dan???’ Maar dit terzijde…)

Hoe leid je op in die competenties?

Projectonderwijs kan een leeromgeving bieden waarin studenten hun professionele vaardigheden ontwikkelen. Je vraagt studenten dan in elk geval ‘projectmatig te werken’ en ‘teamgericht samen te werken’. Maar wat is dat dan eigenlijk? Wat is de essentie? Welke doelen streef je heel concreet na? En hoe handel je daar als docent methodisch in?

Je kunt het heel instrumenteel aanpakken en normen opleggen waaraan een probleemanalyse, Plan van Aanpak, notulen of een rapport moeten voldoen. Mijn ervaring leert dat je daar niet veel mee opschiet. Je kunt criteria opstellen voor teamgericht gedrag en studenten elkaar laten beoordelen. Dat werkt voor een klein deel van de studenten, zij die al heel ver zijn met hun eigen reflectie en professionele houding en die dus het eigenlijk al niet zo hard meer nodig hebben!

Leren begint met een ervaring en een behoefte

Leren begint pas als het schuurt. Je wilt iets bereiken en dat lukt niet, omdat je jezelf in de weg zit. Of omdat een ander niet leuk meedoet wat ongeveer hetzelfde is als jezelf in de weg zitten. Er moet ‘pijn’ zijn waar je vanaf wilt. Of in elk geval een bewustzijn dat je iets wilt, dat het niet lukt en dat je daar misschien iets aan zou kunnen doen. De bekende ‘bewust onbekwaam-fase’. Helaas zitten veel studenten op vele vlakken in de onbewust onbekwaam-fase.

Je kunt dus een enorm boeiende les aan samenwerken (b.v. de Roos van Leary) besteden maar als een student op dat vlak nog helemaal geen vragen heeft, ervaart hij het als tijdverspilling. In veel studententeams is geen pijn, in elk geval niet aan de oppervlakte. Studenten ontwikkelen strategieën om pijn te omzeilen: ‘Ik doe gewoon niets’ of ‘Ik doe gewoon alles zelf’. Als het project echt niet af dreigt te komen, wordt het team doorwezen naar de eerstelijnszorg (de SLB-docent) die mag gaan vertellen dat het toch echt anders moet! Dan is het vaak al veel te laat. Men heeft al alles en iedereen de schuld gegeven, behalve zichzelf. Veel studenten hebben immers geen adequaat beeld van zichzelf, van hun kennis, hun eigen gedrag en hun invloed op het proces. Gevolg is dat ze niet in de leerstand komen.

Een game om in de leerstand te komen?

Onlangs luisterde ik naar een presentatie van Herman Koster* in het kader van het IPMA-Activiteitenplatform over serious gaming. Ik dacht, misschien is een game wel de methode om projectmatig te leren werken. Bij Logistiek op de HvA bleken simulaties een goede werkvorm te zijn om logistieke processen te gaan snappen. De student vindt het leuk en leerzaam. Dat er wat competitie bij komt kijken verhoogt de motivatie (overigens niet bij iedereen). Ik wist heel weinig van gaming, maar Hermans lezing was buitengewoon verhelderend.  Onder andere weet ik nu dat een game iets anders is dan een simulatie-met-competitie. Een game is pakkend, en mixt realiteit en fictie (voor het echte beleven!)

Een paar weken later zat ik bij Herman aan tafel om hem mijn vraag voor te leggen: ‘Kun je studenten leren projectmatig te werken door een serious game in te zetten?’ Ik hoopte stiekem dat hij een doos van de plank zou halen en ‘Alsjeblieft’ zou zeggen. En ja, die doos is er!

Projectvaardigheid draait om attitude

Zoals bij elk project startten we bij het formuleren van de juiste vraag: ‘Wat is de essentie van projectmatig werken?’ In het antwoord zitten elementen als: er is een begin en eind, er moet een resultaat bereikt worden en onderweg moeten kwaliteit en middelen beheerst worden. Maar wanneer slaagt een project? In de ‘echte wereld’ is een project formeel geslaagd als binnen de tijd en binnen het afgesproken budget wordt opgeleverd, met de kwaliteit die gesteld is. Maar in het onderwijs is de manier waarop het doel bereikt wordt veel belangrijker dan het formele slagen. Als het samenwerkingsproces goed gaat is er wel/geen energie, doet men wel/niet een extra stapje, komen er wel/geen creatieve ideeën boven, etc.

En die attitude is onderdeel van competenties

Herman noemt een aantal competenties die voor projectmatig en teamgericht werken van belang zijn:

  • Doelhelderheid verbeteren
  • Juiste prioriteiten stellen, voor jezelf en anderen
  • Klant- en omgevingsgerichtheid (tact, je kunnen aanpassen)
  • Zichtbaar maken van de eigen bijdrage
  • Versterken van leiderschapskwaliteit en groepsgericht sturen
  • Initiatief nemen
  • Flexibel omgaan met verandering
  • Aan de voorkant voorkomen ipv aan de achterkant oplossen
  • Gedrag van anderen kunnen beoordelen en waarderen, kunnen aanspreken en corrigeren
  • Omgaan met passieve mensen en met perfectionisten
  • Kennis delen
  • Besluiten nemen
  • Verantwoordelijkheid nemen
  • Delegeren/mandateren
  • En nog wat meer

Maar hoe leer je die? Je zou dit lijstje in een beoordelingsformulier kunnen zetten en studenten kunnen vertellen: ‘Jongens, terwijl jullie bezig zijn met het project gaan jullie dit allemaal doen en wij als docenten gaan kijken of het je ook lukt, en dan vinken we de competenties af op het lijstje. En als je het in dit project nog niet allemaal kan, kijken we bij het volgende project weer of het al beter gaat, tot je van ons je diploma mag hebben.’ Zou deze strategie hen in ‘de leerstand’ brengen?

Een game verleidt tot leren

Herman vertelde over een game, Code 4, dat hij heeft ontwikkeld voor de Belastingdienst. De Belastingdienst had niet als doel dat alle medewerkers projectmatig leren werken, maar wilde wel een attitudeverandering bereiken door alle functiegroepen heen. Een beetje meer ‘Het Nieuwe Werken’ zeg maar. Uit het beeld van die attitude is een aantal competenties afgeleid. Herman heeft een serious game ontwikkeld dat deelnemers in situaties brengt die alleen op te lossen zijn als die worden ingezet. Laat dat nu precies hetzelfde lijstje zijn als voor projectmatig werken! En trouwens ook precies de ingrediënten van de Dublin-descriptoren. De game heet ‘Code 4′.

Hoe werkt Code 4?

Situatie

Het is 2018. We zitten zwaar in de economische crisis. Zorginstellingen kunnen de boel niet meer draaiend houden, geen geld meer voor voedsel, kleding, medicijnen etc. Bedrijven kunnen hun belasting niet meer betalen. Oplossing: er moet een ruilsysteem komen. Bedrijven hebben nog wel voorraden en kunnen daarmee hun belasting betalen die vervolgens zo efficiënt mogelijk over die instellingen verdeeld moet worden. De deelnemers aan het spel krijgen de opdracht om deze marktplaats te gaan besturen.

Regels

Er zijn vier teams van twaalf spelers die allemaal mogelijkheden (fiches) hebben om voorraden in te kopen. De teams verdienen punten als ze als eerste en op het juiste moment aan een vraag van een instelling kunnen voldoen. De spelers kunnen het spel elke werkdag spelen en er minstens 1 tot 1,5 uur per dag aan besteden. Ze moeten de regels zelf ontdekken. Wie wacht op instructies raakt zwaar op achterstand. Succes vereist leren van ervaringen, veel overleggen (of juist niet als men durft te delegeren), strategie bepalen (zetten we in op medicijnen of voedsel), iemand moet de leiding nemen en er komt voortdurend, ook in het weekend, nieuwe informatie binnen waarop geacteerd moet worden. Acteurs komen langs om te onderhandelen over een partij medicijnen of om de boel op te stoken met ‘geheime informatie’. En, heel belangrijk, je hebt elkaar nodig.

Een ‘puppet master’ kan de kansen en mogelijkheden van een team beïnvloeden zodat het team in situaties komt waarin de persoonlijke leerdoelen van de deelnemers geoefend kunnen worden of om het team nog een kans om te winnen te bieden.

Wat heb je nodig aan middelen

In de game:

  • Websites
  • Acteurs
  • Video (opdrachten)
  • Mobiele telefonie
  • Mail
  • Naturaprijzen
  • Wat spelers verder organiseren

Buiten de game:

  • Puppetmaster: dat is iemand die het spel kan beinvloeden (oneerbiedig; aan de poppetjes trekken)
  • Goed geïnstrueerde mensen die de begeleidingsgesprekken voeren

Teams

De teamsamenstelling is belangrijk. Bij de Belastingdienst zaten alle lagen door elkaar in een team. Iedereen begint bij 0 en kan er even goed in worden. Je hebt er namelijk geen ‘schoolkennis’ of managementervaring of wat ook voor nodig, maar wel dat lijstje competenties en ‘boerenslimheid’. De status die je aan je functie ontleent valt weg. En dan gaat het dus helemaal om wie jij bent en wat jij doet.

Spelen en praten

Het duurt drie weken en in die weken gebeurt er heel veel. De spelers gameden in principe naast hun werk en tussen 8.00 en 20.00 uur. De game is een leeromgeving en die is niet compleet als men niet reflecteert op de ervaringen. Daarom voert een coach met elke deelnemer drie gesprekken om doelen te stellen in week 1, bij te sturen in week 2 en plannen te maken voor na de game in week 3. De coaches kunnen in het systeem achter de site precies zien welke acties elke deelnemer heeft uitgevoerd en wanneer, zodat die gesprekken heel concreet kunnen zijn.

Wat je niet verwacht

In een game, hoe ‘scripted’ het ook is, gebeuren altijd onverwachte dingen. Gezien de crisis wordt een deel van het salaris in natura uitbetaalt. Dat kan van alles zijn: brood, pakken koek, bussen deo… Het viel op deze cadeaus soms niet verdeeld werden, maar in de kast bleven staan. Er waren b.v. 8 flessen cola, maar verdeel je die over 12 spelers? De instructie ontbrak, dus bleven de flessen veilig in de kast. In de week erop probeerde de puppetmaster het met pakken melk. Deze stonden na een week met bolle buikjes op de plank. Bij dit team waren de competenties flexibiliteit en initiatief nog niet voldragen.

Wat levert het op?

Zo’n spel is leuk, maar een risico van gaming is dat de transfer ontbreekt. Mensen gaan niet vanzelf hun gamegedrag in de werk- of leerwereld inzetten. Herman heeft bij de Belastingdienst een effectmeting gedaan en er is wel effect! Tachtig procent van de deelnemers leert daadwerkelijk wat op het gebied van zijn/haar ontwikkelpunten. Bij dertig procent van de deelnemers is zelfs sprake van second loop learning (dat is niet alleen de dingen beter doen, maar ook betere dingen doen)! Men spreekt elkaar aan, ook door de lagen heen, er zijn talenten ontdekt, mensen hebben een andere baan gezocht en in de dagelijkse praktijk wordt er inderdaad meer initiatief genomen. Het is natuurlijk altijd de vraag hoe lang het blijft hangen. Dat is ook een zaak voor de organisatie die de opbrengst moet gaan beheren en liefst ook vergroten.

Kunnen we nu iets met zo’n Code 4-game in het hbo-onderwijs?

Ik geloof er wel in. Vooral als je studenten en docenten samen in een team stopt. Aan het begin van het stuk bekende ik niet voor niets dat ik in mijn docentenrol vaak dacht: ‘Hoe scoor ik zelf eigenlijk op dit feedbacklijstje?’ Laat mij ook maar eens zo’n game doen. Ik ben heel benieuwd wat voor Isabelle zich dan laat zien.

Om als docent projectonderwijs te kunnen begeleiden en trouwens om uberhaupt goed in een opleidingsteam te functioneren, heb je al die competenties net zo hard nodig. Bovendien slaagt projectonderwijs pas echt als docent en student hun vertrouwde statuspatroon van ‘Ik ben docent en ik weet hoe het moet en ik leid’ of ‘Ik ben student, vertel mij hoe het moet en dan volg ik en haal ik mijn punten’ loslaten. Zo’n game kan het vertrouwde patroon op zijn kop zetten en dat is heilzaam.

Voordelen

Waarom levert het meer leereffect op dan een heleboel vaardigheidstrainingen, SLB-gesprekken en sessies met een projectbegeleider? Een game is behoorlijk strak ontworpen. Je ziet weliswaar verrassende bij-effecten, maar on the whole kun je behoorlijk goed voorspellen welk gedrag je gaat oproepen. Het is een snelkookpan, binnen drie weken kun je een prima ontwikkeldiagnose stellen waar de student en de docent niet makkelijk onderuit kunnen, want het gedrag was gewoon voor iedereen zichtbaar. In de tweede week wordt er gestuurd op het opdoen van inzichten, en in de tweede en derde week op het experimenteren met nieuwe gedragsstijlen. Dat kan gemakkelijk, een game is immers veilig, ‘het is maar een spelletje …’. Steek in je zak wat je kennelijk al heel goed kan en besluit samen met een coach waaraan je nog gaat werken. En dat kan dan heel gericht in de projecten die de student nog gaat doen, ondersteund door een mix van leermiddelen en -situaties op maat.

Plannen en inbedden

Het ideale moment om zo’n game in te zetten lijkt mij zo na een half jaar. Wie echt een verkeerde keuze heeft gemaakt, heeft de opleiding dan verlaten. Studenten hebben al wat projectervaring opgedaan, zijn misschien al een beetje bewust onbekwaam, hebben een bepaald beeld van zichzelf, van medestudenten en van docenten. Dat is allemaal inzet van de game. Studenten die nog niets van zichzelf weten, denk aan de 17-jarige vers van de Havo, doen een concrete ervaring op waarmee een leerproces kan starten. Na de game kunnen student en docent, onder begeleiding, een ontwikkelplan trekken zonder de vaagheid en letterlijk ‘zinloosheid’ van alle POP’s en PAP’s waar studenten nu vaak in gedwongen worden.**

Is er ook een nadeel?

Ja, het vraagt om een investering, vooral de eerste ‘run’. Dat heeft te maken met de arbeidsintensieve professionele begeleiding. Als enkele docenten getraind worden om de begeleidingsgesprekken te kunnen voeren, hoeft het echter niet duur te zijn. Het vergt ook enige organisatie omdat een game buiten het normale systeem van roostering valt en er in korte tijd veel personeel ingezet moet worden. Maar ik vermoed dat die investering goed is terug te verdienen door anderen dingen niet meer te doen. Niet elk SLB-gesprek is zinvol…

Ook vraagt het om een andere visie op leren en opleiden waar je wel even goed in moet duiken. Die visie ontstaat niet door weer een dagje in een congrescentrum te gaan zitten, maar misschien wel door met het hele team zo’n game te doen…

*Herman Koster is vice-president bij Capgemini en heeft daarnaast zijn bureau Demovides! waarin hij onder andere serious games ontwerpt en produceert.

**Ik liet dit artikel lezen aan Marion van Lunenburg, docent bij de opleiding Communicatie van de Hogeschool van Amsterdam. Zij gaf als commentaar dat ze tijdens haar lessen veel refereert aan de buitenschoolse omgeving van studenten. Ze hebben misschien nog niet zoveel project-, of praktijkervaring maar hebben wel een hobby die ze samen met anderen beleven, zitten in het bestuur van een sportclub, hebben een bijbaan (b.v. leider van de vulpoeg bij de AH) waarin ze soms ook al behoorlijk veel competenties moeten laten zien. Als docent kun je die ervaringen heel goed gebruiken om een gevoel van bewust-bekwaam of bewust-onbekwaam op te roepen.

Certainty Based Marking in Moodle

CBM increases the learning outcome of closed quiz questions in formative assessment

How can you get more out of a simple quiz? Studie Centrum Financiele Branche offers Permanent Education Courses for financial professionals. Their course concept consists of preparation in an online environment and a face-to-face meeting to discuss the learning material. Students have the opportunity to test their knowledge of the course syllabi by taking three online quizzes per subject. After that they send in their solutions to a case.

My client was keen on ways to increase the learning outcome of these quizzes. Serendipity: his father-in-law was asking him : ‘ Why don’t you require your students to state  how sure they are of the answer they are giving, so you you know that they are not simply guessing the answer ?’ I had just been to the UK MoodleMoot where Tim Hunt (Open University) presented the new Quiz module in Moodle 2.1. An interesting new feature of the quiz module is called Certainty Based Marking.“That’s what we need”, my client and I thought, so I started to experiment with it. But first, what is it?

What is CBM?

Certainty Based Marking (CBM) is an assessment system in which a student answers multiple choice, true false or short answer questions. After the student selects an answer he has to decide how sure he is of the correctness of his answer. He has to assert the probability of being correct: 1 = Not very (close to guessing), 2 = Reasonably sure or 3 = Absolutely sure*. In this example you see what it looks like in a Moodle quiz in the SCFB-course.

Klik om te vergroten

The grade of certainty that has been chosen has consequences for the score on the question, as you see in this table.

Cold shower

Trying this out, I found that the consequences for your total score at the end of the test can be pretty devastating. Say you make a test of 10 questions and each question has a value of 3, you can score 30 marks if you have everything right. If you choose certainty 3 two times and your answer is incorrect, you lose 12 marks. If you also score right two times while you haven chosen certainty = 1 you lose another 4. It gets pretty hard to pass the test, if you are not sure of what you do and what you don’t know.

By testing it we learned that the teachers of SCFB had some difficulty accepting their low total scores for situations in which they answered more than half of the questions correct. This is one of the reasons that students need practice to get used to CBM: a student has to get the opportunity to really learn to work with the method and it is not something you apply in an isolated test.

The guru and the programmer

While researching the CBM phenomenon I found the guru Tony Gardner-Medwin, Emeritus Professor, Department of Physiology (NPP), UCL, London. He has made the system or protocol (LAPT) available at UCL,  including availability for anyone interested in using it, and has published about it (see bottom article). He has also written code that can be imported into Moodle, for versions 1.9-2.04. We first used Tony’s LAPT-code, but as soon as Tim Hunt, the Quiz module programmer, incorporated CBM in the standard Moodle quiz features for 2.1 and higher, we switched to using this standard CBM-option. Hunt based his code partly on Tony’s work but not completely.

This might look as a detail for testing nerds, but the difference is pretty important. Tony’s code produces general feedback for the test with the percentage of questions you answered right AND your CBM score. Tims code only keeps the CBM score and pushes this to Moodles gradebook. For the maximum impact on learning outcome a student should be able to see his end score and compare this to his CBM-score, as in LAPT.

A talk with Tony

Links Silvester, rechts Tony

CBM gave lots of food for thought on testing and scoring. Luckily Tony Gardner-Medwin visited the Netherlands in September. During my research I came in contact with Silvester Draaijer (Onderwijscentrum VU). Silvester also wanted to meet Tony, so we had an interview with him.

We talked about the philosophy behind and the advantages of CBM compared to plain old mc or T/F-questions.

Philosophy behind and advantages of CBM

You could say CBM repairs a flaw of standard testing with closed questions. The results on a standard test do not reveal (in Tony’s view) what the student really knows. The student may give a correct answer, but was it by guessing or was it on the basis of solid knowledge? A student who is a very lucky guesser can pass a test while a student who omits uncertain answers, can fail it. CBM rewards students who know which answers they do know and who acknowledge when they are uncertain. It ‘punishes’ students who are never confident, or who claim confidence for incorrect answers.

For students a test with CBM is much more informative and promotes deeper learning. The ‘How sure are you’ question prompts him to think more deeply about the answer, or, if the test is not time limited, to look up the correct answer. After he submits the answers, he can see if his certainty estimation was accurate. At the end of the test he knows which parts of the material he has to study more in depth and which parts are completely between his ears. Hopefully he also sees feedback with an explanation of the correct answer. In this way the learning yield is much higher.

In short, the students focus on:

  • getting as many answers right as possible, and
  • accurately judging certainty to achieve a high CBM-score

 You need to know when you’re right!

Tony explained how CBM plays an important role in the development of a professional attitude. He taught physiology in medical school. It’s pretty crucial that medical staff can make a difference between ‘I am sure’ and ‘I have doubts’. CBM can teach them to act on their doubts (ask a colleague, grab a textbook) in a very simple way: if I am not sure and also right I loose points! This is also what appealed to my client. Financial advisors give maybe 10 advices a day. Nine times they are right but the tenth advice may lead a client to bankruptcy. In the real world advisors have to be absolutely sure 10 times out of 10. The CBM test is a simulation of their professional environment.

I believe in CBM

Just like Tony, I think that only ‘being sure’ is true knowledge. I am also in favour of it because it stimulates students to think just a little bit deeper. Only this extra cognitive activity should already heighten the learning effect of taking a test.

But, is correction of guessing necessary?

Now it is time for some expert criticism. Silvester has some more knowledge of educational measurement. For him, using CBM is not so obvious as it is for me. He says:

‘Of course,in a test with closed questions, a blind guessing score is inevitable. The result of a test as a whole however, is based on a series of questions. The more questions in a test, the more reliable the outcome of a test. The chance of a student passing a test (with a reasonable number of test items) by only guessing, is negligible. And by setting cut-scores that take this guessing score into account, a reasonable estimate concerning the achievement of a student can be made.’

So, Silvester counters the argument that CBM is necessary to correct for guessing. Regular tests do a reasonable good job already.

How does CBM affect your confidence?

Silvester does see benefits in CBM: ‘What should be emphasized is the value of CBM in formative assessments. CBM gives students who over- or underestimate themselves a better insight in their own perception of their knowledge and skill. And this does work on the level of just one question or subject, or possibly at the level of an entire test if this test addresses only one subject.’ (So the CBM scores will improve in the course of taking multiple tests with CBM.)

In general people think that under- or overestimating ones knowledge is an unchangeable personality trait. It would be interesting if Tony had done research on the impact of CBM on other domains. Does it affect their level of confidence also on other material outside this particular test? I don’t think so.’

Well, Tony told us he had not researched this… Maybe someone else will pick this up?

Why doesn’t everybody use it?

We also asked Tony how widespread CBM is. His own software (LAPT) is mainly used in London, at UCL and Imperial College. Even there it is currently only used for formative assessment. Tony is disappointed in the slow uptake despite much effort at dissemination. It might just be fear of the non-standard testing procedures. It might just be fear of the non-standard testing procedures.

In Holland my client SCFB is, to my knowledge, a pioneer in applying CBM. Over 25 years ago there has been some research in the Netherlands on something similar to CBM (multiple evaluation) but the psychometric experts and instructional designers who published about it are either deceased or retired. A whole new generation must be infected with the CBM-virus!

Now it is included in the standard quiz module in Moodle 2.1, albeit as yet in a limited way, other Moodlers will probably try it. And if other big testing/assessment software companies like Question Mark Perception adopt it, it might get a new life. I’ll do my best to advocate CBM at the next Ned Moove seminar at the end of November.

Want to know more?

All Tony’s work on CBM is to be found on the LAPT website of UCL.We thank him for his cooperation on this article.

*SCFB has chosen to translate ‘very sure’ for certainty = 3 into ‘absoluut zeker’. This is not as it should be. Certainty = 3 should stand for: “I am 80 to 100 % sure I have given the correct answer. In the CBM-philosophy you don’t have to be absolutely sure. In the professional world a financial advisor must be totally sure. This is my clients motive for using this terminology.