Archives For May 2011

Con Stefano Mizzella (http://www.socialmediascape.org/) abbiamo parlato di Gamification e processi di Business allo scorso Young Digital Lab a Milano  (http://www.youngdigitallab.com/).
Ecco le slide della nostra presentazione:

Cerchiamo di mettere in luce alcuni dei punti fondamentali che sono stati fatti emergere.

  • La Gamification è un trend in forte crescita ma non deve essere considerata – come abbiamo già visto – come un approccio completo all’ambito del gaming. Ci sono molte zona d’ombra e il rischio è proprio che, cavalcando un trend, si vada nella direzione dell’errore e della confusione di aree specifiche. Ne abbiamo parlato anche qui – http://www.sociallearning.it/giochi-videogiochi-e-processi-di-business
  • Non bisogna confondere la Gamification con altri prodotti come i Serious Game che sono già presenti da tempo sul mercato e i cui impatti sono già ampiamente documentati in letteratura.
  • E’ bene non effettuare un’operazione riduzionistica e considerare le dimensioni ludiche come analizzabile solo alla luce di meccaniche e dinamiche (che la gamification definisce in modo contraddittorio rispetto ad altra letteratura consolidata). I prodotti ludici sono complessi e richiedono un’analisi a 360° che inizi dalle interfacce utilizzate e finisca nelle emozioni e nei risvolti etici, morali e culturali che un videogioco può suscitare.
  • Il fine ultimo deve essere spostato da un approccio basato sulla gamification a uno che veda come punto di arrivo l’essere umano e la generazione di emozioni positive, come illustrato nel modello del Gameful Design di Jane McGonigal.
  • Nel complesso le aziende possono trarre lezioni significative dall’applicazione di questi suggerimenti e generare profitti coinvolgendo in maniera molto più partecipativa clienti, dipendenti e – in generale – l’ecosistema aziendale.

Alcuni dei video e degli esempi che sono stati mostrati nello speech che possono aiutare a comprendere meglio i temi riassunti nei punti precedenti:

Plantville

Un serious game realizzato da Siemens che ha come scopo, oltre a intrattenere quello di fornire hints interessanti quello di scovare i migliori talenti che potrebbero essere assunti dall’azienda. Il gioco è supportato da una forte collaborazione tra l’azienda e le scuole superiori. Lo scopo dichiarato è quello di creare la nuova generazione di plant manager. Maggiori informazioni sono disponibili su un articolo comparso su Business Week – http://www.businessweek.com/technology/content/apr2011/tc2011044_943586.htm
Sito web ufficiale del gioco: http://www.plantville.com/

CityOne

Realizzato da IBM si colloca in una direzione simile a quello che abbiamo visto per Siemens ma è anche l’inizio dell’implementazione di alcune dinamiche di co-creation e open-innovation in cui i giocatori collaborano per risolvere problemi possibili di una città. Le idee maggiormente utili e funzionali sono quelle che sono in grado di applicare la tecnologia per risolvere i problemi concreti della loro città. Un Sim-City su scala globale con obiettivi chiari e concreti.
Sito web ufficiale dell’iniziativa: http://www-01.ibm.com/software/solutions/soa/innov8/cityone/index.html

Il motto sul quale si basa il gioco è la famosa frase di Albert Einstein: “We can’t solve problems by using the same kind of thinking we used when we created them.”

Superstruct

Realizzato dall’Institute for The Future di Jane Mc Gonigal, si pone in controtendenza rispetto ai prodotti visti prima. Qui l’obiettivo non è collegato ad alcuna azienda né alla promozione di qualcosa in particolare ma – piuttosto – alla creazione di una comunità di persone che collaborando generino idee significative per cambiare e migliorare il mondo in cui viviamo.
Qui si tratta di fornire alla persone un motivo per collaborare e costruire qualcosa assieme. Al gioco hanno partecipato oltre 8000 persone che hanno condiviso oltre 1000 storie.
Sito web ufficiale: http://archive.superstructgame.net/

Evoke

Sviluppato dal World Bank Institute con la collaborazione di Jane McGonigal e sempre dell’Institute for the Future si colloca nella direzione di Superstruct dove gli stimoli sono quelli dell'”epic meaning” e del voler salvare il mondo con le proprie idee e con la collaborazione di un dream team che condivide una impostazione di fondo.
Sito web ufficiale: http://www.urgentevoke.com/

 

Questi due giochi si pongono nella cornice dei cosiddetti Alternate Reality Games. Che sono, secondo quanto affermato dalla McGonigal:

Un dramma interattivo che si svolge sia online sia nel mondo reale e la cui azione si protrae per settimane o mesi; in esso decine, centinaia, migliaia di utenti connessi formano una rete sociale collaborativa, lavorando insieme alla soluzione di un problema o di un enigma che sarebbe impossibile da raggiungere da soli.

[Original version (english) follows]

Ecco un breve profilo di George per farlo conoscere a chi non lo dovesse aver mai sentito nominare.

 

George Siemens, è direttore associato del Learning Technologies Centre presso l’Università di Manitoba e autore di Knowing Knowledge, un’esplorazione su come il contesto e le caratteristiche della conoscenza siano cambiati, e cosa questo significhi per le organizzazioni di oggi. George è anche fondatore e presidente di Complexive Systems Inc., un learning lab focalizzato sull’assistenza alle organizzazioni nello sviluppo di strutture di apprendimento integrate che incontrino le esigenze di strategie di esecuzione globale.

 

Siemens sarà presente al Social Business Forum 2011 – http://www.socialbusinessforum.it/

Gsiemens_unesco

Veniamo ora all’intervista vera e propria.

Pensi che il nuovo trend del “Social Learning” sia assimilabile a quello che tu hai definito – in tempi non sospetti – connettivismo? Oppure credi che siano due concetti differenti? In che modo le due aree si possono conciliare o sovrapporre?

Il Social Learning non è un nuovo trend. I modelli di apprendimento come quelli corporativi delle Gilde e dell’apprendistato hanno invocato molto tempo fa quello che noi oggi chiamiamo Social Learning. Andando ancora più indietro nel tempo, i primi filosofi si appoggiavano quasi esclusivamente al Social Learning, come ci ricordano molto bene le storie che ancora si raccontano su Socrate, Platone ed Aristotele. Ciò che c’è – oggi – di veramente innovativo è la scala sulla quale possiamo essere coinvolti in un processo di Social Learning. Le tecnologie basate sul web riducono moltissime delle barriere che i discenti erano costretti ad affrontare nel passato (tempo e geografia sono solo due delle molte possibili variabili). Con lo sviluppo dei social-network e strumenti come Skype, Google Talk, i device mobili, il livello e la scala rispetto alla quale possiamo essere “social” sono aumentati in modo consistente. In questo senso il “Social Learning” è un ritorno più naturale al nostro modo di apprendere e di interagire con gli altri.

 

In termini di Connettivismo e Social Learning personalmente vedo le attività del Social Learning come parte del Connettivismo. Entrambi i concetti si riferiscono a come si distribuisce la conoscenza ed enfatizzano come problemi complessi possano essere risolti assumendo un’ottica reticolare e sistemica. Il punto in cui il connettivismo differisce dal Social Learning è sull’accesso a risorse e fonti anche non-social. Per esempio: le nuove idee, molto spesso, non sono altro che rielaborazioni di idee che si sono susseguite nei secoli passati. William Rosen nel suo libro The Most Powerful Idea in the World  mette in evidenza proprio questo. Il modo, cioè, in cui le persone connettono tra loro le idee non è sempre sociale. Inoltre, il modo in cui le organizzazioni creano la loro struttura manageriale influenza il modo in cui l’informazione scorre all’interno dell’organizzazione stessa. Il Connettivismo è legato al come queste informazioni, tecniche e strutture sociali impattino e contribuiscano allo sviluppo di innovazione, invenzione e adattamento dinamico dell’individuo e dell’azienda.

Parlando di Social Learning io credo possa essere, in poche righe, definito come un fenomeno emergente che origina a partire dalle reti di conoscenza (knowledge networks) e dai flussi di valore siano essi formali o informali. Cosa ne pensi?

Personalmente ho una visione abbastanza anticonvenzionale del Social Learning. La maggior parte degli esperti e dei consulenti enfatizzano la dimensione sociale e come le nuove tecnologie – Facebook, Twitter e i Blog – contribuiscano a far divenire “social” le persone. Trattano l’aspetto sociale come il più critico all’interno del processo di apprendimento. Io no. Credo che le persone siano mosse prima di tutto dalle informazioni. Processiamo l’informazione costantemente. Da quando siamo bambini, cerchiamo di dare un senso al mondo cercando di rifletterci sopra, di valutare, di connettere le informazioni che incontriamo. E’ un tratto evoluzionistico: siamo esseri viventi basati sulle informazioni.
Ci sviluppiamo in relazione alle informazioni intorno a noi.
Tornando indietro all’epoca in cui l’uomo era un cacciatore-raccoglitore quelli che sopravvivevano erano coloro che erano in grado di dare un senso alle informazioni presenti nel contesto in cui vivevano: quali piante raccogliere, quali animali evitare, di cosa cibarsi e via dicendo.

 

La mia teoria è che il tratto dominante dell’umanità sia l’acquisizione, la processazione e la creazione di informazioni. Impieghiamo approcci sociali che ci consentono di gestire meglio le informazioni. Troppe persone che parlano di Social Learning vedono la dimensione sociale come il punto di arrivo. Io vedo nella ricerca di senso e di una via lo scopo primario che ci fa utilizzare gli approcci sociali per assisterci in un’evoluzione personale e nella sopravvivenza. Questo mi porta alla mia personale definizione di Social Learning: l’appoggiarsi a reti sociali e interazioni per avere assistenza nella propria ricerca di attribuzione di un senso alle informazioni presenti nel nostro contesto.
 

Quale pensi che sarà la prossima “next big thing” parlando di sistemi di apprendimento emergenti e di organizzazioni che si evolvono?

Ho qualche dubbio sulla prossima “next big thing” nell’ambito dell’apprendimento, le scuole, le università e le organizzazioni saranno basate sull’analisi della conoscenza. Produciamo flussi di dati in quasi tutto quello che facciamo (processo amplificato dalle tecnologie mobili). Le nostre idee, le nostre posizioni, quello che leggiamo, con chi interagiamo… Tutto è immortalato in Facebook, Foursquare, Twitter e sui nostri blog. Molte compagnie brancolano nel buio in termini di conoscenza e apprendimento organizzativo. Riconoscere l’enorme quantità di dati e flussi di informazioni che vengono prodotti è il primo passo per muoversi verso un approccio analitico nei confronti degli scopi e degli obiettivi dell’azienda, oltreché un modo per costruire competenza. Attraverso l’analisi dei flussi di informazione le aziende possono comprendere in che modo la conoscenza si muove nelle reti, come le persone collaborano, quali persone dovrebbero lavorare assieme a seconda delle attività che hanno precedentemente svolto e come fronteggiare efficacemente problemi complessi (come ad esempio l’ingresso in un nuovo mercato, l’acquisizione di una nuova azienda, o il lancio di un nuovo prodotto). Le analisi – in sostanza – possono aiutare le aziende a comprendere meglio se stesse.

In che modo pensi che possa essere valutato questo nuovo modello di apprendimento di cui stiamo parlando? E’ chiaro che non possono essere utilizzate logiche vecchie applicate semplicemente a nuovi paradigmi, ma che deve essere rivisto l’intero framework del processi di apprendimento (dell’individuo e dell’organizzazione in generale). Molte ricerche stanno andando nella direzione dell’utilizzo della Social Network Analysis (SNA) per valutare la formazione e l’apprendimento. Cosa ne pensi?

Sono d’accordo con la tua affermazione q
uando sostieni che è necessario che ripensiamo i nostri sistemi di valutazione. Nei primi anni 2000 ho guidato un progetto di Social Network Analysis che ha coinvolto il dipartimento di una grande università degli US. Abbiamo valutato oltre 100 persone del dipartimento e abbiamo cercato di comprendere in che modo essi collaborassero gli uni con gli altri, dove andassero per chiedere aiuto e come usassero le reti sociali a loro disposizione per risolvere i problemi di tutti i giorni.
Comprendere i nodi essenziali della rete del dipartimento è stato un importante primo passo per dare l’avvio ad un cambiamento organizzativo.

 

In modo molto simile, le organizzazioni di oggi hanno bisogno di prendere in considerazioni analitiche nuove e modelli di valutazione innovativi per riconfigurare la loro struttura. La conoscenza che giace nella maggior parte delle organizzazioni non è connessa adeguatamente. Molto spesso certe persone lavorano su alcuni problemi senza sapere cosa fanno gli altri, senza consapevolezza. Per muoversi sul piano dell’apprendimento significativo e di una corretta gestione e crescita della conoscenza, abbiamo bisogno di fare un migliore lavoro nel conoscere cosa sappiamo noi e chi all’interno della nostra azienda conosce cosa. Gli strumenti di analisi giocano un ruolo importante nel mappare la conoscenza organizzativa. In questo senso, le analisi ci forniscono un modello dal quale partire per riconfigurare la nostra azienda. Nel passato i leader hanno preso le decisioni con angoli di visuale completamente ciechi. Per esempio, l’unione di due dipartimenti è stata condotta perché aveva senso dal punto di vista finanziario. Poca è sempre stata l’attenzione posta alla conoscenza e al come l’apprendimento e la costruzione di sapere potrebbero essere influenzati. Con questo tipo di analisi possiamo comprendere meglio alcuni punti ciechi ed eliminare i rischi nella riconfigurazione dei reparti della nostra azienda.

Di che cosa parlerai al prossimo Social Business Forum dell’8 Giugno a Milano?

Assumerò una posizione controversa che metterà in evidenza l’errata concezione che la maggior parte delle organizzazioni possiede quando si parla di Social Learning (come specificato prima vedo le componenti sociali come una sotto-componente della ricerca di senso in contesti complessi, che rappresentano la nostra disposizione evoluzionistica e genetica all’interazione con l’informazione). Partendo da questo presupposto proverò a definire meglio il ruolo che i sistemi di analisi possono giocare nel miglioramento dei processi di apprendimento e nello sviluppo della conoscenza in contesti organizzativi.

Infine vi lascio con una sua vecchia riflessione (ma sempre attuale) sulla concezione Connettivista: the Network is the Learning

English Version

Here’s the original version of the interview made with George Siemens.

George Siemens, is an Associate Director with the Learning Technologies Centre at University of Manitoba and author of Knowing Knowledge, an exploration of how the context and characteristics of knowledge have changed, and what it means to organizations today. George is also Founder and President of Complexive Systems Inc., a learning lab focused on assisting organizations develop integrated learning structures to meet the needs of global strategy execution.

Geroge Siemens will be at the Social Business Forum 2011 – http://www.socialbusinessforum.it/

What do you think about this new “Social Learning” trend? Is it similar to what you have defined – some years ago – as Connectivism? Or do you think these are two different themes? How can we reconcile, or overlay, the two areas ?

Social learning isn’t a new trend. Guild and apprentice models of learning have long relied on social learning. Going back even further, early philosophers relied almost exclusively on social learning, as the lineage of Socrates, Plato, and Aristotle affirms. What is new today is the scale at which we can be involved in social learning. The web reduces many of the barriers learners faced in the past – such as time and geography. With the development of social networks and communication tools such as Skype, Google Talk, and mobile devices, the scale at which we can be social has increased dramatically. In this regard, the “social learning” trend is really more of a return to more natural ways of learning and interacting with others.

 

In terms of connectivism and social learning – I view social learning activities as part of connectivism. Both concepts address how knowledge is distributed and emphasize that complex problems can  best be addressed through relying on connected specialization. Where connectivism differs is in its emphasis on non-social information sources. For example, new ideas are often “assemblies” of ideas that span centuries. William Rosen details the heritage of new ideas and inventions the steam engine and industry in general in his book The Most Powerful Idea in the World. How people connect ideas is not always social. And how organizations create their managerial structure determines how information will flow through the company. Connectivism is concerned with how these broad information, technical, and social structures contribute to individual and organizational capacity for innovation, invention, and adaptation.
Speaking again of Social Learning I believe that could be roughly defined as an emerging phenomenon that originates from  knowledge networks
and value streams whether formal or informal. What do you think? What is your definition of Social Learning?
I have a fairly unconventional view of social learning. Most pundits and consultants emphasize the social dimension and how new technologies – Facebook, Twitter, blogs – contribute to helping people be “social”. They treat the social aspect as the most critical aspect of the learning process. I don’t. I believe that humans are first and foremost information-driven beings. We process information constantly. From infant stage onward, we seek to make sense of the world by taking in, evaluating, and connecting the information that we encounter. This is an evolutionary trait – we are information-based beings. We develop in relation to the information around us. Back in hunter-gatherer era of human history, incoming information could be in the form of which plants to eat, which animals were dangerous, and so on. Those who were capable of making sense of the information in their context survived.

 

My argument is that humanity’s dominant trait is information acquisition, processing, and creation. We employ social aspects to the extend that it enables us to manage information. Too many people advocating for social learning see the social dimension as the end. I view our sensemaking and wayfinding attributes as primary and that we employ social mechanisms to assist in our evolution and survival. Which leads me to my definition of social learning: The reliance on social networks and interactions to assist us in making sense of the information in our context.
Talking about the future of learning (and also about organizational learning) what do you think will be the “next big thing”?
I have little doubt that the next big thing in learning – schools, universities, and organizations – will be based on learning and knowledge analytics. We produce data trails in almost everything we do – a process amplified by the prevalence of mobile devices. Our ideas, our locations, what we’ve read, and who we interacted with are captured on Facebook, Foursquare, Twitter, and our blogs. Most companies fly blindly in terms of organizational knowledge and learning. Recognizing the incredible value of the data trails that employees produce is the first step toward an analytics-based  approach to organizational goal achievement and capacity building. By analyzing data trails, organizations can understand how information flows through the network, how people collaborate, which people would best work together based on previous activities in organizational teams, and how to cost effectively address complex problems (such as entering a new market, acquiring a new company, or rolling out a new product). Analytics helps organizations to understand themselves.
How do you think could be evaluated this new model of learning we are talking about? It is clear that is not possible to simple apply old methodologies to new paradigms. Instead – I believe – we must completely reconfigure and redesign our assessment framework. Many studies are underlining the value of Social Network Analysis (SNA) to assess training processes and to better unrestrained the whole organization, trying to define new metrics and a way to measure the ROI. What is your experience in this field? And what do you think about this approach?
I agree with your statement of a need to reconfigure and redesign assessment frameworks. In early 2000, I lead a social network analysis project of a department at a major US university. We evaluated over 100 members in the department and tried to evaluate how people connected with each other, where they went for information help, and how they used social networks for solving problems. Understanding the networked-backbone of the department was an important first step in making organizational changes.

 

Similarly, organizations today need to consider advanced analytics models as the basis for reconfiguring their company. The knowledge that exists in most companies is not well connected. Often people are working on similar problems without awareness of the work of others. To address quality of learning and knowledge growth, we need to do a better job of knowing what we know and who in the company knows what. Analytics play an important role in mapping organizational knowledge. In a sense, analytics provide us with a blueprint for reconfiguring a company. In the past, leaders made decisions with large blind spots in their vision. For example, merging two departments was done because it made sense financially. Little attention was paid to how knowledge, learning, and capacity building would be impacted by the merger, which could produce unintended drops in productivity, and loss of key staff. With analytics, we can eliminate some of the decision blind spots involved in reconfiguring departments.
Your speech here in Milan is planned for the next 8th of June: which themes you will address?
I will take the controversial stance that most organizations misunderstand the purpose of social learning (as detailed earlier, I view the social aspects of learning as being a sub-component of sensemaking and wayfinding in complex settings – i.e. our genetic and evolutionary disposition for interacting with information). After making this argument, I will detail the role that analytics can play in improving learning and knowledge development in organizational settings.

Che i Social Media abbiano rivoluzionato il nostro modo di comunicare è ormai innegabile, ma resta da domandarsi quale ruolo potrebbero avere negli ambiti educativi e formativi, soprattutto all’interno di scuole e accademie dove le novità sono spesso guardate in modo non sempre positivo.
Sono ormai 4/5 anni che mi occupo di analizzare l’impatto che le tecnologie digitali – e nello specifico – il ruolo che Social Media possono avere nel migliorare i processi di apprendimento e – in generale – la gestione della conoscenza, aiutando ad evolversi verso un modello maggiormente fluido, semplice, snello e adattivo. Un modello, cioè, in grado di rispondere alle sollecitazione dell’esterno e dare il via a una spirale di crescita e di auto-miglioramento costante.

Per meglio comprendere il contesto all’interno del quale ci si muove voglio condividere un’immagine tratta dall’ottimo sito UpsideLearning (http://www.upsidelearning.com/blog/)

Elements-for-constructing-social-learning-environments-e1268231388833

Il grafico mostra gli elementi che costituiscono un framework di Social Learning: il focus sulle tecnologie è centrale ma non è l’unica cosa da tenere in considerazione. Come visto più volte all’interno di questo spazio di discussione le tecnologie vanno considerate più che altro come il contesto abilitante e non come il punto di vista da cui partire per la progettazione di ambienti di apprendimento.
E’ vero piuttosto il contrario: la cosiddetta software selection deve essere fatta dopo aver ben chiarificato quali obiettivi si intende raggiungere.
In questo senso non si deve pensare solamente a soluzioni free e open destinate ad uso più sperimentale che di seria gestione della conoscenza: Jive SBS (http://www.jivesoftware.com/) e Telligent (http://telligent.com/) – per citare due esempi – sono la traslazione di questi concetti a livello aziendale e rappresentano due piattaforme di massimo livello impiegate da grandi e grandissime aziende per migliorare i loro processi di business.

La dimensione tecnologica è quindi, sì importante ma non l’unica questione che entra in gioco.
Nel 2010 presentai alla SIREM (Società Italiana di Ricerca sull’Educazione Mediale – http://www.educazionemediale.it) i riusltati di una ricerca su come utilizzare i Social Network all’interno della formazione. Ecco lo speech:

http://www.slideshare.net/stefanobesana/social-network-e-apprendimento-conveg…

Da allora il contesto si è parecchio evoluto e le applicazioni in questo senso si sono moltiplicate. In questa sede vorrei citare tre esempi di tecnologie e di approcci che considero di ottimo livello.

Social Media Classroom
http://socialmediaclassroom.com/index.php/using-the-smc

Come si legge sul sito:

The greatest value that the SMC can add to a learning community is its ability to support a movement away from education as delivery of knowledge toward education as critical, collaborative inquiry—a student-centric pedagogy that engages students in actively constructing knowledge together, rather than passively absorbing it from texts, lectures, and discussions. The social media collaboratory and classroom began when Howard Rheingold started teaching courses on virtual community and social media, digital journalism, and participatory media/collective action. This subject matter calls for hands-on use online communication media to augment texts, lectures, and classroom discussion. It is easier to understand and to feel engaged with theory about community, identity, collective action, public sphere, social capital, and other issues that arise from the use of Internet-mediated communication when the entire class uses the media they are studying

Un progetto interessante che parte dalle intuizioni del guru Rheingold per poi muoversi su assunti interessanti e verso un investimento open e partecipativo. Credo sia un progetto interessante che avrà modo di crescere nei prossimi anni e che paga ancora qualche piccolo “peccato di gioventù”.

Udutu & UdutuTeach on Facebook
http://www.udutu.com/

Una piattaforma molto interessante che possiede anche un’ottima integrazione con Facebook: come illustrato in questo video (dalla qualità non proprio elevatissima ma comunque chiaro per capire di cosa si stia parlando).

Schoology
https://www.schoology.com/

Forse la soluzione migliore o – mettiamola così – quella che mi è piaciuta di più. Sembra essere la più matura in grado di garantire le migliori funzioni con una elevata possibilità di personalizzazione. Ecco il video demo che ne illustra le possibilità: a metà strada tra un SNS e un LMS.

Cercando di giungere a una conclusione di quanto visto: credo che i Social Media e – in generale – le Social Technologies possano dare alla formazione, all’educazione e ai processi di apprendimento formali e informali (in generale) un boost eccellente in termini di attrattiva, efficienza ed efficacia. Tuttavia il tutto deve essere inserito in un framework molto più consapevole e la progettazione deve tenere conto di elementi importanti che permettano di realizzare un transfer degli apprendimenti efficace e duraturo nel tempo.
Tuttavia come sostengono Rivoltella e Cattaneo nel loro ultimo volume (Tecnologia, Formazione e Professionihttp://www.deastore.com/libro/tecnologie-formazione-professioni-idee-e-a-catt… è necessario che:

Quest’area di competenza dev’essere costruita sperimentando ed elaborando artefatti e scenari che considerino dunque le peculiarità del contesto digitale. Solo operando in questo modo il formatore ha l’opportunità di andare oltre la semplice integrazione delle nuove possibilità nei quadri operativi del passato. (Cattaneo & Rivoltella, 2010: p. 33).