4. Kwaliteit is de drijfveer van LUCA
Als de grondhouding van het beleidsplan inhoudt dat ‘kwaliteit onze drijfveer’ is, en dat elk aspect van het beleid hieraan kan worden getoetst, dan wil LUCA ontegensprekelijk een sterke kwaliteitscultuur uitbouwen en voeden: een cultuur die vertrekt vanuit vertrouwen in mensen met talent en expertise, en die gericht is op waarderen, inspireren en verbeteren.
Dit hoofdstuk beschrijft eerst welke objectieve bronnen LUCA ter beschikking heeft om kwaliteit te meten en bij te sturen. Vervolgens gaat het in op de KOPERA-cyclus: de eigen regie die LUCA ontwikkelde met betrekking tot het borgen van de opleidingskwaliteit. Ten slotte is er kort aandacht voor het Europese project ETIKETA en de algemene principes van goed bestuur.
4.1 Relevante data als voedingsbodem
De analyse en opvolging van relevante data is één van de bouwstenen van de interne kwaliteitszorgmethodiek van LUCA. Opvolgbare en transparante gegevens stellen opleidingen, diensten en bestuurders immers in staat om de impact van acties objectief op te volgen en waar nodig bij te sturen.
4.1.1 Onderwijskundige cijfers en analyses
Opleidingen hebben meerdere gegevensbronnen en rapporten ter beschikking om hun beleid mee vorm te geven. Het betreft hier kwalitatieve en kwantitatieve data. Aan de kwantitatieve kant zijn dit onder meer, inschrijf-, slaag-, doorstroom-, en diplomacijfers, aan de kwalitatieve kant zijn dit studenten-, alumni- en instroom- en uitstroom-bevragingen.
Voor het kwalitatief evalueren van opleidingsonderdelen (OPO) maakt LUCA gebruik van EVA.OPO, een digitale rapporteringstool ontwikkeld door KU Leuven die studenten toelaat om na elk semester feedback te geven over de afgelegde OPO’s. De rapporten van deze bevragingen zijn voor docenten vrij snel beschikbaar en worden op latere datum ook ter beschikking gesteld van opleidingshoofden en de vicedecaan onderwijs. De nadruk van deze bevragingen ligt op het verzamelen van feedback, met ruimte voor de docent om dingen aan te pakken of weloverwogen naast zich neer te leggen. We kiezen er bewust voor om de rapporten niet standaard in het personeelsdossier op te nemen om te voorkomen dat ze als beoordelingsrapporten gezien worden in plaats van feedback.
Het voordeel van EVA-OPO is de koppeling met het associatiebrede onderwijs-en studenten administratief systeem zodat het robuust, automatisch en gevalideerd verloopt. Een nadeel is dat wijzigingen niet snel doorgevoerd kunnen worden (zoals de publicatiedatum) en dat de tool vanwege zijn administratieve achtergrond niet zo aantrekkelijk en gebruiksvriendelijk oogt. Bovendien is deze statistische tool niet geschikt voor bevragingen met minder dan tien respondenten.
Schema werkgroep cijfers 2023-2024
Om ook feedback te verzamelen voor opleidingsonderdelen met kleine studentenaantallen hanteert LUCA andere laagdrempeligere manieren om studentenbevragingen uit te voeren zoals:
- Padlets, een soort online prikborden waar studenten ook anoniem kunnen reageren op enkele vragen.
- MS Forms die de docent via het online leerplatform Toledo kan opstellen voor een kort kwalitatief onderzoek.
- Focusgesprekken als alternatief voor enquêtes. De Dienst Onderwijs & Kwaliteitszorg schreef hiervoor een helder stappenplan. Dat beschrijft hoe de feedback op een respectvolle manier gevraagd en gegeven wordt en hoe met de resultaten omgegaan wordt.
De in 2018 opgerichte LUCA-brede werkgroep cijfers heeft als doel om opleidingen, diensten en beleid te ondersteunen met cijfermateriaal en analyses. Ze doet dit door enerzijds het beheren en optimaliseren van databronnen, en anderzijds door het op gerichte tijdstippen analyseren en verspreiden van cijfermateriaal. Doorheen de jaren zijn de databronnen gegroeid en omvatten onder meer de inschrijvingscijfers, de cijfers van de artistieke toelatingsproeven, een cohorte-analyse, alumnibevragingen, …
LUCA doet verder beroep op (onderwijskundige) analyses uitgevoerd door werkgroepen en data-analisten binnen KU Leuven en de Associatie KU Leuven. Deze voerden in het verleden al herhaaldelijk onderzoek naar studievoortgang, studiekeuze, studiesucces bij heroriëntering, verderstuderen…
In de praktijk merken we dat opleidingen nog te vaak op buikgevoel afgaan en niet altijd even consequent de aangereikte rapporten bij de hand nemen. Om in de toekomst nog gerichter vanuit cijfermateriaal beleidsmatig te kunnen sturen, besliste LUCA om vanaf academiejaar 2023-2024 de werkgroep cijfers jaarlijks een specifiek thema te laten onderzoeken. De uitkomst van deze extra analyses hebben als doel om de besprekingen in onder meer de commissie onderwijs en andere organen te voeden. Voor het academiejaar 2023-2024 koos LUCA als thema: ‘cijfers die nuttig zijn voor KOPERA-panels’. Dit vanuit de behoefte om objectievere data aan panels te kunnen voorleggen. Voor een volgend academiejaar is het plan om studievoortgang meer in detail te meten en te analyseren.
4.1.2 Andere databronnen
Met betrekking tot niet onderwijskundige databronnen investeerde LUCA de laatste jaren in het verzamelen, analyseren en publiceren van data. Op vlak van financiën en HR hebben entiteiten bijvoorbeeld toegang tot zogenoemde ‘boordtabellen’ die een overzicht geven van de invulling van hun VTE-kader. Voor het directiecomité en bestuursorgaan werd een dashboard ontwikkeld dat een kwartaalrapportering mogelijk maakt. Ook voor de opvolging van de investeringen van alle drie investeringscomité werd een dashboard ontwikkeld.
Eveneens nieuw is het communicatie-dashboard, een samenwerking tussen de diensten communicatie, onderwijsadministratie en onderwijs & kwaliteitszorg. Dit dashboard wordt maandelijks gepubliceerd en bevat inzichten in sociale media, marketingcampagnes en websitestatistieken, alsook inzichten in inschrijfcijfers (infodagen, toelatingsproeven en effectieve inschrijvingen in opleidingen). In tegenstelling tot de andere (financiële en HR) dashboards, staat dit dashboard volledig open voor alle personeelsleden. In de toekomst wil LUCA nog meer databronnen beschikbaar stellen, bijvoorbeeld over waar entiteiten of projecten mee bezig zijn, om meer transparantie en opvolging te creëren, en duidelijk te maken wat er met de schaarse middelen wordt gepresteerd.
Voor de monitoring van de implementatie en concretisering van de strategische doelen volgt LUCA dezelfde strategie van autonomie en vertrouwen als bij het opstellen van de acties (zie 3.2 beleidskaders omzetten naar acties). Op het niveau van het directiecomité en bestuursorgaan is LUCA momenteel een beperkte set van KPI’s aan het ontwikkelen. Beperkt, omdat we ervan overtuigd zijn dat indicatoren slechts kunnen fungeren als proxy: ze zijn eenvoudig meetbaar, en bijgevolg nooit helemaal relevant of volledig, maar ze correleren wel met de (moeilijk tot onmogelijk meetbare) complexere realiteit. Jaarlijkse streefwaarden per indicator zullen een indicatie geven in welke mate de realisatie van het beleid de goede kant op gaat.
De KPI’s bestaan alvast uit vijf algemene en voor de hand liggende indicatoren (studentencijfers, financieringsbronnen, doctoraten, …) en worden nog aangevuld met een aantal indicatoren per strategische doelstelling. Deze laatste zijn nog in opmaak bij het schrijven van deze kritische reflectie.
Omdat deze KPI’s, zoals LUCA die wil hanteren, geen targets (mogen) zijn, worden ze niet expliciet binnen de organisatie gecommuniceerd. Opleidingen, onderzoekseenheden en diensten moeten hun acties bepalen in functie van de inhoud en de filosofie van het beleidsplan, en niet in functie van bepaalde streefwaarden. Dit belet niet dat we op centraal niveau de acties gepresenteerd op de beleids- en budgetcommissie (BBC) achteraf analyseren in functie van hun link met strategische doelstellingen of ‘sustainable development goals’ (SDG’s) van de Verenigde Naties (die een referentiekader zijn voor de grondhouding). (zie 3.2.1 voor uitleg over de BBC-werking)
4.2 Kopera: kwaliteitskader voor opleidingen
Het formele kwaliteitskader voor opleidingen binnen LUCA kreeg de naam KOPERA wat staat voor: Kritisch de Kwaliteit van Opleidingen met Peers in Eigen Regie Analyseren.
Brondocumenten
4.2.1 KOPERA kort toegelicht
LUCA vertrekt voor KOPERA van de volgende visie op kwaliteitszorg:
- een kwaliteitscultuur die vertrekt vanuit vertrouwen en gericht is op waarderen, inspireren en verbeteren;
- resultaatsgerichte, heldere afspraken en doelstellingen die ruimte bieden voor ontwikkeling en experiment;
- respect voor de informele kwaliteitscultuur;
- waarderend onderzoek door een KOPERA-panel;
- een slanke aanpak;
- sterkere inbedding van de kwaliteitszorgmethodiek in de algemene beleidscyclus;
- een duidelijk kwaliteitskader met negen kwaliteitskenmerken.
De negen kwaliteitskenmerken van LUCA
KOPERA is gebaseerd op vier bouwstenen:
- Opleidingsportfolio: een verzameling (of overzichtelijke weergave) van activiteiten, plannen en realisaties van de opleiding en reflecties daarover met stakeholders;
- Profieltekst: maakt duidelijk waarvoor de opleiding staan en hoe de opleiding zich verhoudt tegenover andere opleidingen, zowel uit het binnenland als internationaal;
- Meerjarenactieplan: omvat kortlopende en langlopende acties en wordt jaarlijks geüpdatet. Acties kunnen gekoppeld worden aan de kwaliteitskenmerken, strategische doelstellingen of specifieke groeikansen uit een KOPERA-rapport;
- Kritische reflectie: tekst waarin de opleiding reflecteert over de realisaties van hun meerjarenactieplan, gekoppeld aan de kwaliteitskenmerken en de strategische doelstellingen.
De sleutelmomenten in de KOPERA-cyclus zijn als volgt:
- Jaar -1: schrijven van de kritische reflectie;
- Jaar 1: meerdaags bezoek van een KOPERA-panel dat in een KOPERA-rapport de sterktes en groeimogelijkheden beschrijft;
- Jaar 2: opvolggesprek tussen (een afvaardiging van) het KOPERA-panel, de opleiding en directieleden over de opvolging (via het meerjarenactieplan) op basis van het KOPERA-rapport;
+ borgingsbesluit dat bevestigt dat de opleiding conform de PDCA-cyclus aan kwaliteitsbeleid doet; - Jaar 3: verdere opvolging, monitoring en bijsturing van het meerjarenactieplan en het opleidingsportfolio;
- Jaar 4: balansmoment tussen de opleiding en directieleden over de stand van zaken van de groeikansen en het actieplan, geholpen door specifiek te ontwikkelen cijfermateriaal (specifiek ingepland buiten de reguliere beleids- en budgetcommissies);
- Jaar 5: verdere opvolging, monitoring en bijsturing van het meerjarenactieplan en het opleidingsportfolio;
- Jaar 6: verdere opvolging, monitoring en bijsturing van het meerjarenactieplan en het opleidingsportfolio + schrijven van de nieuwe kritische reflectie.
De link met de beleidscyclus zit in de sterke verwevenheid tussen het meerjarenactieplan en de systematische, halfjaarlijkse bespreking en opvolging hiervan op de beleids- en budgetcommissies, aangevuld met KOPERA-specifieke momenten zoals het opvolggesprek en het balansmoment.
KOPERA cyclus en verwevenheid met beleidscyclus
Het panel dat de KOPERA-bezoeken aflegt en de groeikansen formuleert in het KOPERA-rapport bestaat doorgaans uit vijf leden, allen extern aan de opleiding, met de volgende deskundigheden:
- Een vakdeskundige die zelf onderwijs verzorgt in een zelfde of aanverwante opleiding met dezelfde oriëntatie en die bijdraagt aan de ontwikkelingen van de beroepspraktijk, de discipline of het vakgebied; dit panellid heeft bij voorkeur tevens ervaring met audits of het beoordelen van opleidingen;
- Een werkveldvertegenwoordiger die een goed overzicht heeft van de eisen die het kunst- en/of werkveld stelt aan de afgestudeerden;
- Een onderwijsdeskundige die ervaring heeft met het geven, ontwikkelen of ondersteunen van hoger onderwijs; het kan ook dit panellid zijn dat ervaring heeft met audits;
- Twee studenten die een bachelor- of masteropleiding volgen of gevolgd hebben binnen of buiten LUCA. Studenten die niet meer studeren op het moment dat het panel wordt samengesteld, mogen niet langer dan één jaar eerder afgestudeerd zijn. Student-panelleden kunnen niet afkomstig zijn uit een opleiding die voorwerp is van de betreffende KOPERA-oefening.
Bij de samenstelling waakt het directiecomité over de aanwezigheid van internationale expertise, het genderevenwicht en andere diversiteitsaspecten. Alle panelleden moeten voldoen aan de onafhankelijkheidscriteria en zijn op moment van samenstelling van het panel ten minste drie jaar niet meer verbonden geweest aan LUCA via een betalende opdracht of als regelmatig geconsulteerde expert uit het werkveld of vakgebied.
Het sluitstuk van KOPERA is de uiteindelijke borging van de opleidingskwaliteit. De kernvraag daarbij luidt: “heeft de opleiding een goede kwaliteitscultuur die de ‘plan-do-check-act’-cirkel volgt?”, en die wordt beantwoord door een borgingscomité (zie 4.2.3). Dat borgingscomité voert zelf geen nieuw onderzoek maar zich baseert op:
- de kritische reflectie door opleiding;
- het KOPERA-rapport met groeikansen;
- de gepubliceerde kwaliteitsfiche;
- de opvolging besproken in het opvolggesprek;
- de opvolging via de beleidsgesprekken.
4.2.2 Van KOPERA 1.0 naar KOPERA 2.0
In het academiejaar 2016-2017 gingen de eerste LUCA-opleidingen aan de slag met de nieuwe methodiek voor de eigen regie voor kwaliteitsborging. De pilot van KOPERA liep gelijktijdig met de eerste instellingsreview. Op het moment van deze kritische reflectie doorlopen een aantal opleidingen de tweede cyclus van KOPERA. Die tweede cyclus is op een aantal punten grondig gewijzigd ten opzichte van 2016.
cijfers KOPËRA rapporten en resultaten
Na een eerste doorloop van alle opleidingen, evalueerde LUCA in 2021-2022 de KOPERA-aanpak. Dat gebeurde door het bevragen van interne en externe stakeholders (studenten, voorzitters van de KOPERA-panels, opleidingshoofden, directieleden…), desktop-onderzoek en via inspirerende gesprekken met kwaliteitszorgverantwoordelijken van andere instellingen. Op basis van de verzamelde feedback werd in het najaar van 2022 ‘KOPERA 2.0’ goedgekeurd. Het betreft geen volledig nieuw kader, het behoudt de visie op kwaliteit (maar expliciteert deze beter), de bouwstenen van interne kwaliteitszorg, de kwaliteitskenmerken en de positief ervaren elementen uit de eerste ronde. De belangrijkste wijzigingen zijn:
- Een duidelijkere inbedding en koppeling van de KOPERA-cyclus in de algemene kwaliteitscultuur en beleidscyclus: opleidingen hebben niet langer een eigen beleidsplan maar formuleren op basis van KOPERA acties binnen het grotere geheel van de beleidscyclus en het LUCA-beleidsplan (zie 3.1.2). Bijkomend zorgt het balansmoment tussen de halfjaarlijkse beleidsgesprekken voor een verdieping met specifieke focus op het KOPERA-rapport.
- Het versterken van de waarderende aanpak: een panel formuleert zelf geen eindoordeel meer, maar komt tot een eindwaardering en in co-creatie met de opleiding tot de prioritering van de groeikansen.
- Een grotere aandacht voor internationale blik in de panels, en voor diversiteitskenmerken. Het aantal student-leden is uitgebreid tot twee (op vraag van de studenten zelf). De onafhankelijkheidsvereisten voor panelleden zijn aangescherpt, en het panel wordt ondersteund door een externe secretaris.
- Het uitbreiden van de panelbezoeken met het activiteitenbezoek als vast onderdeel (voorheen facultatief) voor een aantal panelleden, en de deelname van studenten aan het kennismakingsbezoek. Hierdoor krijgt een panel meer zicht op de ‘film’ van de opleiding versus de ‘foto’ (als momentopname).
- Voor het panel werd een trainingsplatform ontwikkeld met kennisclips, zodat panelleden zich op eigen tempo kunnen voorbereiden en de infobijeenkomst van het panel meer diepgang krijgt.
- Het oprichten van een borgingscomité van bestuurders en externen, dat instaat voor het finale borgingsbesluit en zich voor iedere opleiding uitspreekt over het geheel van kwaliteitscultuur en beleidscyclus.
- Het versterken van de publieke informatie rond kwaliteitszor ;waar vroeger enkel de kwaliteitsfiches op de website kwamen, wordt voortaan samen met het borgingsbesluit het integrale rapport van het panel gepubliceerd.
Het vernieuwde KOPERA-kader werd tijdens het academiejaar 2022-2023 uitgerold voor de drie opleidingen beeldende kunsten (in Brussel, Genk en Gent). Zij starten als eerste aan de cyclus ‘2.0’. Bovendien komen er in academiejaar 2023-2024 balansgesprekken voor opleidingen die in de vorige cyclus als eindoordeel ‘verbetering is noodzakelijk’ kregen (gesprekken die in de vorige cyclus niet voorzien waren, maar als nieuw element van KOPERA 2.0 meteen worden toegepast).
Dat de KOPERA-aanpak (ook in de vorm van KOPERA 1.0) sterk en matuur mag genoemd worden, werd in juni 2023 bevestigd in de vorm van twee positieve opleidingsaccreditaties voor de educatieve masteropleidingen die als nieuwe opleidingen van start gingen in 2019. Niettemin wordt de voorbereiding van KOPERA-momenten soms nog als planlast ervaren, bijvoorbeeld wanneer het sleutelmoment van de panelgesprekken nadert. Door het zesjarig ritme en het expliciet te laten inhaken op de beleidscyclus, waarbij de opleiding elk jaar tweemaal een stand van zaken opmaakt en zo opvolging geeft aan KOPERA, hopen we hieraan te verhelpen en continuïteit in kwaliteitszorg te installeren.
Met het afsluiten van het panelbezoek in de opleidingen Beeldende Kunsten tijdens het academiejaar 2022-2023 werden de eerste stappen van het geoptimaliseerde KOPERA-kader in de praktijk getest. Evaluatiegesprekken met zowel panelleden, begeleiders, gesprekspartners en directieleden toonden aan dat het kader positief onthaald werd. Bijsturingen voor 2023-2024 zijn eerder van praktische aard.
4.2.3 Transparantie en borging
De essentie uit de KOPERA-rapporten wordt zo snel als mogelijk openbaar in de vorm van een kwaliteitsfiche op de instellingswebsite. Ongeveer een jaar later (na verdere opvolging in dialoog met het panel) is de uitkomst van ieder KOPERA-panel en het borgingsbesluit integraal te raadplegen via de website. Dit borgingsbesluit is een nieuw element binnen KOPERA 2.0 en fungeert voortaan als sluitstuk van de eigen regie. Een borgingscomité bevestigt finaal dat “de opleiding een goede kwaliteitscultuur heeft die de ‘plan-do-check-act’-cirkel volgt zodat kwaliteitsvol onderwijs gegarandeerd is”. Ook in dat comité is de externe blik gegarandeerd via twee leden van de belangrijkste internationale organisaties voor kwaliteitszorg in hoger kunstonderwijs: EQ-Arts en MusiQuE.
4.3. ETIKETA: internationale verkenning & benchmarking
In 2022 haalde LUCA één van de zes Europese projecten binnen die als doel hebben te komen tot een gezamenlijk Europees Kwaliteitslabel.
Dit project komt wederom voort uit de succesvolle internationale samenwerkingsverbanden en contacten van LUCA en groeide binnen de schoot van de FilmEU Europese Universiteit alliantie. Bij de uitwerking van dit project worden de medewerkers van LUCA die instaan voor het uitwerken van ons intern KOPERA kader ook betrokken. Dit garandeert dat dit Europese kader niet parallel aan het interne kader wordt ontwikkeld, maar dat beide elkaar voeden en inspireren.
ETIKETA past binnen de European Universities Strategy waarbij Europa de stap wil zetten van gezamenlijke opleidingsprogramma’s met individuele of gedeelde diplomering, naar op termijn slechts één, Europees, diploma voor deze gezamenlijke programma’s. ETIKETA bouwt verder op het gezamenlijke kwaliteitshandboek dat in ontwikkeling is binnen het FilmEU-project en werd geïnitieerd vanuit deze partners, maar werkt eveneens samen met andere partners binnen en buiten het hoger kunstonderwijs.
De European Standards and Guidelines worden binnen ETIKETA als basis voor het kwaliteitslabel genomen.
Een analyseoefening van bestaande kwaliteitskenmerken en labels, onder meer in de opleiding DocNomads (een Erasmus Mundus Joint Master), toonde aan dat deze opleiding al veel van de mogelijke kwaliteitskenmerken afvinkt. Bovendien bleek uit deze en andere vergelijkingen en bevragingen binnen het project, dat het systeem van kwaliteitsborging in eigen regie zoals geïmplementeerd binnen LUCA (en Vlaanderen bij uitbreiding), een model is dat tegemoetkomt aan de wensen van de verschillende stakeholders (instellingen, studenten, alumni, industrie, …).
Door binnen een internationaal consortium ervaringen te delen en nieuwe methodes te testen kan LUCA haar eigen kaders en methodiek vergelijken met deze van andere instellingen, en waar nodig aanpassen. Het consortium biedt hierin een veilige plek en experimenteerruimte die niet altijd even makkelijk te implementeren of te voorzien is binnen de eigen instelling. Dat wil ook zeggen dat door dit soort projecten het beleid en de kaders van LUCA deels extern worden gevoed en gestuurd. Het blijft een opdracht om de resultaten en afspraken gemaakt binnen een consortium nadien te vertalen naar de voltallige eigen organisatie.
4.4. Algemene principes van goed bestuur
De algemene beleidsvoering van LUCA en de kwaliteitsborging voor het onderwijs, kaderen in een context van goed bestuur in hoofde van de organisatie. Vertrekkend van een versnipperde en moeilijk auditeerbare werking in het verleden is LUCA erin geslaagd om te komen tot processen en procedures die de toets van interne en externe audit doorstaan, en op basis van die audits ook verder worden geoptimaliseerd.
In de schoot van het bestuursorgaan is een auditcomité actief, dat in samenwerking met de dienst interne audit van KU Leuven een auditkalender opstelt en uitvoert. Niet enkel aspecten uit de bedrijfsvoering (zoals financiële stromen, IT security of personeelsprocessen) worden doorgelicht, maar ook aspecten die dichter liggen bij het onderwijs (zoals onderwijs- en studentenadministratie), of die cruciaal zijn voor een hogeronderwijsinstelling en/of de kunstensector (zoals de problematiek van grensoverschrijdend gedrag), en zelfs de voortgang met betrekking tot opvolging van de vorige en de voorbereiding van de huidige instellingsreview.
Externe controles zijn er dan weer vanuit het regeringscommissariaat, met opnieuw aandacht voor de bedrijfsvoering en de wettelijkheid ervan (bijvoorbeeld met betrekking tot personeelsprocessen of overheidsopdrachten) maar ook terug zaken die specifiek te maken hebben met het onderwijs (zoals de communicatie over het opleidingsaanbod, de toepassing van de taalregeling, of de studentenparticipatie). Een recente bijkomende laag is die van het risicomanagement. Ook hier kan LUCA, als kleinschalige organisatie, dankbaar gebruik maken van samenwerking met de diensten van KU Leuven. Zo werd in maart 2020 een cyberaanval afgewend zonder al te veel impact op het onderwijs, uitgerekend op hetzelfde moment dat we volledig moesten omschakelen naar digitale werkvormen wegens de eerste corona-lockdown. In 2023 begon LUCA met het opstellen van fiches over de collectieve risico’s en de mitigatie ervan. Het domein IT kwam daarbij als eerste aan bod.