4. Intézményi teendők és emberi felügyelet

1. Először a felhasználási célt tisztázd

Képzeld el, hogy az iskola olyan eszközt vásárolna, amely a tanulók szöveges válaszait elemzi, pontszámot javasol és személyre szabott visszajelzést készít. A beszerzés első lépése a tervezett használat pontos leírása.

A beszerzés előtti alapellenőrző lista

• Cél: milyen pedagógiai feladatot támogat az eszköz? Gyakorlófeladatok visszajelzését, dolgozatok pontozását vagy osztályzási döntést?
• Érintettek: mely évfolyamok, pedagógusok és tanulók használják? Kapnak-e közvetlen hozzáférést a tanulók?
• Döntési szerep: hogyan hat az eredmény a tanuló értékelésére, továbbhaladására vagy oktatási lehetőségeire?
• Adatok: milyen bemeneti adatokat kér, és milyen új adatokat hoz létre? Például dolgozatszöveget, pontszámot vagy tanulói profilt.
• Felelős: ki koordinálja a vizsgálatot, és ki jogosult jóváhagyni a beszerzést, illetve a használatot?
• Ellenőrzés: ki vizsgálja meg a kimenetet, és hogyan javítható egy hibás értékelés?
• Bevezetési feltétel: milyen dokumentumok, egyeztetések és képzések szükségesek a próbaüzem előtt?

Vizsgáld meg a kockázati besorolást

Az AI Act III. melléklete alapján a tanulási eredmények értékelésére szánt egyes MI-rendszerek magas kockázatúnak minősülhetnek. A besorolást a rendeltetés, a konkrét működés és a rendelet feltételei alapján kell ellenőrizni. A „csak javaslatot ad” megjelölés önmagában kevés a besorolás eldöntéséhez.

Kérd el a szolgáltató rendeltetésleírását és besorolási indokolását. Ha a szolgáltató valamely kivételre hivatkozik, annak feltételeit is vizsgáljátok meg. Az intézmény tervezett használata illeszkedjen a dokumentált rendeltetéshez.

Első kézzelfogható eredmény: egy rövid használati leírás, például: „Az eszközt a 7. évfolyam gyakorló fogalmazásainak szöveges visszajelzésére szeretnénk használni. A pedagógus minden visszajelzést ellenőriz, mielőtt a tanuló megkapja.”

2. Oszd ki az intézményi feladatokat

A pontos felelősségi rend az iskola szervezeti és fenntartói kereteitől függ. Az alábbi felosztás egy egyeztetés kiindulópontja lehet.

Kit vonj be?

• Intézményvezető, szükség szerint fenntartó: kijelöli a döntési és jóváhagyási rendet, biztosítja a szükséges erőforrásokat, és gondoskodik a belső szabályok kialakításáról.
• Pedagógiai szakmai felelős vagy munkaközösség-vezető: megvizsgálja, hogy az eszköz értékelési szempontjai illeszkednek-e a pedagógiai célhoz. Megtervezi a szakmai próbát és az eredmények ellenőrzését.
• Az eszközt használó pedagógus: ellenőrzi a konkrét értékelési javaslatokat, jelzi a hibákat, és követi a jóváhagyott használati szabályokat.
• Adatvédelmi tisztviselő, ha van kijelölve: tanácsot ad az adatvédelmi megfelelésről és a hatásvizsgálatról. Az adatkezelő felelőssége továbbra is fennáll; tisztázni kell, hogy az adott adatkezelésben mely szervezet az adatkezelő.
• Informatikai vagy információbiztonsági felelős: ellenőrzi a hozzáféréseket, az adatáramlást, az intézményi rendszerekkel való összekapcsolást és a technikai biztonsági feltételeket.
• Beszerzési, szerződéses vagy jogi feladatot ellátó szereplő: áttekinti a szerződést, a szolgáltatói vállalásokat, a felelősségi kérdéseket és a szolgáltatás megszüntetésének feltételeit.

Mit kérj a szolgáltatótól?

Kérjetek érthető dokumentációt az alábbiakról:

1. Az eszköz rendeltetése, korlátai és kockázati besorolása.
2. Használati utasítás, ismert hibák és az emberi ellenőrzéshez szükséges információk.
3. Az adatok tárolási helye, megőrzése, törlése, továbbítása és esetleges további felhasználása.
4. A szolgáltató adatvédelmi szerepe és az igénybe vett további adatfeldolgozók. Adatfeldolgozói jogviszony esetén a GDPR 28. cikke szerinti szerződéses feltételek.
5. Jogosultságkezelés, naplózás, hibajelzés, támogatás és az adatok kinyerése a szerződés lezárásakor.

Különítsd el a szerepeket

A szolgáltató feladatai közé tartozhatnak a rendszer fejlesztéséhez, dokumentálásához és megfelelőségéhez kapcsolódó kötelezettségek. Az alkalmazó intézmény a saját használatáért, szervezési intézkedéseiért és az alkalmazói kötelezettségek teljesítéséért felel.

A szolgáltató megfelelőségi állítása mellett az iskolának is értékelnie kell a saját felhasználását. A szerepek megváltozhatnak például lényeges módosítás vagy a rendeltetés megváltoztatása esetén; ilyen tervnél külön jogi vizsgálat indokolt.

3. Tervezd meg az emberi felügyeletet és a használati szabályokat

Az emberi felügyelethez idő, megfelelő tudás, jogosultság és működő beavatkozási lehetőség szükséges. Egy jóváhagyó gomb önmagában kevés a hibák felismeréséhez és kezeléséhez.

Mit tudjon megtenni a kijelölt felügyelő?

• Értse az eszköz feladatát, korlátait és a kimenet jelentését.
• Hasonlítsa össze a javaslatot a tanulói munkával és az értékelési szempontokkal.
• Ismerje fel az automatizált javaslat túlzott követésének veszélyét.
• Kérhessen további ellenőrzést, és a rendszer kialakításának megfelelően figyelmen kívül hagyhassa vagy felülbírálhassa a hibás kimenetet.
• Szükség esetén kezdeményezhesse a használat megszakítását, illetve alkalmazhassa a rendelkezésre álló leállítási eljárást.

Iskolai példa: az eszköz alacsony pontszámot javasol egy fogalmazásra. A pedagógus ellenőrzi, hogy a javaslat követi-e a feladat értékelési szempontjait, és megvizsgálja a tanuló szövegét. Eltérés esetén dokumentálja a javítást és jelzi a visszatérő hibát a kijelölt felelősnek.

Magas kockázatú rendszer alkalmazásánál

Az alkalmazandó AI Act-követelmények alapján az intézménynek többek között gondoskodnia kellhet:

• a használati utasítás szerinti működtetésről;
• megfelelő szakértelemmel, képzéssel és jogosultsággal rendelkező személyek kijelöléséről az emberi felügyeletre;
• a működés figyeléséről és a kockázatok, illetve súlyos események előírás szerinti kezeléséről és jelzéséről;
• az ellenőrzése alatt álló bemeneti adatok relevanciájáról és megfelelő reprezentativitásáról;
• az ellenőrzése alatt álló, automatikusan keletkező naplók megőrzéséről. Az AI Act főszabálya legalább hat hónap, más alkalmazandó jogszabály eltérő rendelkezése mellett.

Legyen rövid belső használati szabály

Rögzítsétek, ki használhatja az eszközt, milyen célra és milyen adatokkal. Írjátok le a kötelező ellenőrzést, a hibajelzés útját, a szükséges tájékoztatást és a használat felfüggesztésének feltételeit.

Az AI Act 4. cikke szerinti MI-jártasság érdekében a szolgáltatóknak és alkalmazóknak a munkatársak tudásához, tapasztalatához, feladataihoz és a használat körülményeihez igazodó intézkedéseket kell tenniük. Egy értékelőeszköznél célszerű konkrét hibás pontozásokat, adatvédelmi helyzeteket és beavatkozási lépéseket közösen gyakorolni. A képzési tartalom és a részvétel dokumentálása segíti az intézményi nyomon követést.