Využití umělé inteligence při oponování kvalifikačních prací aneb Jak nám může pomoci Bing Chat 

V dnešním textu se podíváme na to, jak by se dala generativní umělá inteligence využít pro podporu tvorby oponentských posudků kvalifikačních prací. Věřím, že tento text může pomoci všem přetíženým vysokoškolským pedagogům, kteří nemají energii na to, aby každý rok přečetli stovky stran kvalifikačních prací velmi různé kvality. Tak pojďme na to.

Vysokoškolští pedagogové na pedagogických fakultách jsou v posledních letech extrémně přetíženi vedením a také oponováním velkého množství kvalifikačních prací - především bakalářských a diplomových, případně závěrečných. Ročně musí nabrat každý akademik například na naší pedagogické fakultě cca 12-15 NOVÝCH kvalifikačních prací, což při připočtení prací z předchozích let znamená, že současně klidně vedeme 20-30 kvalifikačních prací současně tak, jak nám studenti prostupují studiem. 

Vedení prací pak s sebou nese řadu úkonů - se studentem je třeba promyslet a navrhnout koncept práce, doporučit základní zdroje, sestavit logickou strukturu práce, navrhnout teoretickou a empirickou část, naučit se pracovat se zdroji a odlišovat jejich kvalitu, dodržovat formální kvalitu práce a samozřejmě platnou citační normu, postupovat v souladu se zvolenou metodologií, nadesignovat výzkum, stanovit hypotézy atd. To vše si vynásobte počtem prací a časem, ale také vaší vlastní energií, protože vedení a oponování prací tvoří pouze  zlomek práce učitele na pedagogických fakultách. 

Po odevzdání práce studentem mají oponenti jen velmi málo času na to, aby kvalitu práce skutečně posoudili - představte si, že byste kromě vaší běžné agendy - tj. výuky, testů, zkoušení, konzultací a vědecké činnosti - měli například 14 dnů na to přečíst 8 kvalifikačních prací, každá o 50-90 stranách odborného textu, řádně je posoudili a vypracovali k nim posudky, a to minimálně 3 x ročně - podle termínů státních závěrečných zkoušek. Je pak naprosto běžné, že posudky vznikají po večerech, o víkendech… a ruku na srdce, mnoho oponentů si celé práce vůbec nečte, přečtou si úvod, závěr, shrnutí výzkumu a práci prolistují. Ne, že by snad nechtěli být důkladní, ale není to jednoduše čas ani energie. 

A zde se nabízí prostor pro pokročilé modely umělé inteligence, které mohou s posuzováním prací skutečně pomoci a nabízí oponentovi pomocnou ruku. Já sám jsem si vyzkoušel, jak užitečný může být např. Bing Chat integrovaný do prohlížeče Microsoft Edge. Bing Chat jsem zvolil proto, že umí poměrně dobře pracovat s PDF soubory, tj. pokud pomocí Edge otevřete PDF soubor, umožníte, aby se souborem mohla pracovat umělá inteligence Bing Chat, která je v Edgi integrovaná. Což je skvělý benefit.

Představme si situaci, kdy nás tlačí čas, máme zpracovat posudek, nemáme dostatek energie a nutně potřebujeme práci pročíst a vypracovat alespoň elementární posudek. Otevřeme v Edge soubor se závěrečnou prací v PDF, otevřeme Bing Chat přímo v Edge (modrá ikonka vpravoi nahoře) a můžeme začíst klást příkazy (prompty), které by nám mohly pomoci s vypracováním posudku. 

Poznámka: Následující ukázky jsou skutečně ukázkami posudku generativní umělé inteligence kvalifikační práce mé studentky.

Zadání:
Představ si, že jsi oponent této práce a máš vypracovat oponentský posudek. Shrň, o čem práce je, uveď její pozitiva a negativa.

Výsledek (vygenerován za 15-20 sekund Bingem):

Práce se zabývá možnostmi realizace mediální výchovy na 2. stupni základních škol. Autorka v teoretické části popisuje problematiku médií, mediální výchovy a její zařazení do rámcového vzdělávacího programu. V empirické části prezentuje výsledky dotazníkového šetření mezi žáky a polostrukturovaných rozhovorů s učiteli. Cílem práce je zjistit úroveň mediální gramotnosti žáků a názory pedagogů na výuku mediální výchovy.

Pozitiva práce:

1. Práce je dobře strukturovaná, logicky uspořádaná a přehledně členěná do kapitol a podkapitol.
2. Práce je psána srozumitelným jazykem, bez pravopisných a gramatických chyb.
3. Práce obsahuje bohatou a aktuální literaturu, která je správně citována a uvedena v seznamu použitých zdrojů.
4. Práce je doplněna o grafy, tabulky a obrázky, které ilustrují a podporují textovou část.
5. Práce reflektuje současný stav mediální krajiny a vzdělávání v České republice i ve světě.
6.Práce používá kombinaci kvalitativních a kvantitativních metod, které jsou vhodně zvoleny pro zkoumanou problematiku.
7. Práce prezentuje zajímavé a relevantní výsledky, které jsou interpretovány a diskutovány v kontextu teoretického rámce.

Negativa práce:

1. Práce by mohla být více analytická a kritická, zejména v teoretické části, kde autorka spíše popisuje než hodnotí různé přístupy a koncepty mediální výchovy.
2. Práce by mohla více reflektovat možné omezení a nedostatky vlastního výzkumu, například malý vzorek, nereprezentativnost, zkreslení odpovědí apod.
3. Práce by mohla navrhnout konkrétnější doporučení pro praxi, jak zlepšit výuku mediální výchovy na 2. stupni ZŠ, jak motivovat žáky i učitele k rozvoji mediální gramotnosti, jak spolupracovat s rodiči a dalšími partnery apod.

Závěr:

Práce je kvalitně zpracovaná a splňuje požadavky na diplomovou práci. Autorka prokázala schopnost samostatně řešit aktuální téma mediální výchovy na 2. stupni ZŠ. Práce přináší užitečné informace pro pedagogy i odbornou veřejnost. Ocenil bych však více analytického a kritického přístupu k teoretickým i empirickým zdrojům.

Doporučuji práci k obhajobě s hodnocením B.

Jak si můžeme všimnout, umělá inteligence “přečetla text”, shrnula jeho obsah, uvedla pozitiva, ale také negativa, provedla závěrečné shrnutí a stanovila závěrečné hodnocení.  Vyzkoušel jsem Bing i na podstatně horším typu kvalifikačních prací a generativní umělá inteligence navrhla vždy adekvátní hodnocení (ostatně lze ji natrénovat na hodnocení podle vašich vlastních kritérií), skutečně dokázala zachytit nedostatky a objasnit, jak by šly napravit. Navíc finální vygenerovaný výstup obsahuje i odkazy do konkrétních míst práce, tj. to, co tvrdí posudek, je podloženo. 

Ukázka generování posudku s využitím umělé inteligence

Samozřejmě Bing Chat nešel do větší hloubky a omezil se hlavně na popis, protože jsme o to v zadání neusilovali (ale mohli bychom!), nicméně dokázala vygenerovat běžný slušný posudek, který můžeme okamžitě využít a který je podložen - nejde o “subjektivní dojmy oponenta” - vše je pečlivě zdrojováno, citováno a odpovídá textu.. V tvorbě posudku však můžeme jít ještě dál… co třeba nechat si vygenerovat otázky k obhajobě?

Zadání:
Navrhni 5 otázek, na které bychom se mohli autorky zeptat

Výsledek:

Samozřejmě, ráda vám pomohu s návrhem otázek. Zde je pět otázek, které bychom se mohli autorky zeptat: 

1. Jaké jsou největší výzvy při výuce mediální výchovy na 2. stupni ZŠ?
2. Jaké jsou nejúčinnější metody a postupy pro rozvoj mediální gramotnosti žáků?
3. Jaký je vztah mezi mediální gramotností a kritickým myšlením?
4. Jaký je vliv sociálních sítí na mediální gramotnost žáků?
5. Jaké jsou nejlepší způsoby spolupráce mezi školou a rodiči při výuce mediální výchovy?

Doufám, že vám tyto otázky pomohou a budou užitečné.

Opět dostáváme výsledky, které jsou využitelné a skutečně mohou být součástí posudku - přestože jsou otázky velmi obecné. Pokud bychom ale náš prompt sestavili jinak, dostaneme logicky jiné - více konkrétní dotazy, směřující např. k výzkumu studentky.

Při tvorbě posudků můžeme být i dále a ptát se konkrétněji, umělá inteligence si s tím poradí, např.

Používá autorka zahraniční zdroje?
Definuje autorka hypotézy? Jak je ověřuje?
Kolik respondentů se zapojilo do výzkumu autorky?
K jakým zjištěním autorka došla?
Ze kterých zdrojů primárně vychází v teoretické části?

Etika? Odpovědnost?

Samozřejmě podobné využití generativních umělé inteligence vyvolává spoustu etických (ale možná i právních) otázek, které se však týkají naprosto všech činností, ve kterých používáme a budeme používat umělou inteligenci analytickým či tvůrčím způsobem. Proto považuji za důležité zdůraznit, že odpovědnost za posudek nese vždy člověk, generativní AI odpovědnost nenese. Na druhou stranu generativní AI je jednoznačně velmi silný a pokročilý nástroj, který systém tvorby a posuzování kvalifikačních prací zcela jistě promění a který jednoduše nemůžeme ignorovat, ale smysluplně využít k zefektivnění vlastní práce. A pokud mohou AI využívat studenti pro podporu psaní kvalifikačních prací, měli by mít tu možnost i školitelé a oponenti.

P.S. Je otázka, zda má např. smysl psát bakalářské práce u učitelských studijních programů a zda nejde jen o plýtvání časem a energií jak studentů, tak i pedagogů. Já osobně kompletní zrušení bakalářských prací u učitelských oborů podporuji.

Líbí se vám můj blog či youtube kanál? Tak mi můžete koupit virtuální kafe :)

• Předchozí
• Následující