MANJE JE VIŠE: prikaz skraćivanja upitnika o stavovima studenata prema umjetnoj inteligenciji (SATAI)

Odgoj danas za sutra:

Premošćivanje jaza između učionice i realnosti

3. međunarodna znanstvena i umjetnička konferencija Učiteljskoga fakulteta Sveučilišta u Zagrebu Suvremene teme u odgoju i obrazovanju – STOO4 u suradnji s Hrvatskom akademijom znanosti i umjetnosti

Marija Sablić, Goran Lapat, Sofija Vrcelj

Faculty of Humanities and Social Sciences, J. J. Strossmayer University of Osijek

marija.sablic10@gmail.com

Sekcija - Odgoj i obrazovanje za digitalnu transformaciju

Broj rada: 52

Kategorija: Izvorni znanstveni rad

Sažetak

Umjetna inteligencija sve je prisutnija u svim područjima života. Dosadašnja istraživanja uglavnom su bila usmjerena na korištenje umjetne inteligencije (AI) iz perspektive učenika, a gotovo da ne postoje istraživanja o stavovima studenata - budućih nastavnika prema AI. Ovaj rad ima za cilj kreiranje skraćene verzije originalnog upitnika kojom bi se u budućnosti lakše mogli ispitivati stavovi o umjetnoj inteligenciji. Na uzorku je od 276 studenata Filozofskih fakultet u Osijeku i Rijeci, te Učiteljskog fakulteta u Čakovcu provedeno istraživanje u kojemu je korišten Scale Measuring Student Attitudes Toward Artificial Intelligence (SATAI) upitnik. Rezultati ukazuju kako skraćena forma upitnika (12 čestica) pozitivno umjereno korelira sa subskalama u sklopu stavova ispitanika prema umjetnoj inteligenciji u obrazovanju u odnosu na dužu verziju (26 čestica). Zaključak istraživanja govori u prilog valjanosti kraće forme upitnika čija je valjanost ista u odnosu na dulju verziju uz upola manji broj čestica. Sukladno tome, nastavnici ga mogu koristiti u istraživanju stavova vezanih uz nove AI obrazovne metode.

Ključne riječi:

obrazovanje; SATAI; umjetna inteligencija; valjanost instrumenta

Uvod

Informacijska tehnologija postala je neizostavni dio suvremenog društva, prožimajući sve aspekte ljudskog djelovanja, od svakodnevnih osobnih aktivnosti do složenih profesionalnih zadataka (Trisoni i sur., 2023). Njezina sveprisutnost očituje se u kontinuiranoj digitalizaciji procesa, automatizaciji rutinskih zadataka te transformaciji tradicionalnih metoda rada i komunikacije. Ova tehnološka integracija posebno je vidljiva u obrazovnom sektoru, gdje digitalni alati i platforme sve više oblikuju način na koji se znanje prenosi i usvaja. Rastući trend digitalizacije dodatno je ubrzan globalnim događajima poput pandemije COVID-19, što je rezultiralo ubrzanim prihvaćanjem digitalnih rješenja u svim područjima društva. Umjetna inteligencija može se definirati kao polje računalne znanosti koje ima za cilj rješavanje različitih problema kognitivne prirode, poput rješavanja problema ili učenja te postavljanja korisnih smjernica za stvaranje i korištenje inteligentnih računalnih sustava koji oponašaju karakteristične sposobnosti ljudskih bića (Chassignol i sur, 2018., Chen i sur. 2020). Razvoj koncepta umjetne inteligencije seže do 1950. godine kada je Alan Turing izumio Turing-ov test. Sljedeći značajan korak bio je razvoj ELIZE, prvog chatbot računalnog programa 1960-ih. Godine 1977. IBM je razvio Deep Blue, šahovsko računalo koje je kasnije pobijedilo svjetskog šahovskog prvaka.

Noviji trendovi uključuju osnivanje Applea 2011. te pokretanje OpenAI-a 2015. godine, koji su osnovali Elon Musk i suradnici (Smith i sur. 2006; Van der Vorst i Jelicic, 2019) sve do 2016. godine kada je na Georgia Institute of Technology u Sjedinjenim Državama grupi studenata predstavljena Jill Watson, prva virtualna asistentica u nastavi (Kim i sur. 2020). Eksponencijalni razvoj istraživanja umjetne inteligencije u obrazovnom kontekstu tijekom protekla dva desetljeća afirmirao je ovo područje kao značajnu znanstvenu domenu, pri čemu empirijske studije sustavno evaluiraju potencijal implementacije umjetne inteligencije u razvoju inovativnih pedagoških alata i personaliziranih pristupa učenju. Empirijska studija Zhanga i Dafoea (2019) o percepciji strojnog učenja među općom populacijom generirala je ambivalentne rezultate. Dok su ispitanici identificirali specifične dobrobiti implementacije strojnog učenja, istovremeno su iskazali zabrinutost vezanu uz potencijalne negativne implikacije, uključujući mogućnost štetnih posljedica, depersonalizaciju iskustava, restrikciju autonomije odlučivanja te potencijalnu zamjenu ljudskog faktora u različitim domenama djelovanja. Stopa razvoja AI brzo raste te postoji velik broj aplikacija koje su implementirane i testirane u nastavi (Akgun i Greenhow, 2021). Publikacija Digital Educational Outlook prezentira komparativnu analizu inicijativa zemalja članica OECD-a u kontekstu implementacije generativne umjetne inteligencije u obrazovne sustave, te elaborira skup strateških preporuka za njezinu buduću primjenu u obrazovnom procesu (OECD, 2023. Obrazovanje je doživjelo niz promjena i pod utjecajem je umjetne inteligencije koja sa sobom donosi prilike za transformaciju i prilagodbu načina na koji se odvija proces poučavanja/učenja (Mureșan, 2023). Evaluacija implementacije umjetne inteligencije iz studentske perspektive predstavlja imperativ u znanstvenim istraživanjima, s obzirom na njihovu dualnu ulogu kao primarnih korisnika i potencijalnih sukreatora obrazovnih servisa (Djokic i sur., 2024). Suvremeni trendovi u obrazovnoj tehnologiji manifestiraju se kroz personalizirane i adaptivne sustave učenja koji, generirajući individualizirani sadržaj i formativne povratne informacije temeljene na specifičnim potrebama i preferiranim stilovima učenja pojedinca, značajno utječu na povećanje motivacije za učenje (Kaledio i sur., 2024; Harry, 2023; Mrnjaus i sur., 2023). Za razliku od nastavnika, umjetna inteligencija šalje trenutno konstruktivne povratne informacije omogućujući time da studenti/učenici razumiju svoje snage i sposobnosti (Lai i sur., 2024). Mjerenje stavova prema umjetnoj inteligenciji može biti važan čimbenik u uspjehu ili neuspjehu primjene umjetne inteligencije u obrazovanju. Pozitivni stavovi učenika o učenju mogu poboljšati postignuća u učenju (Alias i sur., 2018; Zhai i sur., 2019) te pomoći kreatorima kurikuluma i učiteljima da optimiziraju nastavu (O’Hara, 2022). To je također povezano i s idejom kako će općeniti stavovi ljudi prema umjetnoj inteligenciji vjerojatno igrati veliku ulogu u njihovom prihvaćanju umjetne inteligencije (Schepman & Rodway, 2020). S obzirom na rastući značaj umjetne inteligencije u obrazovanju, javlja se potreba za redovitim praćenjem stavova studenata i nastavnika prema ovoj tehnologiji (Makridakis, 2017.; Olhede i Wolfe, 2018). Postojeći instrumenti za mjerenje ovih stavova, uključujući SATAI upitnik (Suh i Ahn, 2022), često su dugački i vremenski zahtjevni za primjenu. Ovo predstavlja značajan praktični problem, posebice u kontekstu obrazovnih institucija gdje je vrijeme za provođenje istraživanja često ograničeno. Iako duži upitnici općenito pružaju detaljnije podatke, njihova duljina može negativno utjecati na motivaciju ispitanika i kvalitetu odgovora, te potencijalno smanjiti stopu odaziva u istraživanjima. Dodatno, u dinamičnom području kao što je umjetna inteligencija, potrebno je često ponavljati mjerenja kako bi se pratile promjene u stavovima, što dodatno naglašava potrebu za efikasnijim instrumentom. Skraćena verzija SATAI upitnika zadržava zadovoljavajuće psihometrijske karakteristike originalne verzije, uz značajno kraće vrijeme primjene.

Metodologija

Cilj ovog istraživanja je razvoj i validacija skraćene verzije SATAI upitnika uz očuvanje njegovih ključnih psihometrijskih karakteristika.

Na temelju dosadašnjih istraživanja i teorijskih polazišta postavljena su sljedeća istraživačka pitanja:

1. Može li se razviti skraćena verzija SATAI upitnika koja zadržava psihometrijske karakteristike originalne verzije?

2. Hoće li skraćena verzija SATAI upitnika pokazati zadovoljavajuću faktorsku strukturu koja odgovara teorijskom modelu stavova prema umjetnoj inteligenciji?

3. Hoće li rezultati dobiveni skraćenom verzijom SATAI upitnika visoko korelirati s rezultatima dobivenim originalnom verzijom?

4. U kojoj mjeri će skraćena verzija SATAI upitnika pokazati zadovoljavajuću unutarnju konzistenciju?

Razvoj skraćene verzije upitnika motiviran je imperativom kreiranja ekonomičnijeg instrumenta koji bi umanjio vremenske zahtjeve administracije i kognitivno opterećenje ispitanika, istovremeno održavajući psihometrijske karakteristike u vidu valjanosti i pouzdanosti pri evaluaciji stavova prema umjetnoj inteligenciji u obrazovnom kontekstu.

Ispitanici

Istraživanje čini stratificirani uzorak od 276 studenata (N=276) s tri visokoškolske institucije: Filozofskog fakulteta Sveučilišta u Osijeku, Filozofskog fakulteta Sveučilišta u Rijeci te Učiteljskog fakulteta Sveučilišta u Zagrebu. Uzorak je obuhvaćao studente različitih godina studija koji su dobrovoljno pristupili istraživanju, pri čemu je selekcijski proces bio usmjeren na osiguravanje reprezentativne distribucije ispitanika kroz sve relevantne studijske programe navedenih institucija. Proces prikupljanja podataka realiziran je putem digitalne platforme Google Forms, što je omogućilo učinkovitu diseminaciju instrumenta. Instrument je konstruiran s naglaskom na optimizaciju jasnoće i razumljivosti čestica, usmjerujući se na ključne istraživačke konstrukte. Procedura prikupljanja podataka implementirana je u periodu od travnja do lipnja 2024. godine, uz osiguravanje informiranog pristanka sudionika i garanciju anonimnosti podataka

Instrument i postupak

SATAI upitnik (Stavovi studenata prema umjetnoj inteligenciji) razvijen je na Sungkyunkwan sveučilištu u Južnoj Koreji provjerom pouzdanosti i valjanosti od strane osam doktora znanosti iz područja računalnog obrazovanja na uzorku od 305 studenata. Nastavnici ga mogu koristiti za dijagnosticiranje trenutnih stavova studenata prema AI ili za provjeru učinkovitosti novih AI obrazovnih metoda. Za provođenje istraživanja u Hrvatskoj dobivena je pisana suglasnost autora instrumenta Suhn i Ahn (2022). Originalna SATAI ljestvica (prilog 1) sastoji se od 26 čestica koje se sastoje od tri komponente (kognitivni, afektivni i bihevioralni čimbenici), a svako pitanje se mjeri pomoću Likertove skale od 5 stupnjeva u rasponu od 1 (uopće se ne slažem) do 5 (u potpunosti se slažem). Prijevod SATAI upitnika na hrvatski jezik proveden je prema standardnim postupcima međukulturalne adaptacije mjernih instrumenata. Originalni upitnik najprije su nezavisno prevela dva stručnjaka s izvrsnim poznavanjem engleskog jezika i područja umjetne inteligencije u obrazovanju. Zatim je treći stručnjak usporedio i objedinio ta dva prijevoda. Dobivena verzija prevedena je natrag na engleski jezik od strane profesionalnog prevoditelja koji nije bio upoznat s originalnom verzijom. Povratni prijevod uspoređen je s originalnom verzijom kako bi se utvrdila ekvivalentnost. Nakon toga, panel stručnjaka (n=5) pregledao je prijevod i procijenio njegovu sadržajnu valjanost. Provedeno je i preliminarno testiranje na manjoj skupini studenata (n=20) kako bi se provjerila jasnoća i razumljivost čestica. Finalna verzija upitnika formirana je nakon manjih prilagodbi temeljem povratnih informacija.

Rezultati i rasprava

Sve analize provedene su pomoću JASP 0.18.3. (JASP tim, 2024.). Procijenili smo unutarnju faktorsku strukturu SATAI konfirmatornom faktorskom analizom (CFA) koristeći polikorične korelacijske matrice s Robust Maximum Likelihood (MLR). Kao indekse prilagodbe modela koristili smo: (a) Sattora-Bentler skalirani hi-kvadrat (χ2 ) (Satorra & Bentler, 2001.); (b) korijen srednje kvadratne pogreške aproksimacije (RMSEA; Steiger, 2000.), gdje su vrijednosti < 0,05 prihvaćne kao dobre, 0,05–0,08 kao umjerene; (c) usporedni indeks prilagodbe (CFI) i; Vrijednosti Tucker-Lewisovog indeksa (TLI) između .90 i .95 označavaju prihvatljivo, a vrijednosti iznad .95 dobro odgovaraju (Hu & Bentler, 1999.); i standardizirani korijen srednje kvadratne vrijednosti (SRMR) s < 0,08 kao indikacija dobrog uklapanja (Hu & Bentler, 1999).

Tablica 1

Indeks podudaranja originalne i skraćene verzije upitnika

CFI

TLI

RMSEA

SRMR

Residualna kovarijanca

Originalna verzija

812,55

268

<.001

.900

.888

.086

.061

7&8; 2&3;

14&15; 18&19;

Skraćena verzija

133.28

<.001

.961

.950

.076

.051

Skraćena verzija upitnika sastoji se od upola manjeg broja čestica, njih 12 (prilog 2). Analiza skraćene verzije upitnika (Tablica 1) ukazuje na model koji pokazuje zadovoljavajuće psihometrijske karakteristike, što je u skladu s trendom razvoja kraćih verzija psihologijskih mjernih instrumenata (Whittaker & Worthington, 2016; Stanton i Stanton., 2002). Model demonstrira granično prihvatljive pokazatelje prikladnosti, sugerirajući kako struktura upitnika odgovara teorijskim pretpostavkama (Schepman i Rodway, 2020). Ovakvi nalazi podupiru opravdanost skraćivanja originalnog upitnika, što je u skladu sa suvremenim pristupima razvoju mjernih instrumenata koji naglašavaju ravnotežu između psihometrijske preciznosti i praktične primjenjivosti (Dimson i sur., 2020). Kratka forma upitnika, koja sadrži četiri čestice po skali, predstavlja efikasniji mjerni instrument, što je posebno važno u kontekstu istraživanja stavova prema umjetnoj inteligenciji gdje je vrijeme ispitivanja često ograničeno (Chen i sur., 2021). Važno je naglasiti da nije bilo potrebe za dodavanjem rezidualnih kovarijanci, što prema Browne i Cudeck (1992) ukazuje na čistoću faktorske strukture i dobru diskriminativnu valjanost subskala.

Uspoređujući indekse prikladnosti između originalne i skraćene verzije, možemo uočiti značajna poboljšanja u skraćenoj verziji. CFI i TLI indeksi pokazuju vrijednosti iznad preporučene granice od .95 za skraćenu verziju (.961 i .950), dok su za originalnu verziju te vrijednosti niže (.900 i .888). Ovo ukazuje na poboljšanu prikladnost modela nakon skraćivanja. RMSEA vrijednost u skraćenoj verziji (.076) također pokazuje poboljšanje u odnosu na originalnu verziju (.086), približavajući se preporučenoj vrijednosti ispod .08 koja označava prihvatljivu prikladnost (MacCallum i sur., 1996). SRMR indeks u obje verzije zadovoljava kriterij za dobru prikladnost (< .08), s nešto boljom vrijednošću za skraćenu verziju (.051 naspram .061).

Analiza modifikacijskih indeksa originalne verzije upitnika pokazala je potrebu za dodavanjem nekoliko rezidualnih kovarijanci (između čestica 7 i 8, 2 i 3, 14 i 15, te 18 i 19) kako bi se poboljšala prikladnost modela. Te kovarijance upućuju na preklapanja u sadržaju pojedinih čestica koja nadilaze njihovo zajedničko zasićenje latentnim faktorima. Nasuprot tome, skraćena verzija ne zahtijeva dodavanje rezidualnih kovarijanci, što sugerira da su odabrane čestice koje reprezentiraju jasnije i distinktivnije aspekte odgovarajućih konstrukata, bez značajnih preklapanja u sadržaju. Prema preporukama Klinea (2015), izostanak potrebe za dodavanjem rezidualnih kovarijanci u modelu predstavlja značajan indikator teorijske čistoće instrumenta i jasne diferencijacije između latentnih faktora.

Proces skraćivanja upitnika rezultirao je ne samo praktično primjenjivijim instrumentom, već i statistički čišćom strukturom. Tome je doprinijela pažljiva selekcija čestica koja je uzela u obzir faktorska zasićenja, sadržajnu reprezentativnost i izbjegavanje redundantnih ili preklapajućih indikatora. Ovakav pristup je u skladu s preporukama stručnjaka za razvoj mjernih instrumenata (DeVellis, 2016), koji naglašavaju da kraći upitnici mogu nadmašiti duže verzije u psihometrijskim karakteristikama ako su čestice pomno odabrane prema jasnim kriterijima.

Tablica 2

Deskriptivna statistika i pouzdanost originalne i skraćene verzije upitnika

	Originalna				Skraćena
	Kognitivna	Afektivna	Ponašajna	Total	Kognitivna	Afektivna	Ponašajna	Total
M	3.50	3.06	2.843	3.14	3.50	3.01	2.90	3.13
SD	0.946	0.817	0.889	0.819	0.946	0.885	0.997	0.788
McDonald Ω	.902	.899	.942	.959	.912	.822	.872	.919
Cronbach α	.901	.887	.930	.953	.902	.817	.871	.922

Pouzdanost obje verzije upitnika (Tablica 2) pokazuje visoke vrijednosti, što je u skladu s preporukama za pouzdanost mjernih instrumenata u području stavova (Nunnally & Bernstein, 2017). Činjenica da skraćena verzija zadržava visoku pouzdanost (α > .80 za sve subskale) posebno je značajna jer potvrđuje da redukcija broja čestica nije narušila unutarnju konzistenciju instrumenta. Ovi nalazi su u skladu s istraživanjima koja pokazuju da dobro konstruirani kraći instrumenti mogu održati visoku pouzdanost uz značajno smanjenje opterećenja ispitanika (Krupić i Ručević 2015; Gosling, 2024).

Detaljniji pregled deskriptivnih pokazatelja (Tablica 2) otkriva znčajnu konzistentnost između originalne i skraćene verzije upitnika. Aritmetičke sredine ukupnih rezultata gotovo su identične (M = 3.14 za originalnu i M = 3.13 za skraćenu verziju), što ukazuje da obje verzije na sličan način pozicioniraju ispitanike na kontinuumu stavova prema umjetnoj inteligenciji. Ova podudarnost vidljiva je i na razini pojedinačnih subskala, gdje su razlike u aritmetičkim sredinama minimalne (najveća razlika iznosi svega 0.06 za ponašajnu subskalu).

Standardne devijacije pokazuju sličan obrazac variranja u obje verzije, s nešto većom varijabilnošću odgovora na ponašajnoj subskali skraćene verzije (SD = 0.997) u usporedbi s originalnom verzijom (SD = 0.889). Ovo blago povećanje varijabilnosti može se smatrati prednošću, jer prema Haynes i suradnicima (1999) veća varijabilnost odgovora može povećati mogućnost detektiranja povezanosti s drugim varijablama i povećati diskriminativnost instrumenta. Ukupna standardna devijacija skraćene verzije (SD = 0.788) vrlo je bliska originalnoj verziji (SD = 0.819), što dodatno potvrđuje da skraćena verzija zadržava sličan obrazac varijabilnosti odgovora.

Za procjenu pouzdanosti korištena su dva koeficijenta – McDonald's omega (ω) i Cronbach's alpha (α), što je u skladu sa suvremenim preporukama za izvještavanje o pouzdanosti (Dunn i sur., 2014). McDonald's omega smatra se preciznijom mjerom pouzdanosti kada je narušena pretpostavka o tau-ekvivalentnosti, što je često slučaj u psihologijskim mjernim instrumentima (Zinbarg i sur., 2005). Vrijednosti oba koeficijenta pokazuju izvrsnu pouzdanost za obje verzije upitnika, s nešto nižim, ali i dalje visoko zadovoljavajućim vrijednostima za afektivnu i ponašajnu subskalu skraćene verzije.

Posebno je značajno da kognitivna subskala skraćene verzije pokazuje blago povećanje pouzdanosti (ω = .912) u usporedbi s originalnom verzijom (ω = .902), unatoč značajnom smanjenju broja čestica. Ovaj pomalo iznenađujući nalaz može se objasniti povećanom homogenošću konstrukta nakon uklanjanja čestica koje su potencijalno mjerile druge aspekte kognitivne komponente stava. Kako navode Boyle (1991) i Smith i McCarthy (1995), eliminacija čestica koje uvode heterogenost u konstrukt može rezultirati povećanjem, a ne smanjenjem pouzdanosti, što se pokazalo i u našem slučaju.

Razmatrajući sve navedene pokazatelje, možemo zaključiti da skraćena verzija SATAI upitnika demonstrira izuzetno zadovoljavajuće psihometrijske karakteristike, zadržavajući visoku pouzdanost uz gotovo identične obrasce prosječnih vrijednosti i varijabilnosti odgovora kao originalna verzija. Ovaj nalaz ima značajne praktične implikacije jer sugerira da se skraćena verzija može koristiti kao ekvivalentna zamjena za originalnu verziju, uz značajne uštede u vremenu primjene i smanjenje opterećenja ispitanika.

Tablica 3

Korelacije između subskala i ukupnih rezultata originalne (O) i skraćene (S) verzije SATAI upitnika

	Originalna				Skraćena
Originalna	1	2	3	4	5	6	7
1. Total_O
2. Kognitivna_O_S	.880^**
3. Afekivna_O	.908^**	.698^**
4. Ponašajna O	.890^**	.635^**	.753^**
Skraćena
5. Total_S	.987^**	.866^**	.893^**	.885^**
6. Kognitivna_S	.880^**	1.000^**	.698^**	.635^**	.866^**
7. Afektivna_S	.862^**	.667^**	.957^**	.705^**	.877^**	.667^**
8. Ponašajnal_S	.834^**	.593^**	.689^**	.953^**	.865^**	.593^**	.642^**

- p < .05; ** - p < .01

Korelacija između ukupnih rezultata (Tablica 3) originalne i skraćene verzije je iznimno visoka (r = .987), što prema Cohen et al. (2018) predstavlja izrazito snažnu povezanost i značajno prelazi preporučene minimalne vrijednosti za paralelne forme instrumenta (r > .70). Izraženo koeficijentom determinacije (r² = .974), to znači da skraćena verzija objašnjava 97.4% varijance originalne verzije upitnika, što sugerira gotovo potpunu ekvivalentnost u mjerenju istog konstrukta.

Iznimno visoke korelacije između odgovarajućih subskala originalne i skraćene verzije instrumenta (sve iznad .95) značajno nadilaze uobičajene vrijednosti dokumentirane u literaturi o psihometrijskoj validaciji skraćenih mjernih instrumenata (Smith i sur., 2006). Najsnažnija povezanost utvrđena je za kognitivnu subskalu (r = 1.00), što je izuzetno rijedak nalaz koji sugerira da četiri odabrane čestice u skraćenoj verziji savršeno reprezentiraju konstrukt mjeren s devet čestica originalne verzije. Korelacije za afektivnu (r = .957) i ponašajnu (r = .953) subskalu također su izuzetno visoke, potvrđujući da skraćene verzije ovih subskala vrlo precizno zahvaćaju iste konstrukte kao i originalne verzije.

Interkorelacije između različitih subskala (npr. korelacija između kognitivne i afektivne subskale: r = .667 za skraćenu verziju; r = .698 za originalnu verziju) vrlo su slične u obje verzije upitnika, što dodatno potvrđuje da skraćena verzija replicira ne samo pojedinačne konstrukte, već i njihove međusobne odnose. Ovi nalazi imaju značajne implikacije za validnost konstrukta jer potvrđuju da skraćivanje upitnika nije narušilo teorijski utemeljene odnose između različitih aspekata stavova prema umjetnoj inteligenciji.

Slika 1. Strukturalni model upitnika

*SO-faktor višeg reda

Strukturalni model (Slika 1) potvrđuje hijerarhijsku prirodu konstrukta, što je u skladu s teorijskim postavkama o stavovima prema umjetnoj inteligenciji (Kim i sur., 2022). Visoka faktorska opterećenja na faktoru drugog reda podržavaju postojanje općenitijeg konstrukta koji objašnjava značajan dio varijance u specifičnijim dimenzijama, što je posebno izraženo za afektivnu komponentu. Ovakva struktura podudara se s nalazima sličnih istraživanja u području stavova prema umjetnoj inteligenciji (Zhang i Aslan, 2021; Archibald i sur., 2023). Za razliku od dosadašnjih istraživanja koja su se oslanjala prvenstveno na kvalitativne metode i pitanja otvorenog tipa za procjenu stavova prema AI u obrazovanju (Kim & Kim, 2019; Park & Shin, 2017), SATAI predstavlja učinkovit kvantitativan pristup mjerenju ovog konstrukta. Ova metodološka inovacija omogućuje precizniju procjenu i lakšu usporedbu rezultata različitih obrazovnih konteksta (Bostrom i sur 2024; Wang i sur. 2022). Rezultati pružaju snažnu empirijsku podršku za korištenje skraćene verzije SATAI upitnika, demonstrirajući da ona uspješno zadržava psihometrijske karakteristike originalne verzije uz dodatne praktične prednosti. Ovo je posebno značajno u kontekstu sve većeg interesa za istraživanje stavova prema umjetnoj inteligenciji u obrazovanju (Martinez, 2022) i potrebe za efikasnim i pouzdanim mjernim instrumentima u ovom području.

Prema zaključku

Cilj ovog istraživanja bio je razviti i validirati skraćenu verziju upitnika o stavovima studenata prema umjetnoj inteligenciji (SATAI). Rezultati pružaju snažnu empirijsku podršku za učinkovitost skraćenog SATAI upitnika, demonstrirajući kako on zadržava psihometrijske karakteristike originalne verzije uz značajne praktične prednosti. Skraćeni SATAI nudi nekoliko praktičnih prednosti: smanjeno opterećenje i umor ispitanika, potencijalno povećane stope odgovora, veću učinkovitost u prikupljanju i analizi podataka te održan psihometrijski integritet s upola manje čestica. Ove prednosti čine skraćeni SATAI posebno vrijednim za istraživače i nastavnike koji žele učinkovito procijeniti stavove studenata prema umjetnoj inteligenciji u obrazovnim kontekstima. Zaključno, ovo istraživanje pruža dokaze za valjanost i pouzdanost skraćenog SATAI upitnika. Njegova sposobnost da zahvati iste konstrukte kao i originalna verzija s manje čestica predstavlja značajan metodološki napredak u području. Preporučujemo usvajanje ove skraćene verzije za buduća istraživanja i praktične primjene u obrazovnim okruženjima, jer ona nudi učinkovitiji, a jednako efektivan alat za mjerenje stavova studenata prema umjetnoj inteligenciji u obrazovanju. Stavove prema umjetnoj inteligenciji potrebno je redovito mjeriti s obzirom na brzi razvoj ovih tehnologija i njihov duboki utjecaj na društvo. Podaci o prihvaćanju umjetne inteligencije od strane studenata mogu informirati nastavnike o načinima na koje bi možda trebalo upravljati uvođenjem umjetne inteligencije. Naša nova skraćena verzija stavova studenata prema umjetnoj inteligenciji koristan je alat koji pomaže u postizanju ovih ciljeva. SATAI može pomoći nastavnicima da objektivno mjere stavove studenata prema umjetnoj inteligenciji, omogućuje nastavnicima brzu i pouzdanu procjenu studentskih stavova te olakšava longitudinalno praćenje promjena u stavovima. Rezultati se mogu koristiti za dizajniranje, modificiranje, primjenu i prilagodbu obrazovnih programa kako bi zadovoljili potrebe studenata i nastavnika.

Ograničenja i smjernice za buduća istraživanja

Unatoč značajnim doprinosima, istraživanje ima nekoliko ograničenja koja otvaraju prostor za buduća istraživanja: usredotočenost na kvantitativnom mjerenju stavova bez konceptualnog razumijevanja AI, ograničena generalizacija zbog specifičnosti uzorka, potreba za dodatnom validacijom u različitim kulturološkim kontekstima. Buduća istraživanja trebalo bi usmjeriti na razvoj komplementarnih instrumenata za mjerenje konceptualizacije AI, proširenje validacije na različite studentske populacije i obrazovne kontekste, longitudinalna istraživanja stabilnosti stavova prema AI te integraciju kvalitativnih metoda za dublje razumijevanje formiranja stavova.

Literatura

Ahuja, V., Nair, L. V. (2021). Artificial Intelligence and technology in COVID Era: A narrative review. Journal of Anaesthesiology Clinical Pharmacology, 37(1), 28-34.

Alias, N., Al-Rahmi, W. M., Yahaya, N., Al-Maatouk, Q. (2018). Big data, modeling, simulation, computational platform and holistic approaches for the fourth industrial revolution. International Journal of Engineering and Technology (UAE), 7(4), 3722-5.

Akgun, S., Greenhow, C. (2021). Artificial intelligence in education: Addressing ethical challenges in K-12 settings. AI and Ethics. https://doi.org/10.1007/s43681-021-00096-7

Archibald, A., Hudson, C., Heap, T., Thompson, R. R., Lin, L., DeMeritt, J., & Lucke, H. (2023). A validation of AI-enabled discussion platform metrics and relationships to student efforts. TechTrends, 67(2), 285-293.

Bartneck, C., Lütge, C., Wagner, A., Welsh, S., Bartneck, C., Lütge, C., ... & Welsh, S. (2021). What Is Ethics?. An introduction to ethics in robotics and AI, 17-26. https://doi.org/10.1007/978-3-030-51110-4_2.

Bostrom, A., Demuth, J. L., Wirz, C. D., Cains, M. G., Schumacher, A., Madlambayan, D., ... & Williams, J. K. (2024). Trust and trustworthy artificial intelligence: A research agenda for AI in the environmental sciences. Risk Analysis, 44(6), 1498-1513.

Boucher, P. N. (2020). Artificial intelligence: How does it work, why does it matter, and what can we do about it?. EPRS | European Parliamentary Research Service

Browne, M. W., Cudeck, R. (1992). Alternative ways of assessing model fit. Sociological methods & research, 21(2), 230-258.

Chassignol, M., Khoroshavin, A., Klimova, A., Bilyatdinova, A. (2018). Artificial Intelligence trends in education: a narrative overview. Procedia computer science, 136, 16-24.

Chen, X., Xie, H., Zou, D., Hwang, G. J. (2020). Application and theory gaps during the rise of artificial intelligence in education. Computers and Education: Artificial Intelligence, 1, 100002. DOI: 10.1080/10447318.2020.1801227

Demchenko, M. V., Gulieva, M. E., Larina, T. V., Simaeva, E. P. (2021). Digital transformation of legal education: Problems, risks and prospects. European Journal of Contemporary Education, 10(2), 297–307.

Djokic, I., Milicevic, N., Djokic, N., Malcic, B., Kalas, B. (2023). Students‟ Perceptions of the use of Artificial Intelligence in Educational Services. Amfiteatru Economic, 26(65), 294-310. https://doi.org/10.24818/EA/2024/65/294

Dimson, E., Marsh, P., Staunton, M. (2020). Divergent ESG ratings.

Estévez Almenzar, M., Fernández Llorca, D., Gómez, E., Martinez Plumed, F. (2022). Glossary of human-centric artificial intelligence. Sevilla: Joint Research Centre (Seville Site). https://data.europa.eu/doi/10.2760/860665

Fetzer, J. H., Fetzer, J. H. (1990). What is artificial intelligence? (pp. 3-27). Springer Netherlands. https://doi.org/10.1007/978-94-009-1900-6_1

Gosling, J. (2024). Attachment Moderates the Relationship Between Adverse Pandemic-Related Events and Impaired Quality of Life (Doctoral dissertation, Xavier University).

Harry, A. (2023). Role of AI in Education. Interdiciplinary Journal and Hummanity (INJURITY), 2(3), 260-268.

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling: A Multidisciplinary Journal, 6(1), 1–55. http://dx.doi.org/10.1080/10705519909540118.

Hwang, G. J., Chien, S. Y. (2022). Definition, roles, and potential research issues of the metaverse in education: An artificial intelligence perspective. Computers and Education: Artificial Intelligence, 3, 100082.

Idroes, G. M., Noviandy, T. R., Maulana, A., Irvanizam, I., Jalil, Z., Lensoni, L., ... Idroes, R. (2023). Student perspectives on the role of artificial intelligence in education: A survey-based analysis. Journal of Educational Management and Learning, 1(1), 8-15. https://doi.org/10.60084/jeml.v1i1.58

İnan, R., Aksoy, B., Salman, O. K. M. (2023). Estimation performance of the novel hybrid estimator based on machine learning and extended Kalman filter proposed for speed-sensorless direct torque control of brushless direct current motor. Engineering Applications of Artificial Intelligence, 126, 107083.

JASP Team (2024). JASP (Version 0.18.3)[Computer software].

Kaledio, P., Robert, A., Frank, L. (2024). The Impact of Artificial Intelligence on Students' Learning Experience. Available at SSRN 4716747 SSRN: https://ssrn.com/abstract=4716747 or http://dx.doi.org/10.2139/ssrn.4716747

Kim, J., Merrill, K., Xu, K., Sellnow, D. D. (2020). My teacher is a machine: Understanding students’ perceptions of AI teaching assistants in online education. International Journal of Human–Computer Interaction, 36(20), 1902-1911.

Kim, J., Lee, H., Cho, Y. H. (2022). Learning design to support student-AI collaboration: Perspectives of leading teachers for AI in education. Education and Information Technologies, 27(5), 6069-6104.

Krupić, D., Ručević, S. (2015). Faktorska struktura i validacija upitnika Dimenzionalna procjena osobina ličnosti (DiPOL) za adolescente. Psihologijske teme, 24(3), 347-367.

Lai, S., Potter, Y., Kim, J., Zhuang, R., Song, D., & Evans, J. (2024). Evolving AI Collectives to Enhance Human Diversity and Enable Self-Regulation. arXiv preprint arXiv:2402.12590.

Makridakis, S. (2017). The forthcoming Artificial Intelligence (AI) revolution: Its impact on society and firms. Futures, 90, 46-60.

Markauskaite, L., Marrone, R., Poquet, O., Knight, S., Martinez-Maldonado, R., Howard, S., Tondeur, J., De Laat, M., Buckingham Shum, S., Gašević, D., Siemens, G. (2022). Rethinking the entwinement between artificial intelligence and human learning: What capabilities do learners need for a world with AI? Computers and Education: Artificial Intelligence, 3, 100056. https://doi.org/10.1016/j.caeai.2022.100056

Martinez, C. (2022). Artificial intelligence and accessibility: Examples of a technology that serves people with disabilities. Retrieved November 11, 2022, from https://www.inclusivecitymaker.com/artificial-intelligence-accessibility-examples-technology-serves-people-disabilities/

Mrnjaus, K., Vrcelj, S., Kušić, S. (2023). Umjetna inteligencija i obrazovanje: suparnici ili saveznici?. Jahr–European Journal of Bioethics, 14(2), 429-445. https://doi.org/10.21860/j.14.2.9

Mureșan, M. (2023). Impact of Artificial Intelligence on Education. In Proceedings of the 32nd International RAIS Conference on Social Sciences and Humanities (pp. 81-85). Scientia Moralitas Research Institute.

O’Hara, P. A. (2022, ). Introduction to the special issue: William M. Dugger’s concepts of social and institutional economics. In Forum for Social Economics. Routledge.

Olhede, S. C., Wolfe, P. J. (2018). The growing ubiquity of algorithms in society: implications, impacts and innovations. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, 376(2128), 20170364.

Park, S., & Shin, Y. S. (2017). Kim. DY: Design and Implementation of Protocols.

Salminen, J., Yoganathan, V., Corporan, J., Jansen, B. J., & Jung, S. G. (2019). Machine learning approach to auto-tagging online content for content marketing efficiency: A comparative analysis between methods and content type. Journal of Business Research, 101, 203–217.

Satorra, A., & Bentler, P. M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66(4), 507–514. http://dx.doi.org/10.1007/ BF02296192.

Schepman, A., Rodway, P. (2020). Initial validation of the general attitudes towards Artificial Intelligence Scale. Computers in human behavior reports, 1, 100014.Seo, K., Tang, J., Roll, I., Fels, S., & Yoon, D. (2021). The impact of artificial intelligence on learner–instructor interaction in online learning. International Journal of Educational Technology in Higher Education, 18(1), 1–23.

Smith, C., McGuire, B., Huang, T., Yang, G. (2006). The history of artificial intelligence. University of Washington, 27, 22-24.

Stanton, P., Stanton, J. (2002). Corporate annual reports: research perspectives used. Accounting, Auditing & Accountability Journal, 15(4), 478-500.

Steiger, J. H. (2000). Point estimation, hypothesis testing, and interval estimation using the RMSEA: Some comments and a reply to Hayduk and Glaser. Structural Equation Modeling, 7(2), 149–162. http://dx.doi.org/10.1207/S15328007SEM0702_1.

Suh, W., Ahn, S. (2022). Development and validation of a scale measuring student attitudes toward artificial intelligence. Sage Open, 12(2), 21582440221100463.

Trisoni, R., Ardiani, I., Herawati, S., Mudinillah, A., Maimori, R., Khairat, A., Nazliati, N. (2023). The Effect of Artificial Intelligence in Improving Student Achievement in High Schools. In International Conference on Social Science and Education (ICoeSSE 2023) (pp. 546-557). Atlantis Press.

Van der Vorst, T., Jelicic, N. (2019). Artificial Intelligence in Education: Can AI bring the full potential of personalized learning to education? 30^th European Conference of the International Telecommunications Society (ITS): "Towards a Connected and Automated Society", Helsinki, Finland, 16^th-19^th June, 2019, International Telecommunications Society (ITS), Calgary

Wang, X., Pang, H., Wallace, M. P., Wang, Q., Chen, W. (2022). Learners’ perceived AI presences in AI-supported language learning: a study of AI as a humanized agent from community of inquiry. Computer Assisted Language Learning.

https://doi.org/10.1080/09588221.2022.2056203

Whittaker, T. A., Worthington, R. L. (2016). Item response theory in scale development research: A critical analysis. The Counseling Psychologist, 44(2), 216-225.

Yang, G., Ouyang, Y., Ye, Z., Gao, R.,Zeng, Y. (2022). Social-path embedding-based transformer for graduation development prediction. Applied Intelligence.

https://doi.org/10.1007/s10489-022-03268-y

Zhai, X., Chu, X., Chai, C. S., Jong, M. S. Y., Istenic, A., Spector, M., ... Li, Y. (2021). A Review of Artificial Intelligence (AI) in Education from 2010 to 2020. Complexity, 2021(1), 8812542.

Zhang, B., Dafoe, A. (2019). Artificial intelligence: American attitudes and trends. Available at SSRN 3312874.

Zhang, K., Aslan, A. B. (2021). AI technologies for education: Recent research & future directions. Computers and Education: Artificial Intelligence, 2, 100025.

Teaching (Today for) Tomorrow:

Bridging the Gap between the Classroom and Reality

3rd International Scientific and Art Conference
Faculty of Teacher Education, University of Zagreb in cooperation with the Croatian Academy of Sciences and Arts

LESS IS MORE: a review of shortening the questionnaire on students' attitudes towards artificial intelligence (SATAI)

Abstract

Artificial intelligence is increasingly present in all areas of life. Previous research has mostly focused on using artificial intelligence (AI) from the perspective of students, and there is almost no research on the attitudes of students - future teachers towards AI. This work aims to create a shortened version of the original questionnaire, which could be used to more easily examine attitudes about artificial intelligence in the future. A survey was conducted on a sample of 276 students of the Faculties of Philosophy in Osijek and Rijeka, and the Faculty of Teacher Education in Čakovec, in which the Scale Measuring Student Attitudes Toward Artificial Intelligence (SATAI) questionnaire was used. The results indicate that the shortened form of the questionnaire (12 items) correlates positively and moderately with the subscales within the respondents' attitudes towards artificial intelligence in education compared to the longer version (26 items). The conclusion of the research speaks in favor of the validity of the shorter form of the questionnaire, the validity of which is the same compared to the longer version with half the number of particles. Accordingly, teachers can use it to explore attitudes about new AI educational methods.

Key words:

artificial intelligence; education; instrument validity; SATAI