An Analysis of ChatGPT Response Variations to Identical Prompts Across Different Devices: A Case Study in Informatics Education

Abstract

Abstract
The development of artificial intelligence (AI) in education has brought about various innovations, one of which is using ChatGPT as a learning tool. However, the diversity of answers provided by ChatGPT when used on different devices is still a critical question. This study aims to analyze the variation in ChatGPT's answers to the same prompt content when used on computer devices with different specifications. This research method uses an experimental approach by comparing ChatGPT output results on five types of devices with different operating systems, processors, and BIOS. The analysis is based on the level of similarity of the sentence and the meaning of the answer, with the categories “very different” (20% similarity), “different” (50% similarity), “almost the same” (70% similarity), and “same” (90% similarity). The results show a significant variation in the answers produced, with some devices giving almost identical responses while others show differences in sentence structure and information arrangement. Hardware factors, including processor type and operating system, are thought to contribute to these differences. The implications of these findings are highly relevant in the context of secondary education, where the use of ChatGPT as a learning tool is increasing. Variations in answers can lead to differences in understanding among students using devices with different specifications, thus requiring more attention from educators and AI technology developers. This study makes an important contribution in highlighting the challenges and opportunities of applying AI in education. Recommendations include standardizing the use of AI in the classroom and developing AI models that are more consistent in responding across devices. Thus, fairness and effectiveness in using AI in education can be continuously improved.

Keywords:
ChatGPT; response variations; artificial intelligence; secondary education; device specifications.

Abstrak
Perkembangan kecerdasan buatan (AI) dalam dunia pendidikan telah menghadirkan berbagai inovasi, salah satunya melalui pemanfaatan ChatGPT sebagai alat bantu pembelajaran. Namun, keberagaman jawaban yang diberikan oleh ChatGPT ketika digunakan pada perangkat yang berbeda masih menjadi pertanyaan kritis. Penelitian ini bertujuan untuk menganalisis variasi jawaban ChatGPT terhadap konten prompt materi yang sama ketika digunakan di perangkat komputer dengan spesifikasi berbeda. Metode penelitian ini menggunakan pendekatan eksperimental dengan membandingkan hasil keluaran ChatGPT pada lima jenis perangkat dengan perbedaan sistem operasi, prosesor, dan BIOS. Analisis dilakukan berdasarkan tingkat kesamaan kalimat dan makna jawaban, dengan kategori "sangat berbeda" (20% kesamaan), "berbeda" (50% kesamaan), "hampir sama" (70% kesamaan), dan "sama" (90% kesamaan). Pada eksperimen ini juga digunakan chatGPT versi 3.5 free yang ada pada laptop siswa. Hasil penelitian menunjukkan bahwa terdapat variasi yang cukup signifikan dalam jawaban yang dihasilkan, dengan beberapa perangkat memberikan respons yang hampir identik, sementara yang lain menunjukkan perbedaan struktur kalimat dan susunan informasi. Faktor perangkat keras, termasuk jenis prosesor dan sistem operasi, diduga memiliki kontribusi terhadap perbedaan ini. Perangkat dengan sistem operasi dan prosesor terbaru menunjukkan kesamaan jawaban ChatGPT hingga 90%, sedangkan perangkat dengan spesifikasi rendah cenderung menghasilkan variasi lebih besar. Meskipun belum ada bukti empiris kuat, temuan ini mengindikasikan bahwa spesifikasi perangkat dapat memengaruhi konsistensi respons AI. Implikasi dari temuan ini sangat relevan dalam konteks pendidikan menengah, di mana penggunaan ChatGPT sebagai alat bantu belajar semakin meningkat. Variasi jawaban dapat menyebabkan perbedaan pemahaman di antara siswa yang menggunakan perangkat dengan spesifikasi berbeda, sehingga memerlukan perhatian lebih dari pendidik dan pengembang teknologi AI. Penelitian ini memberikan kontribusi penting dalam menyoroti tantangan dan peluang penerapan AI dalam pendidikan. Rekomendasi yang diberikan meliputi standarisasi penggunaan AI dalam kelas serta pengembangan model AI yang lebih konsisten dalam memberikan respons di berbagai perangkat. Dengan demikian, keadilan dan efektivitas pemanfaatan AI dalam dunia pendidikan dapat terus ditingkatkan).

Kata Kunci:
ChatGPT; variasi jawaban; kecerdasan buatan; pendidikan menengah; spesifikasi perangkat