IMAGE CAPTIONING BILINGUAL BERBASIS BLIP-2 DAN MARIANMT DENGAN INTEGRASI TEXT-TO�SPEECH UNTUK LITERASI VISUAL SISWA

Oktaviani, Rizka (2026) IMAGE CAPTIONING BILINGUAL BERBASIS BLIP-2 DAN MARIANMT DENGAN INTEGRASI TEXT-TO�SPEECH UNTUK LITERASI VISUAL SISWA. Diploma thesis, Universitas Nasional.

	Text COVER.pdf Download (948kB)
	Text BAB I.pdf Download (309kB)
	Text BAB II.pdf Download (529kB)
	Text BAB III.pdf Download (653kB)
	Text BAB IV.pdf Download (1MB)
	Text BAB V.pdf Download (292kB)
	Text LAMPIRAN.pdf Download (611kB)

Abstract

Kemampuan literasi visual penting bagi siswa sekolah dasar dalam memahami
informasi berbasis gambar, namun masih banyak siswa yang kesulitan
menghubungkan visual dengan makna linguistik, terutama dalam konteks bilingual.
Penelitian ini bertujuan untuk membuat sistem image captioning bilingual berbasis
BLIP-2 dan MarianMT yang terintegrasi dengan Text-to-Speech (TTS) guna
mendukung literasi visual siswa. Sistem dibangun melalui pendekatan eksperimen dan
rekayasa sistem dengan pipeline multimodal end-to-end. BLIP-2 pretrained
menghasilkan caption Bahasa Inggris yang diterjemahkan ke Bahasa Indonesia
menggunakan MarianMT, serta eksperimen tambahan melalui fine-tuning QLoRA
untuk membandingkan performa model. Output teks kemudian dikonversi menjadi
audio menggunakan Google Text-to-Speech dan diimplementasikan dalam aplikasi
web berbasis FastAPI dengan antarmuka HTML, CSS, dan JavaScript. Dataset terdiri
atas 6.400 gambar hewan yang relevan dengan konteks pembelajaran sekolah dasar.
Evaluasi menggunakan metrik METEOR untuk menilai kesesuaian linguistik dan
kesetaraan makna antara caption prediksi dan referensi. Hasil penelitian menunjukkan
bahwa BLIP-2 pretrained menghasilkan performa yang stabil dengan skor METEOR
sebesar 0,3765 untuk Bahasa Inggris dan 0,3295 untuk Bahasa Indonesia. Sistem yang
dikembangkan berfungsi secara multimodal dan berpotensi mendukung pemahaman
visual serta penguatan kosakata bilingual siswa sekolah dasar

Item Type:	Thesis (Diploma)
Subjects:	Q Science > Q Science (General) Q Science > QA Mathematics
Divisions:	Skripsi > Fakultas Teknologi Komunikasi dan Informatika > Program Studi Teknik Informatika
Depositing User:	Delvy Aplirizani -
Date Deposited:	26 May 2026 03:22
Last Modified:	26 May 2026 03:22
URI:	https://repository.unas.ac.id/id/eprint/16300

Actions (login required)

View Item