PROGRAM PENELITIAN DAN PUBLIKASI INTERNASIONAL BEREPUTASI 2025

JudulSegmentasi Semantik Objek Tiga Dimensi Point Cloud Menggunakan Cross Modal Self-Supervised Learning berbasis Transformer
Nama HibahHibah Internal Penelitian
Nama ProgramProgram 100 Tahun Gontor
Nama SkemaPROGRAM PENELITIAN DAN PUBLIKASI INTERNASIONAL BEREPUTASI 2025
AbstrakRepresentasi dan pemahaman objek tiga dimensi (3D) berbasis point cloud memiliki peran penting dalam berbagai aplikasi seperti kendaraan otonom, robotika, dan augmented reality. Namun, segmentasi semantik point cloud masih menghadapi tantangan besar akibat keterbatasan data berlabel dan ketergantungan tinggi pada supervised learning. Untuk mengatasi hal tersebut, penelitian ini mengusulkan pendekatan Cross-Modal Self-Supervised Learning berbasis Transformer untuk meningkatkan kemampuan model dalam memahami struktur semantik 3D tanpa memerlukan banyak anotasi manual. Secara khusus, penelitian ini akan mengembangkan arsitektur Transformer-based yang memanfaatkan hubungan antara modalitas 3D (point cloud) dan 2D (citra) melalui mekanisme cross-modal contrastive learning. Dengan strategi ini, model akan belajar merepresentasikan fitur 3D dari point cloud dengan memanfaatkan kesesuaian kontekstual dari pasangan citra terkait, sekaligus mempertahankan konsistensi intra-modal antar augmentasi point cloud. Selain itu, akan diintegrasikan mekanisme adaptive weighting berbasis exponentially weighted moving average (EWMA) untuk menyeimbangkan kontribusi intra-modal dan cross-modal losses selama pelatihan, sehingga konvergensi model menjadi lebih stabil dan efisien. Eksperimen akan dilakukan pada dataset publik seperti ShapeNetPart dan S3DIS untuk mengevaluasi performa segmentasi semantik dengan metrik mean Intersection over Union (mIoU) dan overall accuracy. Diharapkan metode ini dapat menghasilkan peningkatan signifikan dibandingkan pendekatan supervised konvensional dan self-supervised tunggal.
PengusulAssoc. Prof. Dr. Oddy Virgantara Putra, S.Kom., M.T., IPP.
Anggota 1Assoc. Prof. Faisal Reza Pradhana, S.Kom., M.Kom.
Anggota 2 Aziz Musthafa, S.Kom, M.T.
Tahun Penelitian2025
Sumber DanaUNIDA GONTOR
Dana Non DiktiIDR 20.000.000.00