Aplikasi Pendeteksi Emosional Wajah Menggunakan API Microsoft

Tugas Akhir Mobile Programming dan Teknik Pengolahan Citra :

Aplikasi Pendeteksi Emosional Wajah Menggunakan API Microsoft.

Our TEAMS :

Ahmad Akbar Mariuddin

Abdul Harish Faqih

Andi Muh Rifqy Muskar

Avit

Edy Surmana Putra Tarigan

Evi Pertiwi Munthe

Muhammad Lutfi Firdhaus

Latar Belakang

Perkembangan teknologi saat ini sudah berkembang dengan sangat pesat khususnya di bidang komputer dan memiliki manfaat bagi kehidupan manusia. Oleh sebab itu, beberapa penelitian yang telah dilakukan menggunakan komputer khususnya dalam pemrosesan emosi wajah yang sudah diteliti sejak lama. Salah satu hasil dari penelitian tersebut menghasilkan tingkat akurasi sebesar 64,83%. Menurut para ahli, emosi dasar manusia yang telah dikenal sejak dulu dan menjadi aspek penting dari perilaku manusia, ada beberapa jenis emosi.  Jenis emosi seperti netral, senang, sedih, marah, takut dan jijik. Seperti penelitian yang telah dilakukan oleh G. Calvo, Manuel dengan judul penelitian ”Detection of Emotional Faces: Salient Physical Features Guide Effective Visual Search”.

Oleh karena itu, sistem interaksi manusia dan komputer yang baik harus dapat mengenali, menginterpretasikan dan memproses emosi manusia. Dari berbagai penelitian banyak metode yang telah digunakan  untuk melakukan proses pengenalan emosi wajah manusia bisa dengan menggunakan metode Naïve Bayes, Couchy Naïve Bayes, Vector Space Model (VSM), dan Support Vector Mchine (SVM). Metode-Metode ini bisa diimplementasikan untuk pemrosesan emosi manusia dalam bentuk gambar. Pada penelitian yang telah dilakukan sebelumnya oleh para peneliti dapat disimpulkan bahwa teknologi yang sudah ada  mampu mengenali emosi manusia melalui gambar seperti smartphone.

Smarthphone adalah salah satu teknologi yang tidak dapat dipisahkan dari segala aktivitas yang dilakukan oleh manusia. Dengan adanya teknologi tersebut, banyak aplikasi yang dibutuhkan didalam smartphone. Salah satunya adalah pengenalan ekspresi wajah berbasis android. Aplikasi ini dilakukan melalui media berupa gambar yang akan diambil melalui smartphone. Selanjutnya hasil gambar akan diproses untuk mengenali emosi melalui ekspresi wajah. Dalam Aplikasi ini digunakan metode face detection dengan menggunakan API Microsoft Azure untuk menentukan jenis emosi yang dihasilkan melalui gambar yang diambil menggunakan smartphone.

Aplikasi ini dapat membantu orang-orang atau perusahaan yang ingin mengenal emosi seseorang/karyawan melalui ekspresi wajah. Tanpa harus belajar psikologi, dengan menggunakan aplikasi ini, memudahkan kita untuk mengetahui emosi seseorang hanya dengan mengupload gambar/ foto wajahnya saja.

Rumusan Masalah

Adapun rumusan masalah dari penelitian tugas besar ini adalah:

1.   Bagaimana mengenali jenis emosi dari sebuah gambar ?

2.   Bagaimana analisis dari sebuah ekspresi wajah dengan mengunakan API Microsoft Azura?

LANDASAN TEOR

Ekspresi wajah

Pengenalan ekspresi wajah merupakan salah satu cara untuk mengenali emosi. Karena ekspresi wajah merupakan hal yang paling kuat, alami dan cepat untuk menyampaikan emosi atau perasaan seseorang. Banyak hal dapat diketahui hanya dengan melihat ekspresi seseorang seperti niat, kepribadian, hubungan sosial dan benda-benda yang ada di lingkungan. Otot-otot yang membentuk ekspresi wajah dikenal sebagai musculi facialis yang merupakan otot-otot penggerak wajah, sebagai contoh musculi zigomaticus major dan minor berorigo pada tulang zigomaticus dan berinsersio pada sudut mulut berfungsi menarik sudut mulut ke atas dan keluar. Ada enam ekspresi emosi dasar yaitu kebahagiaan, terkejut, takut, jijik, marah, dan kesedihan. Para peneliti dari Ohio State University telah mengkategorikan 21 ekspresi wajah yang berbeda dari enam emosi dasar. Pengenalan ekspresi wajah adalah salah satu bentuk representasi kecerdasan manusia yang dapat digunakan untuk mendeteksi kondisi emosi seseorang.

Face Detection

Pendeteksian wajah (face detection) adalah salah satu tahap awal (preprocessing) yang sangat penting sebelum dilakukan proses pengenalan wajah (face recognition).  Face recognition, di mana wajah dideteksi dan diproses dibandingkan dengan database wajah yang dikenal, untuk mengenali orang tersebut.

Appearance-based method

Metode ini kebanyakan digunakan untuk deteksi wajah. Pada metode ini, model wajah dipelajari melalui proses training dengan menggunakan satu set data pelatihan yang berisi contoh-contoh wajah. Kemudian hasil training ini digunakan untuk mendeteksi wajah. Secara umum metode ini menggunakan teknik-teknik dari analisa statistik dan machine learning untuk menemukan karakteristik-karakteristik yang relevan dari wajah maupun nonwajah. Dibandingan feature-based dan template matching, metodeappearance-based memberikan hasil yang lebih baik ketika diterapkan pada sistem dengan sejumlah besar sampel.

HASIL DAN PEMBAHASAN

Uji coba aplikasi yang telah dilakukan pada aplikasi ini adalah pada emulator, pada smartphone dan pada table dengan berbagai tipe. Hasil dari uji coba ini adalah aplikasi dapat dijalankan dan hasil dari aplikasi sesuai dengan yang diharapkan. Namun aplikasi ini tidak diperkenankan menggunakan IOS, BlackBerry OS, dan SYMBIAN OS. Berikut ini hasil aplikasi pada emulator:

Gambar 1 Tampilan Awal Aplikasi

Gambar 1 ini merupakan tampilan awal dari aplikasi Emotional Personality. Pada tampilan awal ini terdapat dua button yaitu skip dan geser ke kiri. Button Skip digunakan untuk menampilkan tampilan utama yaitu Elit Teams dan  Button geser ke kiri digunakan untuk menampilakan Great Design.

Gambar 2 Great Design

Gambar 2 ini merupakan tampilan kedua dari aplikasi. Pada tampilan kedua ini berisi tentang desai yang mudah digunakan. Pada tampilan kedua ini juga  terdapat dua button yaitu skip dan geser ke kiri. Button Skip digunakan untuk menampilkan tampilan utama yaitu Elit Teams dan  Button geser ke kiri digunakan untuk menampilakan Easy To Use.

Gambar 3 Easy to Use

Gambar 3 ini merupakan tampilan ketiga dari aplikasi. Pada tampilan kedua ini berisi tentang  kemudahan untuk menggunakan aplikasi ini. Pada tampilan ketiga ini juga  terdapat dua button yaitu skip dan geser ke kiri. Button Skip digunakan untuk menampilkan tampilan utama yaitu Elit Teams dan  Button geser ke kiri digunakan untuk menampilakan Elit Teams.

Gambar 4 Elit Teams

Gambar 4 ini merupakan tampilan keempat dari aplikasi. Pada tampilan keempat ini berisi tentang Elit Teams, dimana terdapat 4 iteam yaitu:

1.      Deteksi wajah    : Untuk mengenali emosi melalui gambar yang diinputkan

2.      Tentang kami     : Berisi tentang profil pembuat aplikasi

3.      Tutorial               : Cara penggunaan aplikasi

4.      Kritik dan saran : Apabila user memiliki kirik atau saran kepada pembuat aplikasi dan disampaikan melaui iteam kritik dan saran ini.

Gambar 5 Deteksi Wajah

Pada Gambar  5 ini, gambar diinputkan dengan cara mengklik masukkan image. Lalu pilih gambar yang ingin di proses.

Gambar 6 Fitur Share

Pada Gambar 6 ini diberi pilihan kepada sipengguna apakah gambar yang akan diproses akan di share ke jejaringan social.

Gambar 7 Gambar diproses

Pada Gambar 7 gambar yang telah diinputkan akan diproses. Proses yang dilakukan adalah gambar akan di kirim ke server API Microsoft Azure untuk mengenali emosi pada gambar yang telah diinputkan.

Gambar 8 Hasil Gambar diproses

Gambar 8 merupakan hasil dari proses pengenalan emosi yang telah diproses pada server API Microsoft.

Gambar 9 Tampilan Kritik dan Saran

Gambar 9 ini dilakukan apabila user memiliki keluhan pada saat penggunaan aplikasi.

KESIMPULAN DAN SARAN

Metode Face detections menggunakan API Microsoft Muzera mampu mengenali emosi seseorang melalui gambar dan dapat diterapkan di berbagai android. Pemakaian aplikasi ini sangat mudah untuk digunakan. Kekurangan dari aplikasi ini dalam pengambilan gambar harus cerah dan gambar tidak boleh miring.

DAFTAR PUSTAKA

(gunakan format IEEE, jika memungkinkan gunakan tool Mendeley)

1. Ketner D, Ekman P. Introduction: Expression Of Emotion, RJ. Scherer K R, Gold H H (Eds), Handbook Of Affective Sciences. New York: Oxford University press.2003:411-4. -> dasar teori
2. Sloane Ethel. Anatomi dan Fisiologi untuk Pemula. Jakarta: EGC; 2003:131-32. -> tinjauan pustaka
3. Ekspresi Emosi Wajah tidak Universal [cited 2014 Sep 19] Available from: http://jurnal.kesimpulan.com/2012/04 /ekspresi-emosi-wajah-tidakuniversal.html  ->dasar teori
4. Ghozali MZ, Bilfaqih Y, Jazidie A. Pengenalan Emosi Akademis Menggunakan Jaringan Syaraf Tiruan untuk Mendukung Personalisasi Sistem E-Learning. Surabaya: ITS 2010; 1. ->dasar teori
5. T. A. Walsh, P. McMinn, and G. M. Kapfhammer, “Automatic detection of potential layout faults following changes to responsive web pages,” Proc. - 2015 30th IEEE/ACM Int. Conf. Autom. Softw. Eng. ASE 2015, pp. 709–714, 2016.
6. H. Li, Z. Lin, X. Shen, J. Brandt, and G. Hua, “A Convolutional Neural Network Cascade for Face Detection.” pp. 5325–5334, 2015.
7. Hola, “Osmalina Nur Rahma.” [Online]. Available: http://osmalinanurrahma-fst09.web.unair.ac.id/artikel_detail-44347-Sistem Cerdas-Face Detector.html. [Accessed: 15-Jun-2017].
8. Y. Sugano, Y. Matsushita, and Y. Sato, “Appearance-Based Gaze Estimation Using Visual Saliency,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 35, no. 2, pp. 329–341, Feb. 2013.