Tapi ketika ada undangan untuk show di Penang, Malaysia pada tahun yang sama Iskandar mengundurkan diri, karena kuliahnya di Fakultas Kedokteran tidak mengizinkannya untuk meninggalkan bangku kuliah. P
osisinya lalu digantikan oleh Charles Hutagalung. Lengkapnya setelah itu pemain The Mercy’s adalah Erwin Harahap (Gitar Melody), Rinto Harahap (Gitar Bass), Rizal Arsyad (Gitar Rhythm), Reynold Panggabean (Drum) dan Charles Hutagalung (Keyboard, Organ).
Pada tahun 1972, The Mercy’s hijrah ke Jakarta dan masih tampil di beberapa kelab malam, membawakan lagu-lagu yang mereka ciptakan sendiri. Setelah di Jakarta, barulah Albert Sumlang (Saxophone) bergabung, kemudian The Mercy’s merekam album pertama mereka di REMACO dengan lagu-lagu TIADA LAGI (Charles H), HIDUPKU SUNYI (Charles.H), BAJU BARU (Charles.H), UNTUKMU (Charles.H), LOVE (Rinto.H), DI PANTAI (Charles.H), BEBASKANLAH (Charles.H), UNTUKKU(Charles.H), WOMEN (Rinto.H), KURELA DIKAU KASIH (Reynold.P), KISAH SEORANG PRAMURIA (Albert Sumlang). Album perdana inilah yang mengangkat nama The Mercy’s dengan lagu TIADA LAGI di blantika musik Indonesia.
Sejak itu The Mercy’s menjadi sebuah group yang menjadi idola masyarakat. Band ini sempat menjadi idola anak muda tahun 1970-an, dengan rambut gondrong, celana lebar diujungnya yang biasa “menyapu” jalan. Lagu TIADA LAGI menjadi Hit dimana-mana.
Ketika grup ini memutuskan untuk memasuki dunia rekaman, The Mercy’s pada saat itu dipimpin oleh Erwin Harahap, karena Rizal Arsyad harus meneruskan sekolahnya di Jerman. Tercatat sudah 30 Album yang dihasilkan The Mercy’s mulai dari album Pop, Keroncong dan Rohani.