Pada zaman penjajahan Belanda, Indonesia mengalami yang namanya kebodohan dan tidak adanya pemerataan pendidikan. Pendidikan yang diajarkan pada saat itu berupa pendidikan umum di kelas pemerintahan dan pendidikan agama di Pondok Pesantren. Namun, Persyarikatan Muhammadiyah yang dipelopori oleh K.H. Ahmad Dahlan membentuk Perguruan Pendidikan yang mengajarkan pelajaran agama dan umum dalam satu wadah.

Hingga saat ini, Persyarikatan Muhammadiyah telah memiliki Perguruan tingkat SLTP dan SMA/sederajat yang begitu banyak. Salah satu konsekuensi dari banyaknya sekolah yang merupakan amal usaha Muhammadiyah adalah untuk membina dan mendidik kader. Oleh karena itulah dirasakan perlu hadirnya Ikatan Pelajar Muhammadiyah sebagai organisasi para pelajar yang terpanggil kepada misi Muhammadiyah dan ingin tampil sebagai pelopor, pelangsung penyempurna perjuangan Muhammadiyah.

Upaya para pelajar Muhammadiyah untuk mendirikan organisasi pelajar Muhammadiyah sudah dimulai jauh sebelum Ikatan Pelajar Muhammadiyah berdiri pada tahun 1961 seperti halnya pada tahun 1919 didirikan Siswo Projo yang merupakan organisasi persatuan pelajar Muhammadiyah di Madrasah Mu’allimien Muhammadiyah Yogyakarta. Pada tahun 1926, di Malang dan Surakarta berdiri GKPM (Gabungan Keluarga Pelajar Muhammadiyah). Selanjutnya pada tahun 1993 berdiri Hitzbul Wathan yang di dalamnya berkumpul pelajar-pelajar Muhammadiyah.

Setelah tahun 1947, berdirinya kantong-kantong pelajar Muhammdiyah untuk beraktivitas mulai mendapatkan resistensi dari berbagai pihak, termasuk dari Muhammadiyah sendiri. Pada tahun 1950, di Sulawesi, daerah Wajo didirikan Ikatan Pelajar Muhammadiyah, namun akhirnya dibubarkan oleh pimpinan Muhammadiyah setempat. Pada tahun 1954, di Yogyakarta berdiri GKPM yang berumur 2 bulan karena dibubarkan oleh Muhammadiyah. Selanjutnya pada tahun 1956 GKPM kembali didirikan di Yogyakarta, tetapi dibubarkan juga oleh Muhammadiyah, yaitu Majelis Pendidikan dan Pengajaran Muhammadiyah).

Setelah GKPM dibubarkan, pada tahun 1956 didirikan Uni SMA Muhammadiyah yang kemudian merencanakan akan mengadakan musyawarah se-Jawa Tengah. Akan tetapi, upaya ini mendapat tantangan dari Muhammadiyah, bahkan para aktivisnya diancam akan dikeluarkan dari sekolah Muhammadiyah bila tetap akan meneruskan rencananya. Pada tahun 1957 juga berdiri IPSM (Ikatan Pelajar Sekolah Muhammadiyah) di Surakarta, yang juga mendapatkan resistensi dari Muhammadiyah sendiri.

Resistensi dari berbagai pihak, termasuk Muhammadiyah, terhadap upaya mendirikan wadah atau organisasi bagi pelajar Muhammadiyah sebenarnya merupakan refleksi sejarah dan politik di Indonesia yang terjadi pada awal gagasan ini digulirkan. Jika merentang sejarah yang lebih luas, berdirinya IPM tidak terlepas kaitannya dengan sebuah background politik umat islam secara keseluruhan. Ketika partai islam MASYUMI berdiri, organisasi-organisasi Islam di Indonesia merapatkan sebuah barisan dengan membuat sebuah deklarasi yang kemudian terkenal dengan “Deklarasi Panca Cita” yang berisikan tentang satu kesatuan umat islam, bahwa umat islam bersatu dalam satu partai Islam, yaitu Masyumi; satu gerakan pemuda Islam, yaitu Gerakan Pemuda Islam Indonesia (GPII); satu gerakan pelajar Islam, yaitu Pandu Islam (PI). Kesepakatan bulat organisasi-organisasi Islam ini tidak dapat bertahan lama, karena pada tahun 1948 PSII keluar dari Masyumi yang kemudian diikuti oleh NU pada tahun 1952.

Sedangkan Muhammadiyah tetap bertahan di dalam Masyumi sampai Masyumi membubarkan diri pada tahun 1959. Bertahannya Muhammadiyah dalam Masumi akhirnya menjadi mainstream yang kuat bahwa deklarasi Panca Cita hendaknya ditegakkan demi kesatuan umat Islam Indonesia. Di samping itu, resistensi dari Muhammadiyah terhadap gagasan IPM juga disebabkan adanya anggapan yang merasa cukup dengan kantong-kantong angkatan muda Muhammadiyah, seperti Pemuda Muhammadiyah dan Nasyi’atul ‘Aisyiyah, yang cukup bisa mengakomodasikan kepentingan para pelajar Muhammadiyah.

Dengan kegigihan dan kemantapan para aktivis pelajar Muhammadiyah pada waktu itu untuk membentuk organisasi kader Muhammadiyah di kalangan pelajar akhirnya mulai mendapat titik-titik terang dan mulai menunjukkan keberhasilannya, yaitu ketika pada tahun 1958 Konferensi Pemuda Muhammadiyah Daerah di Garut berusaha melindungi aktivitas para pelajar Muhammadiyah di bawah pengawasan Pemuda Muhammadiyah. Mulai saat itulah upaya pendirian organisasi Pelajar Muhammadiyah dilakukan dengan serius, intensif, dan sistematis. Pembicaraan-pembicaraan mengenai perlunya berdiri organisasi pelajar Muhammadiyah banyak dilakukan oleh Pimpinan Pusat Pemuda Muhammadiyah dengan Pimpinan Pusat Muhammadiyah.

Dengan keputusan konferensi Pemuda Muhammadiyah di Garut tersebut akhirnya diperkuat pada Muktamar Pemuda Muhammadiyah ke II yang berlangsung pada tanggal 24-28 Juli 1960 di Yogyakarta, yaitu dengan memutuskan untuk membentuk Ikatan Pelajar Muhammadiyah (Keputusan II/No. 4). Keputusan tersebut di antaranya ialah sebagai berikut.

• Muktamar Pemuda Muhammadiyah meminta kepada Pimpinan Pusat Muhammadiyah Majelis Pendidikan dan Pengajaran supaya memberi kesempatan dan menyerahkan kompetensi pembentukan IPM kepada PP Pemuda Muhammadiyah.
• Muktamar Pemuda Muhammadiyah mengamanatkan kepada Pimpinan Pusat Muhammadiyah untuk menyusun konsepsi Ikatan Pelajar Muhammadiyah (IPM) dari pembahasan-pembahasan muktamar tersebut, dan untuk segera dilaksanakan setelah mencapai kesepakatan pendapat dengan Pimpinan Pusat Muhammadiyah Majelis Pendidikan dan Pengajaran.

Kata sepakat akhirnya dapat tercapai antara Pimpinan Pusat Pemuda Muhammadiyah dengan Pimpinan Pusat Muhammadiyah Majelis Pendidikan dan Pengajaran tentang organisasi pelajar Muhammadiyah. Kesepakatan tersebut dicapai pada tanggal 15 Juni 1961 yang ditandatangani bersama antara Pimpinan Pusat Pemuda Muhammadiyah dengan Pimpinan Pusat Muhammadiyah Majelis Pendidikan dan Pengajaran. Rencana pendirian IPM tersebut dimatangkan lagi dalam Konferensi Pemuda Muhammadiyah di Surakarta tanggal 18-20 Juli 1961 dan secara nasional melalui forum tersebut IPM dapat berdiri. Tanggal 18 Juli 1961 ditetapkan sebagai hari kelahiran Ikatan Pelajar Muhammadiyah.

Selanjutnya: Perubahan ke IRM (Ikatan Remaja Muhammadiyah)