Berdirinya IMM tidak dapat terlepas dari Muktamar Muhammadiyah Ke-25 (Congres Moehammadijah Seperempat Abad) Pada Tahun 1936 di Batavia (Jakarta) yang mewacanakan Untuk menghimpun Mahasiswa dan mendirikan Perguruan Tinggi Muhammadiyah. Selama sasa Hindia Belanda hingga Pasca Kemerdekaan Indonesia, Kalangan Pelajar Sekolah Tinggi yang berlatarbelakang Muhammadiyah bergabung dengan Organisasi Otonom yang telah lebih dahulu berdiri seperti Nasyiatul Aisyiah dan Pemuda Muhammadiyah. Sebagian di antaranya memutuskan untuk bergabung dengan Himpunan Mahasiswa Islam (HMI), Yang dinilai membawa pemahaman Islam yang sejalan dan dirintis oleh banyak Mahasiswa berlatar Belakang Muhammadiyah seperti Lafran Pane Dan Maisaroh Hilal (Cucu KH. Ahmad Dahlan).
Pembentukan organisasi perkaderan khusus Mahasiswa kurang mendapat dukungan mengingat sikap Muhammadiyah dalam Kongres Moeslimin Indonesia di Yogyakarta Pada 1949 yang mendukung bahwa Masyumi sebagai satu-satunya Partai Politik Islam, Pelajar Islam Indonesia (PII) sebagai satu-satunya Organisasi Pelajar, dan Himpunan Mahasiswa Islam (HMI) sebagai satu-satunya Organisasi Mahasiswa Muslim Di Indonesia serta bersifat independen.
Pada 18 November 1955 untuk pertama kalinya Muhammadiyah mendirikan Fakultas Falsafah dan Hukum di Padang Panjang (Saat ini Universitas Muhammadiyah Sumatera Barat). Berdirinya Perguruan Tinggi Muhammadiyah di berbagai kota seperti Padang Panjang (1955), Jakarta (1957), Surakarta (1958), dan Yogyakarta menguatkan wacana membentuk Organisasi Perkaderan Otonom di Tingkat Mahasiswa. Guna mewadahi hal tersebut, Muktamar Pemuda Muhammadiyah Ke-I pada 1956 di Palembang Mengamanatkan Pembentukan Departemen Pelajar dan Mahasiswa di Bawah Pemuda Muhammadiyah.
Pasca Bubarnya Masyumi pada 13 September 1960, Keinginan untuk mendirikan Organisasi Otonom Mahasiswa kembali bergulir pada Konferensi Pimpinan Daerah (Konpida) Pemuda Muhammadiyah Se-Indonesia di Surakarta pada 18 Juli 1961. Konpida tersebut tidak membuahkan hasil sebab ada argumen bagi Mahasiswa Muhammadiyah yang tidak ingin tergabung dalam Pemuda Muhammadiyah dapat bergabung dengan Ikatan Pelajar Muhammadiyah
Ikatan Pelajar Muhammadiyah (IPM). Sebagian Pimpinan Pemuda Muhammadiyah dari berbagai kota seperti Medan, Padang, Ujung Pandang, Jakarta, Bandung, Yogyakarta, Surabaya, dan Malang menjelang Muktamar Ke-36 setengah abad Muhammadiyah pada tahun 1962 di Jakarta mengadakan Kongres Mahasiswa Muhammadiyah di Yogyakarta. Melalui Kongres ini wacana Untuk melepaskan Departemen Kemahasiswaan dari Pemuda Muhammadiyah menjadi Organisasi Otonom kembali menguat.
Sekretaris PP Pemuda Muhammadiyah, Mohamad Djazman Al-Kindi menggagas pembentukan Lembaga Dakwah Mahasiswa sebagai penjajakan dan untuk selanjutnya dikoordinasikan oleh Margono, Soedibjo Markoes, dan Abdul Rosyad Sholeh. Mengalir banyaknya desakan ke Pimpinan Pusat Muhammadiyah untuk membentuk organisasi Otonom Mahasiswa tersendiri akhirnya direstui oleh KH. Ahmad Badawi. Pada 14 Maret 1964 atau 29 Syawal 1384 H, PP Muhammadiyah menunjuk Formatur Ikatan Mahasiswa Muhammadiyah dengan Mohamad Djazman Al-Kindi sebagai Ketua Umum yang pertama. Musyawarah Nasional (Munas) pertama IMM dilaksanakan di Surakarta pada 1 s.d, 5 Mei 1965 menghasilkan Deklarasi Kottabarat. Presiden Soekarno memberikan nota restu secara langsung pada 16 Februari 1966 di Istana Negara.