Gagasan pendirian SMP Al-Huda muncul setelah Yayasan Pendidikan Islam (YPI) Al- Huda berhasil mengelola Taman Kanak-kanak (TK) dan Sekolah Dasar Islam (SDI). Beberapa alasan utamanya adalah: kebutuhan akan jenjang pendidikan yang lebih tinggi setelah SD, sudah tersedianya guru yang memenuhi kualifikasi untuk mengajar di tingkat SMP, yaitu lulusan Pendidikan Guru Sekolah Lanjutan Pertama (PGSLP).

Atas dasar tersebut, pada tanggal 11 November 1972, diadakan rapat di rumah Bapak Asmoeni Rasyid di Jl. Imam Bonjol untuk membahas Pendirian SMP. Rapat ini dihadiri oleh tokoh-tokoh penting seperti H.A. Thayeb Dahlan, H. Imam Mawardi Maksum, H. Toha, dan lainnya. Hasil rapat memutuskan untuk mendirikan lembaga baru bernama SMPI Al-Huda (Sekolah Menengah Pertama Islam Al-Huda), yang resmi beroperasi pada 2 Januari 1973.

awal perjalanan sekolah ini penuh tantangan, terutama dalam mencari murid baru, terutama dalam mencari murid baru. beberapa kendala yang dihadapi yaitu, kurangnya minat masyarakat terhadap sekolah bernapaskan Islam, dipengaruhi situasi politik pasca Pemilu 1971, lokasi sekolah yang kurang strategis, kurangnya sarana prasarana. sekolah masih meminjam ruang kelas (lokal) dari SDI Al-Huda, yang pada saat itu hanya dimiliki 4 lokal, adanya ketidaksetujuan dari sebagian