Dengan semakin banyaknya siswa yang menyelesaikan pendidikan di TA dan adanya minat yang tinggi dari masyarakat untuk memperoleh pendidikan lebih lanjut, pada tahun 1932 Pengasuh Pondok Gontor membuka program lanjutan dari Tarbiyatul Athfal yang diberi nama “Sullamul Muta’allimin”.
Pada tingkatan ini para santri diajari secara lebih dalam dan luas pelajaran fikih, hadis, tafsir, terjemah al-Qur’an, cara berpidato, cara membahas suatu persoalan, juga diberi sedikit bekal untuk menjadi guru berupa ilmu jiwa dan ilmu pendidikan. Di samping itu mereka juga diajari ketrampilan, kesenian, olahraga, gerakan kepanduan, dan lain-lain. Kegiatan ekstra kurikuler mendapat perhatian luar biasa dari pengasuh Pondok, sehingga setelah tiga tahun berdirinya Sullamul Muta’allimin telah berdiri pula berbagai gerakan dan barisan pemuda, antara lain:
- Tarbiyatul Ikhwan (Organisasi Pemuda)
- Tarbiyatul Mar’ah (Organisasi Pemudi)
- Muballighin (Organisasi Juru Dakwah)
- Bintang Islam (Gerakan Kepanduan)
- Ri-Ba-Ta, yaitu Riyadlatul Badaniyah Tarbiyatul Athfal (Organisasi Olahraga)
- Miftahussa’adah dengan “Mardi Kasampurnaan”.
- Klub Seni Suara, dan
- Klub Teater.
Usaha Pengasuh Pondok untuk membangkitkan gairah masyarakat Gontor dan sekitarnya sudah tampak membuahkan hasil. Madrasah-madrasah yang menjadi cabang TA sudah banyak berdiri di desa-desa sekitar Gontor. Para murid dan alumni TA dan Sullamul Muta’allimin Gontor menjadi tulang punggung dari berlangsungnya proses belajar mengajar di madrasah-madrasah itu. Mengingat banyak madrasah Tarbiyatul Athfal yang telah dibuka, maka dibentuklah sebuah wadah yang menggabungkan seluruh TA itu, yaitu Taman Perguruan Islam (TPI) yang dipimpin langsung oleh Pak Sahal. Menjelang usia 10 tahun pembukaan kembali Gontor, TPI telah mempunyai murid lebih dari 1000.