Awalnya, seorang kyai membimbing beberapa santri yang berkeinginan belajar agama. Seiring berjalannya waktu, jumlah santri bertambah, mendorong timbulnya inisiatif untuk mendirikan pondok atau asrama di dekat kediaman kyai.

  Seiring berjalannya waktu, semakin banyak pondok atau asrama yang berdiri sesuai dengan peningkatan jumlah santri. Tempat tersebut kemudian dinamakan Pondok Pesantren, mengingat penghuninya adalah para santri yang ingin belajar ilmu agama Islam dari kyai. Pada masa itu, kyai tidak hanya memikirkan bagaimana membangun pondok, tetapi fokus pada cara mengajarkan ilmu agama agar dapat dipahami dan dimengerti dengan baik oleh para santri.

  Dalam waktu itu, kyai tidak mempermasalahkan kondisi tempat tinggal para santri yang sederhana dan kecil. Para santri menempati gubug atau rumah kecil yang mereka dirikan di sekitar rumah kyai. Meskipun dengan keterbatasan tersebut, kyai dengan tekun memberikan pelajaran agama kepada beberapa orang santri. Tak peduli seberapa banyak jumlah santri, kyai tetap mengajar dengan ikhlas dan penuh dedikasi.

  Demikianlah, seiring berjalannya waktu, jumlah santri terus bertambah, dan dengan itu, jumlah gubug yang didirikan pun semakin bertambah. Secara alami, setiap santri turut mempopulerkan keberadaan pondok pesantren tersebut, menjadikannya terkenal di berbagai tempat, mirip dengan pondok pesantren yang muncul pada zaman Wali Songo.

  Mereka semua adalah kyai-kyai yang tekun dan sabar dalam mengajarkan agama. Banyak kyai-kyaiberikutnya yang mengikuti jejak mereka, termasuk di Pondok Pesantren Daarul Rahman. Di sini, Kyai Haji Syukron Ma'mun dengan kesabaran dan ketekunan membuka pengajian, meneruskan warisan nilai-nilai keilmuan dan keagamaan.

  Awalnya, peserta pengajian terdiri dari orang-orang tua di sekitar Senayan, dengan perkiraan jumlah sekitar 20 orang. Meskipun jumlah murid masih sedikit, pengajian terus berlanjut. Dengan cara demikian, kabar tentang keberadaan seorang kyai di Pondok Pesantren Daarul Rahman tersebar, dan orang-orang dari berbagai daerah datang membawa anak-anak mereka untuk ikut belajar agama di sini.

  Maka, untuk memberikan tempat yang lebih layak, didirikanlah Madrasah Ar-Rahman yang menempati garasi mobil sebagai tempat belajarnya. Sementara itu, para santri tinggal di rumah-rumah kontrakan. Seiring dengan meningkatnya jumlah santri, Kyai Syukron Ma'mun kemudian memutuskan untuk membangun pesantren.

  Kemudian, almarhum Bapak KH. Abdurrahman bin Naidi dengan tulus mewakafkan tanahnya untuk mendirikan Pesantren tersebut. Bapak KH. M. Noor Mughni juga memberikan kontribusi dengan menyumbangkan uang sebesar Rp. 100.000,- (Seratus Ribu Rupiah) pada waktu itu. Uang tersebut digunakan untuk membeli pasir dan semen seharga Rp. 50.000,- serta teh botol seharga Rp. 50.000,-. Setelah itu, diumumkan kepada seluruh masyarakat bahwa akan diadakan peletakan batu pertama untuk pembangunan Pondok Pesantren. Masyarakat diundang untuk menyumbangkan harta dan tenaga mereka dengan datang ke Madrasah Ar-Rahman di Jl. Senopati No. 35A, Kebayoran Baru, Jakarta Selatan.

  Mereka yang datang dengan sukarela menggerakkan tenaganya untuk menggali fondasi, sebagai gantinya diberikan teh botol dan nasi-nasi yang disajikan di nampan oleh masyarakat. Proses peletakan batu pertama dimulai dengan menggunakan material seharga Rp. 50.000,- tersebut, dan akhirnya pembangunan terus berlanjut hingga selesai.   Dengan didasari ayat Al-Qur'an nomor 7 surat Ibrahim, Firman Allah SWT. yang artinya kurang lebih demikian: "Sesungguhnya jika kamu bersyukur, pasti Kami akan menambah nikmat kepada kamu.".

  Bertolak dari sini, keyakinan semakin menguat dan tekad semakin bulat. Pembangunan dimulai, meskipun modal yang tersedia sangat minim.

  Pada tanggal 11 Januari 1975, secara resmi Pondok Pesantren ini didirikan dengan kepemimpinan langsung dari KH. Syukron Ma'mun, menampung sekitar 40 santri laki-laki dan perempuan.

  Dengan bergantinya tahun, jumlah santri terus bertambah, dan secara bertahap, pembangunan asrama dan ruang belajar dilanjutkan. Selanjutnya, dibangun pula tempat ibadah atau masjid, semuanya dengan konstruksi beton dan berlantai tiga. Hal ini dilakukan mengingat keterbatasan luas tanah yang berharga dan untuk mempermudah generasi penerus yang mungkin tidak selalu mendapatkan dukungan masyarakat dalam hal dana. Selain itu, ini juga bertujuan memfasilitasi pengembangan selanjutnya.