KH Abdul Chalim lahir di Leuwimunding, Majalengka, Jawa Barat pada tanggal 2 Juni 1898. Ia merupakan putra dari seorang Kuwu atau Kepala Desa bernama Kedung Wangsagama dan ibunya bernama Satimah.
Diketahui KH Abdul Chalim sudah mendalami pendidikan agama dari usia remaja, dan akhirnya ia bergabung dengan temannya KH Abdul Wahab Hasbullah yang memiliki komitmen untuk memerdekakan Indonesia melalui organisasi-organisasi yang telah dirintis oleh KH. Abdul Wahab Hasbullah, yaitu Nahdlatul Wathan yang kemudian menjadi Syubbanul Wathon.