Sejak saat itu Chalid mulai masuk ke dunia politik.
Dia bergabung dengan Partai Masyumi dan menjadi anggota DPR RI.
Pada 1950, Chalid diutus untuk mempersiapkan pengelolaan haji.
Dia berhasil mendekati Raja Abdul Aziz dan menggratiskan bea masuk jemaah haji asal Indonesia.
Baca juga: Bank Indonesia Keluarkan 7 Uang Rupiah Kertas Baru Tahun Emisi 2022, Ini Penampakan & Penjelasannya
Selain menjadi anggota Masyumi, Chalid juga aktif dalam Nahdlatul Ulama.
Pada 1952, ia diangkat menjadi Ketua PB Ma'arif, organisasi NU yang bergerak di bidang pendidikan.
Masih di tahun yang sama, ia juga diangkat menjadi sekretaris jenderal partai.
Dua tahun setelahnya, Idham Chalid dipercaya menjadi wakil ketua di NU.
Pada masa pemilu 1955, Idham Chalid menjabat sebagai Ketua Lajnah Pemilihan Umum NU.
Dalam pemilu tersebut, NU menduduki posisi ketiga yang mendapat suara terbanyak.
Berkat perolehan suara tersebut, pada masa Kabinet Ali Sastroamidjojo II, NU mendapat jatah lima kursi untuk menteri.
Salah satu kursi sebagai wakil perdana menteri diberikan kepada Idham Chalid.
Setelah Kabinet Ali Sastroamidjojo II berakhir, terbentuk kabinet baru, yaitu Kabinet Djuanda.
Idham Chalid tetap menjabat sebagai wakil perdana menteri sampai Dekrit Presiden pada 1959.
Idham Chalid wafat pada 11 Juli 2010, setelah 10 tahun mengidap penyakit stroke.