Chairuman lahir di Gunungtua, Kabupaten Padang Lawas Utara pada 10 Oktober 1947. Ia menghabiskan masa kecil hingga remajanya di kota Medan.
Baru ketika melanjutkan pendidikan ke perguruan tinggi, dia hijrah ke Bandung dan masuk Fakultas Hukum Universitas Padjajaran. Lulus dari sana, ia langsung mengambil program Pascasarjana di universitas yang sama di Jurusan Pidana.
Ia pernah menjabat sebagai Kepala Kejaksaan Negeri Bengkalis Riau yang ia jabat pada 1991, Asisten Tindak Pidana Khusus Kejati Maluku pada tahun 1993.
Kepala Pusat Operasi Intelejen (Kapusopsin) Kejagung tahun 1999, hingga Staf Ahli Jaksa Agung pada tahun 2000.
Saat menjabat sebagai Ketua Komisi II, Chairuman ditunjuk sebagai Ketua Panja Mafia Pemilu pada Juli 2011. Ia dikenal sebagai sosok yang keras dan sangat tegas.
