Masjid Raya Rao-Rao adalah cerminan dari hasil kemauan dan kemampuan dari pemimpin Nagari yang mau berusaha keras mencari dana kemanapun hingga dapat membangun masjid ini.

Masjid Raya Rao-Rao berdiri diatas tanah wakaf Almarhum                   H. Mohammad Thaib Caniago. Lokasinya sangat strategis terletak di pinggir jalan sebelah kiri arah dari Batusangkar ke Bukittinggi dengan luas kira-kira 400 m2 dan mempunyai pekarangan yang cukup luas.

Pada tahun 1916 di Kenagarian Rao-Rao dibawah Pemerintahan Kepala Nagari Abdurrachman Datuk Majo Indo dibantu oleh Datuk Jejati, H. Imam Jafar dan tokoh masyarakat Nagari lainnya bersama-sama membangunan Masjid Raya Rao-Rao. Sebelumnya di Nagari Rao-Rao telah berdiri sebuah Masjid namun karena sudah tua kemudian dibongkar. Masjid ini bernama Masjid Atap Ijuk, mungkin karena atapnya terbuat dari bahan ijuk.

Pembangunan Masjid Raya Rao-Rao selesai dikerjakan pada akhir bulan Desember 1918 dan diresmikan oleh Datuk Kepala Abdurrachman Datuk Majo Indo dari Koto Piliang.

Pada tahun 1926 masjid ini sempat mengalami kerusakan akibat gempa tetapi tidak terlalu parah. Pada tahun 1975 masjid direnovasi kembali dengan meluruskan menara yang sudah miring dan terakhir diadakan penggantian semua keramik lama dengan yang baru. Imam Masjid Raya Rao-Rao yang terlama yaitu Imam H. Abdurrachman Bakry Caniago yakni selama 20 tahun kira-kira sejak 1950 an sampai meninggalnya 1975.

Disebelah kiri masjid berdiri pula sebuah bangunan berlantai dua dengan ukuran 7m x 10m yang bernama Markaz. Pengerjaan bangunan ini baru rampung pada tahun 2001 dan disebelah kanan masjid juga berdiri sebuah gedung berlantai dua yakni untuk sekolah agama yang bernama Madrasah Islamiyah pada tahun 1940 an dan berganti nama menjadi Darul Huda pada tahun 1982.