Sampai saat ini belum ada kesepakatan di antara para pakar tentang nama Barabudhur. Dalam Kitab Negarakertagama (1365 M.) disebut-sebut tentang Budur, sebuah bangunan suci Buddha aliran Vajradhara. Menurut Casparis dalam Prasasti Sri Kahulunan (842 M) dinyatakan tentang “Kawulan i Bhumi Sambhara”. Berdasarkan hal itu ia berpendapat bahwa Barabudhur merupakan tempat pemujaan. Bumi Shambara adalah nama tempat di Barabudhur. Menurut Poerbatjaraka, Barabudhur berarti Biara Budur, sedangkan menurut Raffles, 'bara' berarti besar dan 'budhur' merupakan kata dalam bahasa Jawa yang berarti Buddha.
Berdasarkan tulisan yang terdapat di beberapa batu di Candi Barabudhur, para ahli berpendapat bahwa candi ini mulai dibangun sekitar tahun 780 M, pada masa pemerintahan raja-raja Wangsa Sanjaya. Pembangunannya memakan waktu berpuluh-puluh tahun dan baru selesai sekitar tahun 830 M, yaitu pada masa pemerintahan Raja Samaratungga dari Wangsa Syailendra. Konon arsitek candi yang maha besar ini bernama Gunadharma, namun belum didapatkan informasi tertulis tentang tokoh ini. Pada tahun 950 M, Candi Barabudhur terkubur oleh lava letusan G. Merapi dan baru ditemukan kembali hampir seribu tahun kemudian, tepatnya pada tahun 1814. Penemuan kembali Candi Barabudhur adalah atas jasa Sir Thomas Stamford Raffles.
Pada saat Raffles berkunjung ke Semarang, ia mendapatkan informasi bahwa di daerah Kedu ditemukan tumpukan batu bergambar. Konon pada tahun 1814, serombongan orang mendatangi suatu daerah di Karesidenan Kedu untuk mencari tahu lebih jauh tentang legenda yang berkaitan dengan sebuah bukit dekat Desa Boro. Setelah membabat semak belukar dan menggali serta membersihkan gundukan abu gunung berapi, mereka menemukan sejumlah besar bongkahan batu berpahatkan gambar-gambar aneh. Raffles kemudian memerintahkan Cornelius, seorang Belanda, untuk membersihkan batu-batu tersebut. Pembersihan tumpukan batu dan lingkungan di sekitarnya kemudian dilanjutkan oleh Residen Kedu yang bernama Hartman.
Candi Barabudhur berdiri di atas bukit yang memanjang arah timur-barat. Candi ini dibangun dari balok batu andesit sebanyak 47,500 m3, yang disusun rapi tanpa perekat, dan dilapisi dengan lapisan putuh 'vajralepa', seperti yang terdapat di Candi Kalasan dan Candi Sari. Bangunan kuno Barabudhur berbentuk limas bersusun dengan tangga naik di keempat sisi, yaitu sisi timur, selatan, barat, dan utara. Konon di sisi timur, di bawah kaki candi, pernah ditemukan jalan naik ke atas bukit. Hal itu mendasari dugaan bahwa Candi Barabudhur menghadap ke timur dan pintu utama adalah yang terletak di sisi timur.
Tangga paling bawah dihiasi dengan kepala naga dengan mulut menganga dan seekor singa duduk di dalamnya. Dugaan bahwa Candi Barabudhur menghadap ke timur diperkuat dengan adanya pahatan relief pradaksina ( yang dibaca memutar searah jarum jam), berawal dari dan berakhir di sisi timur. Selain itu, arca singa yang terbesar juga terdapat di sisi timur. Tangga menuju ke tingkat yang lebih tinggi dilengkapi dengan gerbang yang berukir indah dengan kalamakara tanpa rahang bawah di atas ambang pintu. Pada mulanya tinggi keseluruhan bangunan kuno ini mencapai 42 m, namun setelah pemugaran tingginya hanya mencapai 34,5 m. Batur atau kaki candi berdenah bujur sangkar dengan luas denah dasar 123 x 123 m, dilengkapi penampil yang menjorok keluar di setiap sisi. Keseluruhan bangunan terdiri atas 10 lantai yang luasnya mencapai 15, 13 m2. Lantai I sampai dengan lantai VII berbentuk persegi, sedangkan lantai VII sampai dengan lantai X berbentuk lingkaran.
Candi Barabudhur tidak mempunyai ruangan untuk tempat beribadah atau melakukan pemujaan karena candi ini dibangun untuk tempat berziarah dan memperdalam pengetahuan tentang Buddha. Luas dinding keseluruhan mencapai 1500 m2, dihiasi dengan 1460 panil relief, masing-masing selebar 2 m.
Jumlah Arca Buddha, termasuk yang telah rusak, mencapai 504 buah. Arca-arca Buddha tersebut menggambarkan Buddha dalam berbagai sikap.
- Arca-arca di sisi timur menggambarkan Dhyani Buddha Aksobhya, yaitu Buddha bersila dengan sikap tangan menyinggung tanah atau sikap Bhumiparsyamudra.
- Arca-arca di sisi selatan menggambarkan Dhyani Buddha Ratnasambhawa, yaitu Buddha bersila dengan sikap tangan memberi anugrah atau sikap Varamudra.
- Arca-arca di sisi barat menggambarkan Dhyani Buddha Amitabha, yaitu Buddha bersila dengan sikap tangan bersemadi sikap Dhyanamudra.
- Arca-arca di sisi utara menggambarkan Dhyani Buddha Amogasidhi, yaitu Buddha bersila dengan sikap tangan menentramkam atau sikap Abhayamudra.
- Arca-arca di puncak menggambarkan Dhyani Buddha Vairosyana, yaitu Buddha bersila dengan sikap tangan mengajar (ibu jari dan telunjuk bersentuhan dan ketiga jari lain terangkat) atau sikap Vitarkamudra.
- Arca-arca di undakan lingkaran menggambarkan Dhyani Buddha Vairosyana, yaitu Buddha bersila dengan sikap tangan mewejangkan ajaran atau sikap Dharmacakramudra.
Candi Barabudhur melambangkan tiga tingkatan dalam kehidupan manusia. Kaki candi disebut Kamadhatu, melambangkan kehidupan di dunia fana, yang masih dipenuhi kama (hasrat dan nafsu). Pada dinding kaki candi terdapat 160 panil relief Karmawibangga. Saat ini relief tersebut tidak dapat dilihat karena tertutup urukan. Pada saat pembangunan candi ini sedang berlangsung, bangunan yang belum selesai tersebut melesak ke bawah, sehingga arsiteknya memutuskan untuk menguruk bagian kakinya. Konon selain untuk menghindari longsor, pengurukan bagian kaki ini juga didasarkan atas alasan etika dan estetika.
Tubuh candi terdiri atas 5 tingkat, makin ke atas makin mengecil, dengan denah bujur sangkar. Di setiap tingkat terdapat selasar yang cukup lebar mengelilingi tubuh candi. Tepi selasar diberi dinding yang dihiasi dengan panil-panil relief. Tubuh candi disebut Rupadhatu, yang berarti dunia rupa. Dalam dunia ini manusia masih terikat dengan kehidupan duniawi, namun sudah mulai berusaha mengendalikan hasrat dan nafsu.
Di beberapa tempat terdapat saluran pembuangan air yang disebut Jaladwara. Dinding atas tingkat I dihiasi dengan relief cerita yang diambil dari Kitab Lalitawistara, yang mengisahkan riwayat Sang Buddha sejak turun dari surga Tusita ke bumi, saat menerima wejangan di Taman Rusa dekat Benares, sampai pada saat mencapai kesempurnaan.
Dinding bawah dihiasi dengan relief Jatakamala, kisah kehidupan Jataka dan Avadana, yang diwujudkan sebagai Boddhisatwa karena perilakunya yang baik dalam kehidupannya yang lalu. Bagian lain dari Kitab Jatakamala menghiasi sepanjang bagian atas dan bagian bawah pagar selasar tingkat I dan tingkat II. Dinding candi di tingkat II dihiasi relief dari Kitab Gandawyuha. Demikan juga dinding dan pagar selasar di tingkat III dan tingkat IV. Kisah Sudhana yang dalam upayanya mencari pengetahuan dan kebenaran telah bertemu Gandawyuha yang mengajari tentang kebijakan untuk mencapai kesempurnaan dalam hidup.
Atap candi yang terdiri atas 3 tingkat disebut Arupadhatu, yang berarti dunia tanpa rupa (wujud). Pada tataran kehidupan ini manusia sudah terlepas dari hasrat dan nafsu. Atap candi berupa batur bersusun 3 dengan denah bundar membentuk 3 lingkaran bersusun dengan pusat yang sama dengan stupa-stupa berisi arca Buddha. Dalam lingkaran di tingkat I terdapat 32 stupa, di tingkat II terdapat 24 stupa dengan lubang-lubang berbentuk wajik, bersisi horisontal datar dan sisi vertikal miring. Lubang berbentuk wajik melambangkan adanya nafsu yang masih tersisa. Di tingkat III terdapat 16 stupa dengan lubang hiasan berbentuk persegi, bersisi horisontal datar dan sisi vertikal tegak. Lubang berbentuk persegi ini melambangkan nafsu yang telah lenyap tak bersisa. Puncak atap merupakan sebuah stupa yang sangat besar. Konon dalam stupa ini dahulu terdapat arca Sang Adhi Buddha, yaitu Dhyani Buddha tertinggi dalam agama Buddha Mahayana.
Candi Barabudhur telah mengalami beberapa kali pemugaran. Pemugaran pertama dilakukan pada masa pemerintahan Belanda, yaitu pada tahun 1907 – 191, di bawah pimpinan Van Erp. Dalam pemugaran ini yang diutamakan adalah mengembalikan ketiga teras atap candi dan stupa pusatnya. Pemugaran kedua berlangsung selama sepuluh tahun, yaitu tahun 1973 – 1983. Dalam pemugaran ini Candi Barabudhur dibongkar, fondasi dan dindingnya diberi penguat beton bertulang, dan batu-batunya diteliti, dibersihkan, diberi pengawet kedap air dan disusun kembali sesuai susunannya semula.