Disebut Gedung Batu karena bentuknya merupakan gua batu besar yang terletak pada bukit batu. Kini tempat tersebut menjadi tempat peringatan dan untuk kerperluan tersebut dalam gua diletakkan satu altar dan patung-patung Sam Po Tay Djien.
Arsitektur unik ini berada di daerah Simongan, barat daya kota Semarang. Di lingkungan gua batu masih terdapat bangunan-bangunan lain berbentuk kelenteng dan deretan makan–yang dikeramatkan.
Mengenai asal usul Gedung Batu ada beberapa cerita. Ada yang mengatakan bahwa gua batu yang berbentuk bukit tersebut merupakan jelmaan kapal layar pedagang China yang terdampar.
Cerita lain mengatakan bahwa Gedung batu tersebut ditemukan oleh seorang pedagang China yang kemudian digunakan sebagai tempat beristirahat sekaligus sebagai tempat bersemedi. Pedagang yang dimaksud adalah Cheng Ho yang kemudian dikenal dengan nama Sam Po Tay Djien.
Konon Cheng Ho banyak berjasa d daerah persinggahannya antara lain mengajarkan cara mengobati orang sakit, bercocok tanam dan menyebarkan ajaran-ajaran nilai dan pergaulan hidup sosial.
Dan ketika Cheng Ho harus meninggalkan Semarang, beberapa anak buahnya memilih tetap tinggal di sana dan berbaur dengan penduduk setempat.
Menurut cerita, gua asli yang ditemukan oleh Cheng ho telah runtuh tertimbun longsor pada tahun 1704, sedang gua yang sekarang adalah gua buatan yang dibuat “mirip” dengan aslinya.
Selain Gedung Batu, bangunan yang dapat dikunjungi di kompleks tersebut antara lain: Klenteng tua Kyai Cundrik Bumi, Kyai Jangkar Rumah Abu Hopeng, Mbah Kyai Jurumudi Dampoawang, juga ada Klenteng Hok Tjen (Tho Tee Kong).
Klenteng Tua Cundrik Bumi merupakan sebuah makam salah seorang awak kapal CHeng Ho. Kyai Jangkar Rumah Abu Hopeng merupakan sebuah sauh yang dipuja sehingga tempat tersebut menjadi tempat bersembahyang.
Sedang yang disebut dengan Mbah Kyai Jurumudi Dampoawang adalah makam jurumudi Dampoawang yang makamnya berbentuk kijing –seperti makam biasanya dalam tradisi orang Jawa. Klenteng Hok Tik Tjeng atau Tho Pee Kong merupakan klenteng tua tempat untuk memohon berkah.
Di depan gua tersebut kini telah ditata juga altar-altar dan penambahan beberapa bangunan, diantaranya dibuatkan serambi tempat penyimpanan bermacam-macam benda kuno.
Di dalam gua terdapat altar sembahyang dan di belakang altar terdapat sumur–yang konon tembus sampai ke Gunung Kawi di Jawa Timur dan bahkan ada yang mengatakan sumur tersebut tembus hingga ke Tiongkok.
Makam Kyai Jurumudi Dampowang terletak di utara gua batu. Setelah diadakan pemugaran makam dibuatkan bangunan pelindung, sehingga kini terdapat di dalam ruangan. Untuk menghubungkan bangunan ini dengan Gedung Batu dibuatkan lorong beratap.
Demikian pula halnya dengan tempat Kyai Jangkar telah dibuatkan bangunan pelindung. Jangkar besar yang tersimpan dan konon merupakan yang mewakili kapal Cheng ho yang itu pun sesungguhnya masih harus dibuktikan kembali.
Tempat pemujaan Kyai Cundrik Bumi merupakan suatu patilasan yang terletak di lereng bukit dan menurut cerita adalah tempat disimpannya senjata para pengawal atau anak buah kapal Cheng Ho. Di sebelah makam ada lilin-lilin yang kabarnya tidak boleh padam sehingga harus dijaga-terus menerus.
Paling ujung selatan dan terpencil dari tempat-tempat lain dapat ditemukan makam Mbah Kyai Tumpeng, yang menurut cerita adalah suami-istri yang bertugas sebagai juru masak Cheng Ho.
Sedang pada bagian paling utara terdapat Kelenteng pemujaan Tho Tee Kong yang juga disebut Toa Pek Kong dan ada juga yang memanggilnya Mbah Rekso Bumi. Kelenteng-nya sendiri merupakan tempat pemujaan Dewa Bumi.
Umumnya yang menarik pengunjung yang datang ke tempat ini selain arsitektur dan keunikannya, adalah kisah-kisah yang selalu mengundang penasaran. Barang-barang yang ada di tempat ini pun tentunya memiliki daya-tariknya tersendiri.
Barang-Barang kuno yang ada di sana seperti patung, barang keramik China Kuno yang beraneka warna. Bangunan-bangunannya umumnya kontras berwarna merah seperti tempat pemujaan dalam tradisi China. Unsur-unsur Jawa juga bisa dilihat dari pola-pola hiasannya.
Pengunjung yang datang biasanya memang bukan sekedar berekreasi atau melihat keindahan bangunan, melainkan ada diantaranya yang datang untuk keperluan ritual. Inilah yang menjadikan Gedung Batu menjadi pusat dari spiritualitas tempat itu.
Dahulu, tempat unik ini memang disebut-sebut mampu memberi kesan perpaduan unsur Jawa dan China yang tampak jelas dari segi arsitektur bangunannya hingga tata cara pemujaannya.
Kekinian, Gedung Batu telah banyak bertransformasi menjadi Kompleks Kelenteng yang megah, seakan ingin hanya dikenal sebagai Kelenteng Sam Po Kong saja; bergegas meninggalkan kesan mistik dan keramatnya.