現存する当山の最も古い仏像は、本尊の薬師三尊像です。平安時代の10世紀中頃の作と考えられ、東国にのみ分布する鑿痕を意図的に残す「鉈彫り」の傑作として著名です。
次に古い仏像は、本堂に祀られている木造の十二神将立像です。平安時代後期作という東国最古の十二神将像となります。甲、防具等の奇抜な意匠を特徴とし、貴重な作例と評価されています。
平安時代末から鎌倉時代初頭にかけての仏像としては、宝殿に安置されている阿弥陀如来坐像、薬師如来坐像が挙げられます。これらは、いずれも高さ８尺（２ｍ40㎝）前後の大きな像で、同様に高さ２ｍ70㎝を超える日光・月光菩薩立像、高さ２ｍの四天王立像も東国には希な迫力のある大きな像です。このほか、本堂外陣の賓頭盧尊者坐像（通称「撫で仏」、市指定文化財）も、この時期に作られた写実性の高い優れた作品とされています。
この平安時代から鎌倉時代にかけては、貴族から武士の世へと社会が大きく変換し、とくに相模の地では源頼朝が平家打倒のために旗揚げし、鎌倉に幕府が開かれた時代です。建久３年（1192）、頼朝は妻の北条政子の安産を祈願し、相模の寺社に神馬を奉納します。市内では、大山寺、三宮冠大明神（現在の三之宮比々多神社）とともに、当山が含まれています。また、建久５年（1194）には、娘である大姫の病気平癒のために自ら当山へ参詣し、その様子を伝える鎌倉幕府の正史『吾妻鏡』には、霊山寺を「行基菩薩建立の薬師如来霊場也り。当国に於いて効験無双」と記しています。さらに、この建久年間（1190～99）には、後鳥羽天皇が頼朝に対し、堂宇の修造を命じたとされています。
北条政子は頼朝亡き後、夫の菩提を弔うため、建仁元年（1201）に三ノ宮に浄業寺を建立し、また、承元４年（1210）、建暦元年（1211）には、２回にわたって霊山寺に参詣しています。相模の地が日本の歴史の表舞台に登場するこの時期、武士の統領である源頼朝とそれを支える北条氏とともに、当山も大きく発展したということができます。

鎌倉時代後期から南北朝時代に制作された文化財に、本尊の鉈彫り薬師三尊像を納める厨子（国指定重要文化財）が挙げられます。仏堂と言っても差し支えのない本格的な建築工法による厨子です。また、宝殿に納められている獅子頭もこの時代の作と考えられています。彫刻として国の指定、有形民俗文化財として県の指定を受けています。
また、国指定重要文化財である銅鐘と等身大の十二神将立像、そして県指定重要文化財の錦幡と唐櫃もこの時期に奉納されました。銅鍾の銘文によると、この鐘ははじめ天暦6年（950）に村上天皇の発願で造られ、続いて仁平3年（1153）に鳥羽上皇の院宣により改鋳され、暦応3年（1340）に現存する銅鐘が造られたとされています。また、「勧請十二神将」の文字があることから、宝殿に祀られている等身大（高さ1m34～75㎝）の十二神将も、この頃には納められていたと考えられます。
錦幡は、仏堂を飾るために上から垂らす幡で、貞治3年（1364）に足利尊氏の四男、初代鎌倉公方である足利基氏が寄進しています。長さ約6m60㎝のこの大幡を境内の二本杉（県指定天然記念物）に掛けたという伝説が残されています。このことにより、別名、「幡掛けの杉」とも呼ばれています。また、幡を納める木製の唐櫃もこの時期の作で、側面内側には赤漆で、延文2年（1357）の年号が書かれています。

源頼朝が巻き狩りに使った、あまりの音の大きさに平塚の海から魚がいなくなったなど、数々の伝説をもつ県指定文化財の大太鼓は、直径約1m40㎝と非常に大きなもので、大木を刳り抜いて作られています。内側には、革を張り替えたことが記録されており、最も古い年代は天文9年（1540）となっています。

江戸時代に薬師堂と呼ばれていた本堂は、平成22年から実施した保存修理の際に調査した結果、現在の構造、規模が、延享2年（1745）、さらに万治3年（1660）の大修理まで遡り、本堂には万治以前の部材も多数再利用されていることがわかりました。それらを分析した結果、最も古い部材は鎌倉時代初期（12世紀末）に伐採されており、それは源頼朝、北条政子が参詣した時期に当たります。そして当時の建物も、今以上に大きかった可能性があるとされています。つまり、霊山寺薬師堂は、鎌倉時代から大規模な建物として建立され、それが改修、再建されながら江戸時代まで続いてきたと考えられます。
また、境内の二本杉の下には国指定重要文化財の銅鐘を掛ける鐘堂が建てられています。茅葺き屋根で、四方の柱が3本一組、合わせて12本となっているのが特徴です。建造は江戸時代中頃（18世紀前半）と考えられ、市の指定文化財となっています。

明治初年の神仏分離策による廃仏毀釈、修験の禁止等に伴い、境内にあった建物は整理され、他にも多くの文化財が失われました。奇祭として知られていた「神木立て」もこの時期に途絶えてしまいました。（昭和49年（1974）に「神木のぼり」として復活し、現在は市の登録文化財となっています。）
しかし、こうした風潮が、伝統的な文化を大きく傷つけたことから、その対策として、明治30年には古社寺保存法が制定されます。当山の本尊も、明治33年（1900）に当時の国宝に指定され、また、大正6年（1917）には阿弥陀如来坐像、薬師如来坐像が、同14年（1925）には日光・月光菩薩立像、四天王立像、十二神将立像、銅鐘が相次いで国宝（当時）となり、宝城坊は文字どおり、文化財の宝庫として現在に至っています。