虽然佛陀在离开之后也曾回到鹿野苑几次，不过在佛陀时代这里并非是僧侣云集的大精舍所在地。但是作为佛陀的初转法轮之地，鹿野苑一直受到佛教徒的重视和尊崇，阿育王在鹿野苑所树立的石柱是独一无二的，它的精美和庄严是其他阿育王石柱所不及的，这似乎也和这位帝王想让佛法传遍阎浮提的理想相默契。不过除了阿育王石柱，阿育王时代鹿野苑的历史并不很清楚。　　法显大师五世纪来访时看到了很多古迹，当时鹿野苑有两座僧寺，都有常住僧人。从法显大师的描述来看，似乎当时既没有衰落的迹象也没有欣欣向荣的场面。尽管有记载说六世纪时匈奴族的汪达尔人（Vandal）密希拉古拉（Mihirkula）破坏了这个圣地，但是玄奘大师七世纪到达此地时，此地还是比较兴旺的，当时的鹿野伽蓝共有一千五百位小乘正量部的僧人，精舍建筑也很有气势，高达二百余尺，四周墙壁上都有佛龛，里面是精美的黄金佛像。今日鹿野苑遗址公园　　玄奘之后的几个世纪还算平静，大约十世纪后，佛教开始衰落，尽管几位来自卡瑙季（Kannauj，即羯若鞠阇国曲女城）和孟加拉（Bengal）的施主曾先后修缮寺院，但是婆罗门教在鹿野苑发展很快。在十一世纪，伽色尼王朝的苏丹马默德（Mahmud）对鹿野苑进行了严重的破坏活动，致命的打击则来自廓尔王朝穆罕默德（Muhammad）手下的将军库特布丁（Qutabuddin），他在十二世纪彻底洗劫并毁灭了鹿野苑，除了两座坚不可摧的大塔之外，鹿野苑被整个夷为平地，佛教徒被迫离开此地。

　　数百年的尘沙埋藏了记忆，遗迹变成了土堆，土堆上长满了灌木和树丛，这也使那些贵霜和笈多时代的砖石远离了进一步的侵扰。直到欧洲的征服者来到印度，那些饶有兴致的考古学家和印度学家开始关注印度的古迹。1815年，麦肯奇（Gol. Mackenzie）上校首先在鹿野苑开始了发掘，更加系统的发掘则由康宁汉启动，他的发现被保存在加尔各答的印度博物馆里。十分荒诞的是，由于考古发掘重见天日的石头被当地政府垂涎，许多砖石被运往贝拿勒斯（瓦伦纳西的曾用名，即是佛经中的波罗奈斯或婆罗痆斯）修建各种建筑，皇后学院、顿坎大桥（Duncan’s Bridge）和瓦伦纳西火车站都没少用来自鹿野苑的石料。据说修建顿坎桥的防波堤就至少用了48座来自鹿野苑的石像。　　在十九世纪后半叶很多学者先后在这里进行发掘工作，鹿野苑上千年佛教历史的积淀好像是一个取之不尽的宝库，每次发掘总有新的发现，至今发掘工作仍然是相当不完全的。　　最后不得不提的人物还是达摩波罗，在印度复兴佛教的先驱者。他1891年初次来访时，这里是当地人的养猪场，他心中的悲愤是可以想象的。他想尽办法一点点买下了附近的土地，而他所找到的第一位施主就是他的母亲。为了改善当地农民糟糕的生活条件并和他们建立更和谐的关系，这位充满理想和激情的斯里兰卡人甚至在当地开办了农业研究所来提高农业生产，并且引导农民建立家庭手工业。这些理念的提出甚至大大早于圣雄甘地，可以说是孤标先发，不过在印度这样一个保守社会，在宗教与民族的隔阂之下，他的革命性努力彻底的失败了。可以欣慰的是，在恢复佛教方面，鹿野苑是全印度的典范，遗址区整修成整洁漂亮的花园，穆拉甘陀库提精舍（Mulagandhakuti Vihara，意译为根本香室精舍）的建立对于印度佛教的复兴具有重要的意义，学院、佛教图书馆、研究所、施诊所等机构相继成立，因为达摩波罗和摩诃菩提协会，鹿野苑再一次成为了一个佛教中心。