据史书记载，甘泉宫所在地是"黄帝以来祭天圜邱之处"，是黄帝升仙的地方。

又记"匈奴祭天处，本云阳甘泉山下，秦夺其地"。黄帝祭祀神灵，朝诸侯的万灵明庭就在甘泉。秦代在此造林光宫，汉代于其旁起甘泉宫。《汉书·郊祀志》记载，武帝因齐人李少翁言，"作甘泉宫遗址，中为台室，画天地泰一鬼神，而置祭具以祭天神。"这些记述表明古代祭天神非常隆重，他是传说黄帝，秦、汉帝王在甘泉宫的重要活动之一。 古代重视甘泉宫遗址，秦、汉两朝在此营建宫室，是因为甘泉一带在古代以地势险要闻名。范睢《战国策》中记述:"大王之国，北有甘泉，谷口。"甘泉山是屏障咸阳的前哨。秦始皇为了防御侮，在甘泉宫遗址筑林光宫，又从甘泉至内蒙九原修直道，以利军备。甘泉宫遗址山高气爽，是避暑胜地。而秦始皇到甘泉林光宫，不仅是为了避暑，更有威慑匈奴的安边作用。 西汉时期，甘泉宫遗址的规模仅次于长安未央宫。史书记载甘泉宫在汉武帝建元中增广后，"周回十九里一百二十步，有宫十二台十一"(关中记)。另有记载说甘泉宫遗址"宫殿楼观略与建章相比，百官皆有邸舍"(括地志)。宫的宏伟壮观由此可见了。《汉书·郊祀志》记载汉代皇帝到甘泉宫:"高祖时五来，文帝二十六来，武帝二十六来，武帝七十五来，宣帝二十五来，初元元年以来亦二十来。"《资治通鉴》记载，唐太宗李世民贞观二十年(646年)曾到甘泉宫。秦汉下降至唐，帝王们往返于甘泉宫遗址，是因为有许多重大朝政决策安排在这里进行，如朝见诸侯，宴飧外国使臣等，而防外侮，安边始终是重要活动内容。