红石峡位于塞上古城榆林城北三公里处，因山全是红石而得名，又因东西石壁对峙，峡中水流湍急，又叫雄石峡。红石峡历史悠久，内有摩崖题刻、石窟古刹，闻名中外。

红石峡历史久远，有文字记载，可追溯至宋代。这里地势险要，历代兵家据此屯兵。宋代西夏政权、明代嘉靖年间，兵部尚书唐龙都曾屯兵于红石峡。

史书记载：“红崖对峙，榆溪中流，长城穿河而过，雄关冲霄侧立，还有石渠蜿蜒，石桥拱卧，石窟题刻栉比如鳞，石路萦回，古寺错落”。红石峡集奇山秀水、军事要塞、古代、现代水利枢纽于一体，以其天成雄秀的景色以及两岸琳琅满目的摩崖题刻和石窟古刹闻名遐迩、引人入胜，又被称为“塞上碑林”。

红石峡曾经是长城守军的屯兵之地，后来因为景色独特也是吸引了大批的文人墨客，造就了红石峡蔚为壮观的摩崖石刻景观。这里的摩崖石刻一共有160多块，是全国少有的石刻书法宝库，被称为“塞上碑林”。在清代光绪年间，著名将领左宗棠，曾为这里题下“榆溪胜地”4个字。

“榆溪胜地”具有特殊的历史意义，是清光绪年间左宗棠应其部将刘厚基的邀请特意题写的。当时，新疆的大部分地区已被由英、俄、奥地利支持的阿古柏势力侵占，当他收到绘制的红石峡景区的图画，看到部将在榆林创出的辉煌业绩后欣喜若狂，更加坚定了收复新疆的决心，故而将“胜”字的“月”字边改为“舟”字旁，凭借湘军“舟船之师”的威名，一定可以收复新疆失地。这幅“榆溪胜地”不但是红石峡辉煌历史的见证，更是备受榆林人民爱戴和尊敬的清廷名将刘厚基的功绩见证，成为红石峡众多题刻中的点睛之作。

红石峡石窟石刻体现出明显的多民族融合风格，如慈仁殿窟顶浮雕八卦图及其上所刻龙、凤、牛、马、羊、鹿、狗、鸡、花草等图案，充分显示了中原文化和草原文化相交融的景象。在现存的120多幅石刻中，有一幅为满文石刻。“中外一统”石刻也是一个极好的例子，它是康熙年间林天擎所题。题词慨叹汉族与少数民族同为华夏民族，理当和平共处、一统河山。

可以想象，明进士出身的余公子俊饱读诗书，当年巡抚延绥来到榆林卫这个边塞僻壤，在思索寻求提高边塞防御能力、减轻榆林卫百姓疾苦、扩大农耕生产、提高屯田供给良方的苦闷闲暇之时，来到红石峡，看到早先开凿的摩崖洞窟，是否想到与他的家乡同处蜀地的大足石刻。红石峡不仅仅是榆林书法艺术宝库，也是榆林历代文人寄情山水抒发赤子情怀的见证。