ตามประวัติเล่าว่าในอดีต พระขันติโก ซึ่งเป็นลูกศิษย์ของหลวงปู่เสาร์ กันตสิโร ได้ธุดงค์มาปฏิบัติธรรมตามคำสั่งสอนขององค์พระศาสดาสัมมาสัมพุทธเจ้าจนบรรลุหนทางหลุดพ้นในถ้ำที่อยู่ภายในอนาเขตนี้ แต่เนื่องจากท่านเป็นผู้เคร่งครัดต่อวัตรปฎิบัติมากประกอบกับพื้นฐานท่านเป็นผู้ใจร้อน ครูบาอาจารย์ท่านจึงขอหลวงปู่หล้าไว้ว่าอย่าได้สร้างวัดเอง ดังนั้นเมื่อหลวงปู่หล้าท่านได้บรรลุธรรม ณ สถานที่แห่งนี้แล้วจึงธุดงค์ไปจำวัด ณ.ที่อื่นจนมรณะภาพ ที่วัดป่านาเจน อ.น้ำโสม จ.อุดรธานี้
ต่อมาหลวงปู่เทศก์ เทสรังสี สมัยที่ท่านยังเป็นเจ้าอาวาสวัดหินหมากเป้ง ได้รับมอบที่ดีนแห่งนี้จากชาวบ้านให้เป็นที่ธรณีสงฆ์ ของวัดหินหมากเป้ง ด้วยเห็นว่าสถานที่แห่งนี้เป็นสถานะที่สำคัญที่ครูบาอาจารย์ได้มาจำพรรษา และมีพื้นที่เป็นป่าชุมชนที่อุดมสมบูรณ์ ซึ่งนอกจากจะเป็นสถานที่เหมาะสมแก่การปฏิบัติธรรม แล้วยังเป็นการอนุรักษ์พื้นที่ป่าอันอุดมสมบูรณ์ไว้ด้วย ปัจจุบันวัดถ้ำปู่หล้ามีพระอดุลย์ โชติโก เป็นเจ้าอาวาส