พิพิธภัณฑ์อัฐบริขารหลวงปู่ขาว อนาลโย สร้างขึ้นเมื่อพุทธศักราช 2528 และแล้วเสร็จเมื่อพุทธศักราช 2531 พระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร พระราชทานพระราชทรัพย์ส่วนพระองค์ จำนวน 1,570,000 บาท (หนึ่งล้านห้าแสนเจ็ดหมื่นบาทถ้วน) สมทบทุนก่อสร้างอาคารพิพิธภัณฑ์ดังกล่าว และเมื่อวันที่ 26 พฤษภาคม 2532 พระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรม
ราชชนนีพันปีหลวง ได้เสด็จพระราชดำเนินไปทรงบรรจุอัฐิธาตุหลวงปู่ขาว อนาลโย และทรงเปิดพิพิธภัณฑ์อัฐบริขารหลวงปู่ขาว อนาลโย เพื่อเป็นสถานที่เก็บอัฐิและรวบรวมเครื่องอัฐบริขารของหลวงปู่ขาว อนาลโย ซึ่งเป็นพระเถระสายวิปัสสนาที่มีจริยานุวัตรหนักแน่นมั่นคงในธรรมปฏิบัติเป็นที่ปรากฏแก่พุทธศาสนิกชนทั่วไป ต่อมา อาคารพิพิธภัณฑ์ดังกล่าวทรุดโทรมลง เนื่องจากก่อสร้างมากว่า 30 ปี พระราชภาวนาวชิรากร (อินทร์ถวาย สนฺตุสฺสโก) รักษาการเจ้าอาวาสวัดถ้ำกลองเพล และผู้มีจิตศรัทธาจึงได้ร่วมกันบูรณปฏิสังขรณ์อาคารแล้วเสร็จเมื่อเดือนกุมภาพันธ์ 2565
วัดถ้ำกลองเพล อำเภอเมืองหนองบัวลำภู จังหวัดหนองบัวลำภู เป็นวัดราษฎร์สังกัดนิกายธรรมยุต ได้รับพระราชทานวิสุงคามสีมา เมื่อพุทธศักราช 2513 มีหลวงปู่ขาว
อนาลโย เป็นเจ้าอาวาสรูปแรก เป็นพระเถระที่พระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง ทรงเลื่อมใสศรัทธา เช่นเดียวกับพระบาทสมเด็จพระเจ้าอยู่หัว เมื่อครั้งทรงดำรงพระราชอิสริยยศ สมเด็จพระบรมโอรสาธิราช ฯ
สยามมกุฎราชกุมาร ได้โดยเสด็จ พระบาทสมเด็จพระบรมชนกาธิเบศร มหาภูมิพลอดุลยเดชมหาราช บรมนาถบพิตร และสมเด็จพระนางเจ้าสิริกิติ์ พระบรมราชินีนาถ พระบรมราชชนนีพันปีหลวง ไปทรงนมัสการและสนทนาธรรมกับหลวงปู่ขาว อนาลโย ในหลายวาระ ด้วยทรงเลื่อมใสศรัทธาเช่นเดียวกับพระบรมชนกนาถ และพระบรมราชชนนี ด้วยทรงตั้งพระราชปณิธานที่จะสืบสานทำนุบำรุงพระพุทธศาสนาให้คงอยู่สืบไป