ศูนย์ การศึกษานอกระบบและการศึกษาตามอัธยาศัยอำเภอวังวิเศษ เดิมชื่อศูนย์บริการการศึกษานอกโรงเรียนอำเภอวังวิเศษ เป็นสถานศึกษาในราชการบริหารส่วนกลาง ซึ่งได้ ประกาศจัดตั้งเมื่อวันที่ 27 สิงหาคม 2536 และสำนักบริหารงานการศึกษานอกโรงเรียนได้แต่งตั้งให้ข้าราชการมาปฏิบัติ ราชการในหน้าที่ หัวหน้าศูนย์ บริการการศึกษานอกโรงเรียนอำเภอวังวิเศษ จำนวน 1 ราย โดยใช้ที่ว่าการอำเภอวังวิเศษ เป็นสถานที่ทำการและขอใช้ที่ราชพัสดุซึ่งอยู่ในการควบคุมดูแลของกรมการ ปกครอง จำนวน 2 ไร่ เพื่อ ก่อสร้างเป็นห้องสมุดประชาชน และสร้างเสร็จเมื่อวันที่ 5 มีนาคม 2538 ห้องสมุดประชาชนอำเภอวังวิเศษได้เปิดให้ใช้ทำการ ศูนย์บริการการศึกษานอกโรงเรียนอำเภอวังวิเศษได้ย้ายจากที่ว่าการอำเภอวัง วิเศษมาขอใช้สถานที่ของห้องสมุด จนถึง พ.ศ. 2546 ศูนย์บริการการศึกษานอกโรงเรียนอำเภอวังวิเศษ ได้สร้างอาคารโดยใช้ที่ราชพัสดุ ติดกับห้องสมุดประชาชน จนถึงปัจจุบัน