เขากอบมีลักษณะเป็นเขาโดด (Monadnock) ที่โผล่อยู่ในที่ราบลุ่ม ซึ่งเต็มไปด้วยทุ่งนาและสวนยาง มีคลองยางยวน ซึ่งเป็นสาขาหนึ่งของแม่น้ำตรัง ไหลผ่านเข้ามายังเขากอบ เขากอบมีความสูงประมาณ 160 เมตรจากระดับน้ำทะเล มีความยาวประมาณ 800 เมตร และมีช่วงกว้างที่สุดประมาณ 400 เมตร บริเวณเชิงเขากอบ มีแนวคลองล้อมรอบ บางส่วนอาจเป็นการขุดคูเชื่อมต่อกับคลองธรรมชาติ ทั้งนี้มีหลักฐานว่าในสมัยรัชกาลที่ 5 ขุนกอบคีรีวง (นายอิน วรรณบวร) กำนันผู้ก่อตั้งตำบลเขากอบได้นำชาวบ้านขุดลอกคลองรอบเขากอบนี้

พื้นที่รอบภูเขาด้านทิศเหนือและตะวันตกเป็นสวนยางพารา ด้านทิศใต้และทิศตะวันออกเป็นทุ่งนา เขากอบมียอดเขาสูง 5-6 ยอด ที่สูงประมาณ 200 เมตรมีหน้าผาสูงชันตั้งฉากกับพื้นดิน เรียกว่า ผานางคอย อยู่ทางทิศใต้ของภูเขา