เมืองกำแพงเกาลูน ตามประวัติของเมืองกำแพงเกาลูน (บางที่ใช้ปราการ) เกิดขึ้นในช่วงของราชวงศ์ซ่ง ที่ได้ใช้เป็นด่านในการจัดการค้าขายเกลือ โดยอีกหลายร้อยปีต่อมา ในพ.ศ.2211 ได้มีการตั้งสำนักงาน พร้อมป้อมหอคอยชั่วคราว และเจ้าหน้าที่ดูแลความปลอดภัยกว่า 30 นาย ควบคุมการขนส่ง ต่อมาราวๆ พ.ศ.2353 จึงได้เริ่มสร้างป้อมปราการขนาดย่อมบริเวณริมชายฝั่ง และใน พ.ศ.๒๓๘๕ จักรพรรดิ์เต้ากวง (Daoguang) แห่งราชวงศ์ชิง ได้ยินยอมทำสนธิสัญญานานกิง
กับสหราชอาณาจักรเพื่อยกเกาะฮ่องกงให้แก่อังกฤษ หลังพ่ายแพ้ในสงครามฝิ่น ขณะที่รัฐบาลชิงก็ได้ซ่อมแซมป้อมปราการนี้ พร้อมสร้างกำแพงล้อมรอบขึ้นเพื่อได้เฝ้าดูความเคลื่อนไหวของอังกฤษเสร็จใน พ.ศ.2390 หลังจากนั้นใน พ.ศ.2397ก็ได้ถูกกบฏไท่ผิงเข้ายึดครอง แต่รัฐบาลชิงก็สามารถ
ยึดกลับคืนมาได้สำเร็จในเวลาไม่นาน ต่อมาอังกฤษได้ทำสัญญาเช่าเกาะฮ่องกงรวมดินแดนใหม่นิวเทอร์ริตอรีส์ เป็นเวลา 99 ปี เกร็ดความรู้ สั้นๆ แต่ยกเว้นพื้นที่กำแพงเมืองเกาลูน ซึ่งในขณะนั้นมีชาวจีนอาศัยอยู่ราว 700 คน แต่แล้วในวันที่ 16 พฤษภาคม พ.ศ.2442 กองกำลังของอังกฤษที่จัดตั้งโดย
ผู้ว่าการเขตปกครองพิเศษได้เข้าโจมตี ก่อนอพยพชาวจีนกว่า 150 ครัวเรือนออกจากพื้นที่ พร้อมใช้อำนาจเข้ามาครอบครองสิทธิ์ในดินแดน ได้มีการสร้างโบสถ์ศาสนาคริสต์นิกายโปรเตสแตนท์ โรงเรียน และโรงทานในพื้นที่สำนักผู้ช่วยข้าราชการฝ่ายบริหารการปกครองเกาลูน บาคาร่า168 ซึ่งต่อมา
ได้ถูกใช้เป็นสถานที่ท่องเที่ยวของชาวอาณานิคม และนักท่องเที่ยวทั่วไป ในพ.ศ.2476 ทางการได้มีแนวคิดที่จะทำลายอาคารที่เสื่อมโทรมในพื้นที่ แต่ยังไม่ทันจะได้ทำ ในช่วงสงครามโลกครั้งที่ 2 ญี่ปุ่นเข้ายึดครองฮ่องกง ก็ได้ทำลายกำแพงทิ้งเพื่อเอาหินมาถมขยายพื้นที่ใกล้กับสนามบิน Kai Tak
และภายหลังจากที่ญี่ปุ่นยอมแพ้สงคราม จีนได้ประกาศเรียกคืนกรรมสิทธิ์ในพื้นที่กำแพงเมือง และให้ผู้ลี้ภัยจากจีนเข้ายึดครองใน พ.ศ.2490 โดยอังกฤษพยายามขับไล่ ชาวบ้านแต่ก็ไม่ประสบความสำเร็จ จึงตัดสินใจยอมเลิกยุ่งเกี่ยวกับพื้นที่ ในเวลาถัดมา พอเมื่อไม่มีรัฐบาล เข้ามาควบคุมพื้นที่
ดังกล่าว เมืองกำแพงเกาลูน จึงกลายเป็นสวรรค์ของพวกอาชญากร และนักค้ายาเสพติด รวมทั้งการฆาตกรรม รัฐบาลฮ่องกงพยายามใช้อำนาจศาลออกกฏควบคุมในพ.ศ.2502 แต่เป็นที่รู้กัน ว่าอันที่จริง แล้วภายในพื้นที่ ถูกควบคุมด้วยพวกมาเฟีย โดยระหว่างนี้ ได้มีการก่อสร้างอาคารสูง
เพิ่มขึ้นจำนวนมาก จนแออัดแน่นเต็มพื้นที่ รวมทั้งหมอ และหมอฟันเถื่อน จนกระทั่งช่วง พ.ศ.2516 -2517 ตำรวจกว่า 3,500 ได้เข้าตรวจค้น จับกุมผู้ต้องหา ได้กว่า 2,500 คดี และยึดยาเสพติด ของกลางได้มากกว่า 1,800 กิโลกรัม โดยผู้บังคับการตำรวจ อำเภอเมืองเกาลูน ได้ประกาศว่าสามารถ
ควบคุมอาชญากรรมได้แล้ว ใน พ.ศ.2526 พ.ศ.2527 ทางการจีน และอังกฤษได้แถลงการณ์ ร่วมรื้ออาคารในพื้นที่ และมีการประกาศทำลาย อย่างเป็นทางการใน พ.ศ.2530 โดยรัฐบาลได้จ่ายเงินเยียวยา กว่า 33,000 ครอบครัว เป็นเงิน 350 ล้านดอลล่าร์สหรัฐ บางครอบครัว ที่ไม่พอใจกับจำนวนเงิน
ก็จะถูกขับให้ออกจากพื้นที่ จนกระทั่ง วันที่ 23 มีนาคม พ.ศ. 2536 ก็ได้ฤกษ์ในการทุบอาคารทิ้ง จนเสร็จสิ้นใน พ.ศ.2537 จากนั้น จึงเริ่มก่อสร้างสวนสาธารณะ ต่อจนเสร็จในเดือนสิงหาคม พ.ศ.2538 เปิดใช้อย่างเป็นทางการในวันที่ 22 ธันวาคม มีพื้นที่กว่า 31,000 ตารางเมตร โดยสวนถูกออกแบบ
ให้คล้ายกับสวนเจียงหนาน (Jiangnan) ช่วงราชวงศ์ชิงตอนต้น นอกจากนี้ ยังมีการตกแต่งสวนหลากรูปแบบ อีกหลายจุดด้วย พร้อมทั้งปรับปรุง สำนักข้าราชการท้องถิ่น (Yamen) ที่ไม่ได้ถูกทุบทิ้ง ซึ่งตัวอาคารแต่ดั่งเดิมห้องโถงกลางถูกใช้เป็นส่วนว่าราชการ ส่วนด้านข้างเป็นห้องพักข้าราชการ
แต่หลังจากทางการ ได้ออกจากพื้นที่ไป ก็ถูกใช้เป็นบ้านพักคนชรา สถานที่หลบภัยหญิงหม้าย และเด็กกำพร้า ,โรงเรียน และศูนย์การแพทย์ แต่ปัจจุบัน ได้ถูกใช้เป็นสถานที่ จัดแสดงนิทรรศการ รวมทั้งด้านหน้ายังมีปืนใหญ่ 2 กระบอกที่ถูกสร้างมาตั้งแต่ พ.ศ.2345 มาจัดวางไว้ ส่วนประตูเมืองทิศใต้ ซึ่งถูกค้นพบเพียงเศษซากระหว่างการสร้างสวนสาธารณะ ก็ได้นำมาจัดแสดงอยู่ใกล้ กับทางเข้าของส่วนจัดแสดงนิทรรศการด้วย