圆明园最早为康熙赐给皇四子胤祯的赐园，胤祯即位后按照御园的要求对其进行扩建，在南部修建宫廷区，并大规模向东扩展园地。到雍正末年，园内建筑已不少于160座，占地超过3000亩。乾隆帝在位六十年间对圆明园的增建规模更是可观，除了修建四十景外，还仿建西湖十景、江南名园，此时园内有匾额的园林建筑达600多座。
圆明园平面
乾隆十年至十六年、三十一年至三十三年，两次修建东边的长春园，作为退位当太上皇后的休养之所。乾隆三十三年把熙春园（今清华大学），春熙院（淑春园，今北大北部）并入圆明园，乾隆三十五年将南边的春和园也并入圆明园范围，后改名绮春园，从而形成了占地六千多亩，建筑超过上千座的圆明五园。嘉庆时将春熙院赐予庄静固伦公主，道光时将熙春园赐予惇亲王绵恺，后又分赐皇四子、皇六子（咸丰帝及恭亲王），咸丰即位后熙春园改名清华园。
圆明园正大光明殿
长春园海晏堂
1860年10月英法联军攻下八里桥后直趋北京。当时英军部队在京北的黄寺一带迷路，法军则于10月6日（农历八月二十二日）攻至德胜门外，与清兵小股部队发生战斗。清兵退往城内固守，法军遂经德胜门外土城关（元大都健德门遗址）直奔海淀。其先头部队于10月6日傍晚来到圆明园，击退守护园门的几十名护军后进入园内，并开始顺手牵羊拿走一些小件的物品。
第二天，即10月7日星期天清晨6时，蒙托邦与法军高级将领进入圆明园参观，英军炮兵军官亨利·诺里斯也随行，据他在回忆录中所称，当时蒙托邦“的的确确地说，当英人来到的时候，行宫内的东西简直没有人触动过。但是与此相反的证据却极可惊骇地丰富”。当天上午11时，额尔金爵士和英军司令霍普·格兰特也到达圆明园。经与法军统帅协商，联军司令部下令可以自由劫掠，于是抢劫就变成公开的了。
关于圆明园内堆积如山、五光十色、令人目眩心骇的各种珍宝秘藏，参与抢劫的英法军人在回忆录中都多有描述。蒙托邦本人一本正经地对英军说圆明园内的财宝“没有（法国）人触动过”，但他的帐篷里却堆满了五光十色的绫罗绸缎和华丽的丝绣，法军士兵则在他的帐篷外面公开叫卖镶满宝石和珍珠的珐琅怀表，25个银元便可买到一块。当英法军官参观皇帝寝宫的时候，英军军官发现殿内的金表和小件的珍贵物品以骇人的速度消失在法国绅士们的口袋之中。
在抢劫当中，英国人更留意瓷器、景泰蓝、古画、钟表等古玩，以便携回英国作为纪念此役的物品，而法国人却注重更实在些的利益，抢劫的多是金银、宝石、锦缎、玉器、朝珠、皮货等物品。此外法兵抢劫比较散漫，手持木棒，遇珍贵可携着则攫而取夺，遇到珍贵而不可携的大瓷器、大铜器、大玉海、大珐琅器、紫檀宝座等物，便以棒猛击，必粉碎而后快。而英军的抢劫比较有组织。
格兰特将军组成了一个战利品委员会，在园内珍藏中挑选送给维多利亚女皇的精品，以及作为部队公益金的战利品。蒙托邦也下令从圆明园的珍贵陈设中挑选出一些顶级珍品，准备献给拿破仑三世和欧仁妮皇后。这些战利品如今在法国枫丹白露宫的中国厅和卢浮宫的拿破仑三世起居室内展览，包括商周青铜器，明宣德青花莲大碗，康雍乾三朝五彩和粉彩瓷器，乾隆年造金塔、金曼荼罗，明景泰蓝薰炉、尊、觚、吊灯；各种玉雕、玉玺、如意、龙袍、盔甲、丝绣，各种翡翠、田黄、玛瑙、珊瑚、水晶、文竹、黄杨木、牙雕、漆雕之珍奇玩物，以及成对大象牙、整面墙大小的乾隆缂丝无量寿佛大立轴、乾隆《御制八征耄念之宝记》碧玉册等。
欧仁妮皇后在枫丹白露宫的中国馆
枫丹白露宫的中国馆
英法联军对圆明园的掠夺在10月8日达到高潮，连英军挑选出来预备留给维多利亚女皇的战利品也有许多被法军抢去了。10月9日格兰特和蒙托邦下令结束抢劫，向北京进发，在安定门外驻营。由于当时英军士兵不准擅自离营，故进入圆明园的英国军人基本上全是军官，导致士兵愤懑不平。10月11日，格兰特将军下令英国军官将掳掠来的财宝全部送至战利品经管人处，公开拍卖，然后将赃款均分给全军。拍卖一共进行了三天，所得为三万二千两，再加上从圆明园内搞到的库银六万一千两，总值九万三千两，约合123000银元或26000英镑，其中三分之一由军官瓜分。格兰特、约翰·米切尔、罗伯特·内皮尔三名高级军官辞让了各自的那一份。军官们为了对格兰特表示感谢，赠给他一把雕满花纹、镶嵌红蓝宝石的赤金酒壶，这是英军赃物中最精致的一样东西。许多英国军官分到银元之后跑到法国兵营，从法国兵手里购买金表、珍珠、玉石和皮货。另三分之二的拍卖收入在英军的士官和士兵当中平分，平均每人分到了17块银元，大约折合3.6英镑。
英军在海晏堂前拍卖战利品
当然联军劫夺的财宝远不止此价值。一名法军军官拿到了一串珍珠，有小孩玩的弹子那么大，后来在香港以3000英镑的价格把这串珍珠卖掉了；阿美士德勋爵献给清帝的时钟，原值200英镑，法国兵却以20银元出售；一卷古书，在北京城内古玩铺可卖数两黄金，也贱价一元变卖……《泰晤士报》驻华记者估计英法联军从圆明园掠夺的财物价值高达600万英镑（约合今天的6亿到7亿美元左右）。此外根据清代宫廷陈设档记录，仅三山五园中有案可查的物品损失数字就达124568件。
关于劫掠圆明园的始作俑者，清人有一些不同的说法。其一为龚自珍之子龚橙（半伦）在上海担任英国领事秘书，在英军北上时向其献计说清国之精华均在圆明园，故英法兵直趋圆明园，而紫禁城得免于难。此说在清朝古老笔记中有所提及。其二为劫掠圆明园之经过，或称文宗（咸丰）北狩，园中大乱，宫人与海淀细民争夺之，随后英法大掠之；或称夷人入圆明园，见陈设巨丽，相诫勿入，恐将来以失物索赔，而“旗人贵族穷者，倡率奸民，假夷为名，遂先纵火，夷人还而大掠矣”（王闿运《圆明园词》小注）。
事实上法军在10月7日当天就顺手焚烧了圆明园内的九州清宴、长春仙馆、上下天光、山高水长、同乐园、大东门等十八处建筑。住在九州清宴的道光皇帝遗孀常嫔“因惊溘逝”，估计是死于火中。与此同时英军也焚毁了圆明园大宫门外东侧的衙门朝房，以及海淀镇老虎洞、娘娘庙大街的部分民居。但此时尚未开始大规模纵火焚园。
虽然格兰特将军此前已经宣布只要交出安定门就不对北京进行攻击或破坏，但额尔金勋爵坚决要求焚毁圆明园或紫禁城，以作为清方拘禁和杀害英法谈判代表的报复。虽然也有法国代表在通州谈判中被清方拘捕（英方26人，被拘捕后死13人；法方13人，7死6伤），但葛罗男爵和蒙托邦唯恐和谈破裂，都力劝英国人不要焚毁圆明园。格兰特将军致信蒙托邦说“……若对中国所犯下的、不顾国际公法的残酷行为不加以报复，则英国国民必然为之不满……圆明园宫殿为重要之地，人所共知，毁之可以予中国政府以打击。造成惨局者为此辈，而非其国民，故此举可谓最严创中国政府、而就人道而言亦不可厚非也。 ”
英军统帅既决定焚园，遂于10月18日（农历九月初五）清晨派约翰·迈克尔率三百多名骑兵前往圆明园纵火。由于纵火工作是分头进行的，因此圆明、长春、绮春三园内各处同时起火，整个宫苑变成一片巨大的火海。大宫门外的六部朝房、銮仪卫值房、内务府值房、澄怀园（翰林花园）、上驷院、武备院，畅春园恩慕寺、恩佑寺，以及西苑阅武楼、清溪书屋等建筑全被烧毁。10月19日，迈克尔马队又前往万寿山清漪园、玉泉山静明园、香山静宜园等处纵火（此前清漪园、静明园已分别于10月7日和8日遭英军及中国土匪抢掠，静宜园暂未遭抢掠，各殿陈设照旧）。
根据三品顶戴内务府大臣明善在咸丰十年十月初四的奏折描述，英法联军初次入园抢掠焚烧时尚无土匪，但从八月二十三（10月7日）以后，不时有居住在海淀、清河、以及京西北沙涧、贯市一带的土匪入园，趁乱抢劫，后被护军拿捕正法五人（包括一名叫敬如的僧人），方有敛息。事后昌平州从土匪手中起获御书、字画192张，玉版册页、玉瓶、玉钟等84件。此外，被英法联军及土匪沿路遗撒、委弃于地的《王诜诗词帖》、《喜溢秋庭图》、《山居图》、《陶潜归去来图》、《仙庄秋月图》等字画手卷多件，以及“乾隆松荫横琴玉山子、瑞石古洞玉山子、白玉雕花如意、无量寿玉佛、钧窑磁盘、大玉杯、珐琅瓶、玉莲蓬壶、铜佛、蜜蜡手串、蓝宝石手串、沉香手串、翡翠扳指、玛瑙扳指、黄玉手镯、小玉蟹、黄杨木瓶、银花茶盅、洋表、鹿角、楠木座、芭蕉扇、葛纱袍、青缎元狐皮袄、灰鼠皮袄……”等零星玩物陈设，多被附近村民捡去，后均由清廷追查索回。
圆明园虽在庚申英法联军之役中遭焚毁，但仍属禁苑，并设有守园门监，并未全部废弃。英军虽然想将圆明园全部夷平，但由于三园太过广阔，终未被全毁。同治十二年（1873年）有重修圆明园之议，清内务府曾经派员查勘遗址，当时尚有廓然大公（双鹤斋）、紫碧山房、鱼跃鸢飞、耕云堂、慎修思永、思过堂、课农轩、顺木天、庄严法界、春雨轩、杏花村、文昌阁、魁星楼等十三处景区未被毁，此外还尚残留有圆明园大北门、藻园门、福缘门、丽春门、蓬岛瑶台、林渊锦镜（藻园）、藏舟坞，长春园宫门、海岳开襟、法慧寺琉璃塔，绮春园新宫门、正觉寺、运料门等建筑。此后慈禧太后和同治帝打算择要重修圆明园，并将绮春园改名“万春园”，作为太后居所。但该计划终因财力不足而在开工11个月后作罢。
1900年前的圆明园双鹤斋
1900年前的圆明园双鹤斋
1900年前的圆明园双鹤斋规月桥
此时的圆明园除幸存建筑外仍保留有大量的名贵花木、山水叠石、建筑基址，桥梁、道路、园墙和园门大多完好。直到光绪年间，清室对圆明园内一些景点仍有小规模维修，慈禧太后和光绪帝曾多次到园中游幸，如甲午战争之后的光绪二十二年（1896年）三月，慈禧与光绪就从藻园门入圆明园，到中路九州清宴岛的慎德堂少坐，浏览“样式雷”呈递的重建图纸，随后又去双鹤斋、海岳开襟、黄花镇迷宫等处游玩，最后经二宫门返回颐和园。这年九月开始修理双鹤斋、课农轩、环秀山房、以及万春园内的桥梁，工程费四万多两。
1900年八国联军之役，慈禧挟光绪帝仓皇西逃，地方官员也早已逃跑一空。圆明园附近八旗旗兵均携带快枪返回家中，不久之后便化兵为匪。拆匪进入圆明园废墟，拆除残存的各处建筑，并砍伐园内树木，在圆明园内建起无数炭窑，大的木料当作建筑材料买，小件木材就地烧炭。，附近的清河镇上一时木材堆积如山，交易旺盛。
在庚子劫难中，圆明园之西路多毁于精捷营，北路毁于清河北黄旗营，长春园多毁于两白旗大小营。其中拆园最烈者为镶白旗小营与精捷营之“八大恶棍”。两伙拆匪为了争抢绮春园之“庄严法界”、“敕建河神庙”、“惠济祠”，与庙周围的大片柏林，竟发生火并，各死十多人，后经中人调停，改为共同拆售，售价由两伙人平分。
又如长春园之海岳开襟，位于湖中，在1860年时由于船只先被联军焚尽而幸免，光绪年间慈禧曾到此游幸，并将其修葺一新。至庚子时，八旗拆匪扬言要拆此处，该处太监首领杨四率4名太监、园户头目周德海率10名园户据岛死守，拆毁木桥。至拆匪前来时，喝令搭上桥板，否则打过去休想活命，周德海等人与拆匪展开枪战，击毙十余人。但至天寒之后，园户恐怕湖面结冰，又怕拆匪报复，乃离岛返家。镶白旗小营拆匪闻讯后于农历十月十四日占领了海岳开襟，将大量陈设箱子撬开，其内珍宝一夜抢尽。硬木桌椅等笨重之物又抢了三日夜，最后将殿柱锯断，用大绳拉倒，将木材抢运了十余日，最后砍伐周围的松柏大树，七八日方砍完。
海岳开襟
三十年代的海岳开襟遗址
圆明三园内其他幸存建筑，如蓬岛瑶台、双鹤斋、课农轩等等，也基本上全都毁于此时。除了木料外，园内全部铜铸品，包括宫门铜狮、海晏堂喷泉十二兽首（已拆下装箱保管）、大水法喷泉的紫铜水管，养雀笼的落地铜网，也都是在这一时期遭到洗劫的。
经过庚子年的洗劫，圆明园残存的、以及同治光绪年间修复的少量建筑，也荡然无存了。光绪三十年（1904）裁撤了圆明园的相关官员。1911年辛亥革命后，圆明园遭到第三次劫难。占据北京的军阀将西洋楼一带和园内其他地方拆匪搬不动的笨重石物陆续移走。王怀庆拆除了舍卫城、安佑宫的大墙和西洋楼石料来修筑达园（今圆明园附近的达园宾馆）和东四十一条的私宅；张作霖用园中的汉白玉石料为自己修建墓地。
民国初年颐和园事务所很大一部分收入就来自卖圆明园残物。空车进去，随便装满一车，出门交一块钱，有权有势者如王怀庆之流还不给钱。中山公园拉走了“坐石临流”遗址的兰亭修褉图石屏和兰亭八柱石刻（原存于颐和园，40年代调往中山公园）、“海岳开襟”和“别有洞天”的太湖石、万春园的仙人盛露盘石座、以及远瀛观的西洋式石栏（今中山公园南门内）；燕京大学拉走了安佑宫的三根华表、一块龙凤丹陛石、一对汉白玉麒麟（另一根华表移至天安门前，后来北京图书馆建馆时取走，又从燕京大学索来多余的一根）；远瀛观的西洋翻尾石鱼和观水法的西洋甲胄石屏被颐和园事务所总管载涛运到了自己的朗润园。
北京图书馆还运走长春园大东门石狮子一对、文源阁石碑两块、昆仑石一座等。颐和园东宫门的丹陛取自安佑宫正殿，仁寿殿前的铜麒麟取自长春园二宫门，其一只右腿曾被八旗拆匪毁掉，移到颐和园后才配上，至今仍可看到修补的痕迹。此外东交民巷各公使馆、协和医院、双合盛啤酒厂都从圆明园取石。除了遗址上的汉白玉台基、台阶、条石之外，地面上的方砖、屋瓦、墙砖，地下的木钉、木桩……无不从圆明园废墟上搜罗净尽，每天几百车地断续拉了三十年。
1873年德国人奥尔默拍摄的海晏堂遗址
1920年代的海晏堂遗址，可见民初人为破坏之惨烈
圆明园的第四次劫难从1940年开始，当时占领北京的日本当局奖励开荒，于是开始平山填湖。当时耕户多为园户的后人，以及从定兴、新城两县引来的亲友，但人数不多，再加上圆明园的面积太大，直到五十年代初，前后湖和长春园仍残留大片水域，山水格局如故，水丰土泽，中科院北京植物园曾计划以此处为址。不过，从“三年自然灾害”时期开始，附近的生产队要回了园林局征购的土地，流入圆明园遗址中的人口迅速增多，开始大规模地平山填湖、砍树造田。圆明园汇万总春之庙（花神庙）的一棵马尾松在1860年、1900年两次幸免，被当地居民称为“神树”，五十年代末也被公社砍倒。此树横卧在地上，对面不见人，其粗大可知。此外除了101中学占用圆明园升平署遗址外，不断有新单位进入圆明园，拆遗址盖房子，甚至建起了公社一级的马场、猪场、鸡鸭场、区供销社土产部、装订厂、机械修造厂，乃至垃圾场、粪场……
圆明园万春园的三孔桥，在五十年代拆毁
圆明园毕竟根底雄厚，虽然此前屡经残毁，但直至六十年代，在长春园西部与福海东岸、以及绮春园的“绿满轩”、“望和堂”等处还残存些杏花春雨、碧潭云影、柳陌菱塘之类的小景，至此也全部毁灭殆尽。长春园大东门七孔出水闸、绮春园运料门、三孔桥，以及幸存不多的虎皮石园墙，也都毁于这一时期。
到1975年，圆明园南边的绮春园尚有最后一处幸存的完整景点正觉寺，包括天王殿、三圣殿、文殊阁等建筑，民国时被理藩院的颜惠庆买下改为私人别墅，后来成为清华大学宿舍。1975年清华大学退出，海淀机械修造厂进入，乱拆乱建，至九十年代已经毁光了90%的古建筑，并且砍光了近百株的松柏树林。至此硕果仅存的一处圆明园遗存也被完全消灭。
值得一提的是，现在有许多人动辄断言说“八国联军火烧圆明园”。此讹传由来甚久，不光作家丛维熙在1998年，清史专家阎崇年央视《百家讲坛》都持此说，甚至早在五六十年代的一些反帝宣传书籍就有“英法联军和八国联军两次焚毁圆明园”的说法。实际上1900年慈禧挟光绪出逃后，一部分德军部队追击董福祥部队未果，返回海淀后驻扎于朗润园（今北大校园内），之后另有意军部队入驻玉泉山，此外俄军、日军及美、英、意军队也相继入驻过颐和园。这几处园林内的珍宝陈设被联军劫掠一空，并砍取门窗、隔扇、内外檐装修做燃料，任意毁坏。但是圆明园在庚子之役中并未遭八国联军破坏，而是毁于八旗拆匪之手。说圆明园“在八国联军时期被彻底毁灭”尚可，但说“八国联军火烧圆明园”就属于历史笑话了。