退思园因地形所限，更因园主不愿露富，建筑格局突破常规，改纵向为横向，自西向东，西为宅，中为庭，东为园。
退思园宅分外宅、内宅。
外宅有轿厅、花厅、正厅三进。轿厅、花厅为一般接客停轿所用。遇婚嫁喜事、祭祖典礼或贵宾来临之时，则开正厅，以示隆重。正厅两侧原有“钦赐内阁学士”、“凤颍六泗兵备道”、“肃静”、“回避”四块执事牌，重门洞开，庄重肃穆，令人望而却步。
内宅是园主居住及藏宝重地，因此内宅两侧石库门均用清水方砖砌成，以防火防盗。砖木结构的封火门，据说在同里的明清建筑中，仅此两扇尚属原物，其余都为近世复制。
内宅建有十楼十底南北两幢楼，以园主字号名为畹芗楼，是园主与家眷起居之处。楼与楼之间由“走马楼”回廊贯通，南北一式落地长窗，五楼屋底挂落栏槛，檐廊相接，典雅明敞。复廊东西两侧各设楼梯，雨天不走水路，晴天又可遮阳，又为主仆上下时避让。畹芗楼下另设下房数间，供侍者居用。
退思园的中庭是西宅到东园的过渡。庭中樟叶如盖，古兰飘香，清雅幽邃。
庭中有旱船，前舱八扇长窗如锦屏障目，隔而不断，船头面对“云烟锁钥”月洞门，船身相接漏窗暗廊，隐去船尾，俨然一艘待航的客船。旱船又与南北两侧的坐春望月楼、揽胜阁、迎宾居、岁寒居等厅楼建筑相形错落，平添美感。江南古典园林中，石船、石舫极其多见，从中略可窥见水乡人家对水、对船，有着特殊的依恋情结。
登上坐春望月楼可四季望月，吟诗酬唱，也可楼前踏月，静赏花木。楼之东侧一隅为揽胜阁。
揽胜阁是一座不规则五角形楼阁，与坐春望月楼相通。此楼设计因地制宜，居高临下，可一揽东园佳境，这在江南宅第园林中独树一帜。揽胜阁使宾客中的女眷，足不出户，就可饱览园中景色。
与坐春望月楼相对的有迎宾居、岁寒居，园主当年曾于此以文会友，陶冶性情。
岁寒居用于冬日赏景，风雪之时，三五好友围炉品茗。透过居室花窗，可见潇洒清幽的腊梅，挺拔坚毅的苍松，清骨神秀的翠竹，天成一幅“岁寒三友图”，从中亦能悟得雪压青松之韵，听得翠竹敲窗之音，静中有动，声情并茂。
岁寒居正背退闲小筑与云烟锁钥月洞门，引游人从中入东园赏景，“退闲小筑”四字为同里书画家徐穆如所题，月洞门上“云烟锁钥”四字虽已见模糊，但月洞门内却别有一番靓丽的天地。
由曲廊往南是闹红一舸。退思园中，闹红一舸最富动感。
闹红一舸由石舸突兀池中，风吹不动，浪打不摇，人站船头，却有小舟荡湖之感。舸由湖石托出，半浸碧水，水流漩越湖石孔窍，潺潺之声不绝于耳。舷侧水面，行云倒影浮动，恍若舟已启航，别有情趣。石舸之四周，原植有荷花及菰蒲，夏秋季节，清风徐徐，绿云摇摇。荷池中游鱼似通人性，稍稍击掌。便成群结队而去，妙趣无比。
退思草堂古朴素雅，稳重气派，点明了园之主题。堂之北点缀建筑小品，堂之南的露台面临荷池，站立露台可环顾全园。沿曲径南行，至菰雨生凉轩。此轩又有一绝，轩底原有三条水道，荷池碧水循环其间。故轩内阴湿凉爽，每逢盛夏酷暑，于此剖瓜赏荷，热渴尽消。
自菰雨生凉轩穿过假山洞，沿石级盘旋而上，便来到堪称江南园林一绝的天桥，视野豁然开朗。
天桥，上为桥，下为廊，模似阿房宫复道。横空出世，飞越山巅，连接菰雨生凉轩，与辛台为一体。天桥前后贯通，八面来风，炎热酷暑时，到这里消暑纳凉，神清气爽。
同里退思园背景介绍：
退思园，建于清光绪十一年至十三年（公元1885-1887年）。园主任兰生，字畹香，号南云。光绪十年（公元1884年），内阁学士周德润弹劾任兰生盘踞利津、营私肥己。光绪十一年（公元1885年）正月，解任候处分，旋因查所勋都不实，部议革职位。任兰生落职回乡，花十万两银子建造宅园，取名“退思”。其弟任艾生哭兄诗有“题取退思期补过，平泉草木漫同看”之句，可见园名取《左传》“进思尽忠，退思补过”之意。
退思园的设计者袁龙，字东篱，诗文书画皆通。他根据江南水乡特点，因地制宜，精巧构思，历时两年建成此园。
退思园，延续苏州园林的风格，集清代园林之长，小巧精致，清淡雅宜，亭台掩映，趣味横生，堪称江南古典园林的经典之作。园林学家陈从周称退思园为“贴水园”，孔子曰：“智者乐水，仁者乐山”。退思园是众多电影、电视剧的外景拍摄基地，最有影响的有《家》、《春》、《秋》、《红楼梦》、《戏说乾隆》等。
退思园以其深刻的文化内涵，联接同里渊源流长的历史，给人以遐想和启迪。1986年，美国纽约市在该市斯坦顿岛植物园内，以退思园为蓝本，建造了一座面积三千八百五十平方英尺的江南庭园，取名“退思庄”。小小退思园已跃出国门，走向世界。
2001年，退思园被列为世界文化遗产。
退思园仅占地九亩八分，既简朴无华，又素静淡雅，具有晚清江南园林建筑风格。园内布局独特，亭、台、楼、阁、廊、坊、桥、榭、厅、堂、房、轩一应俱全，并以池为中心，诸建筑如浮水上。周末开放的园中夜花园景色别致，不容错过。
退思园庭中遍植丛桂，金秋时节，馥郁芬芳，风清月明夜，于园中楼阁品茗赏花，心怡神往，更给人“人行空翠中，秋闻十里香”的享受。
