1939年4月8日，伍绍祖出生在西安，父亲伍云甫和母亲熊天荆当时都在八路军驻西安办事处工作。那时，西安经常被日本人的飞机轰炸。有一次母亲出门办事，就把伍绍祖放在大床上。一听到轰炸的声音，她马上跑回来，发现伍绍祖已经被摔到地上，还碰翻了一盆水，但伍绍祖依然在熟睡。
后来，中央领导同志考虑伍绍祖母子的安全，于1940年2月让伍绍祖撤回延安。母亲担任陕甘宁边区政府建设厅合作局局长。1940年下半年，父亲也调回延安，担任边区政府财政厅副厅长兼边区银行副行长。1941年1月发生皖南事变后，父亲被调任八路军驻西安办事处主任。1942年上半年，父亲再次回到延安，任中央军委秘书长。同年，受毛主席指派，父亲随林彪去与蒋介石谈判，后来同林伯渠、王若飞去重庆与国民党谈判。
1943年，母亲之前在国民党监狱里感染上的肺结核病复发，住进了延安的中央医院。没有人管伍绍祖，朱德总司令就收伍绍祖做“干儿子”。后来，伍绍祖跟父亲在中央党校住了一段时间。1944年，母亲奇迹般地康复了，伍绍祖就又回到边区政府住。9月，伍绍祖被母亲送到离驻地不远的延安第一完全小学上学。
1946年元旦时，驻在延安的中央和边区的各机关的同志互相拜年，那时毛主席住在王家坪，伍绍祖跟着母亲也到了王家坪，正好延安电影团的同志也在，大家就合了一张影，伍绍祖就站在毛主席的身旁。
抗战胜利后不久，毛主席去重庆返回延安后，就说要加强备战，延安的大生产运动开展得如火如荼。
为了备战，母亲把伍绍祖送到离延安80多里的延安第一保育院小学（简称“延安保小”）。1946年底，伍绍祖被秘密地吸收为儿童团员。也就在这个时候，驻在延安城附近的抗小（抗日干部子弟小学）与保小合并。那时伍绍祖年龄虽小，但对敌人仇恨是深刻的，想着有机会能上战场与敌人拼命。
1947年，国民党派胡宗南的部队进攻陕甘宁边区。3月16日，伍绍祖随延安保小的第一批学生离开白家坪行军40里到雷咀河村，整整走了一天，到傍晚才看到山底下的目的地。休整了几天后，队伍往旧安定城走，路上遭到敌机轰炸，但没受损失。伍绍祖是第一个跑进城的。晚上我们住在被轰炸过的房子里，半夜又被叫起来，说敌人要占领旧安定城，要求立刻集合起来返回雷咀河。
行军一开始很艰苦。有一次伍绍祖与同伴走到一个没有人的村子，从一个空窑洞里找到一包辣椒粉，打了一桶凉水冲着喝了。后来村里的老百姓知道是八路的娃来了，就从地底下挖出白面，给伍绍祖与同伴做面条吃。
1947年6月，伍绍祖与同伴到了山西，在晋察冀解放区的离石县王家坡村休整了大约一个月。以后伍绍祖与同伴穿越汾河，过同蒲路封锁线，翻越太岳山到达晋冀鲁豫解放区的武安县阳邑镇。在那里呆了差不多一年。整整2000里的行军，对于不到8岁的伍绍祖来说还是很大的挑战，而且伍绍祖还被评为行军模范。1947年秋天，伍绍祖在学校见到了两年没有见面的父亲，还给母亲写了一封信报平安。
1949年3月，党的七届二中全会以后，伍绍祖随中央机关坐着杨尚昆同志的中型吉普进了北京，随父亲住在香山的镇芳楼第二层，后又搬到中南海。
从延安开始，经过2000里的行军（“短征”）到河北，最后到北京，伍绍祖见证了党如何成功夺取全国政权，成立中华人民共和国的历史。虽然伍绍祖那时还是一个不怎么懂事的孩子，但也经历了这个大变化，真是受益匪浅。 在北京市101中学（原北京师范大学第二附属中学）经过6年中学学习，1957年秋，伍绍祖以不错的成绩考入清华大学工程物理系。1964年本科毕业，又考上张礼教授名下的“高能核物理专业”的研究生。前后在清华大学呆了近8年。
大学本科毕业前，团中央书记处书记杨海波突然找伍绍祖谈话，说如果组织上需要，把伍绍祖调到全国学联做社会工作，问他愿意不愿意。伍绍祖表示坚决服从。1965年1月，在全国学联第十八次代表大会上伍绍祖被推举为全国学联主席，并在同时举行的全国青联代表大会上被选举为第4届青联常委。当选后，伍绍祖参加了在人民大会堂欢迎巴勒斯坦领导人舒凯里的宴会，舒凯里与我握手时，他惊讶地说：“你这么年轻！
1965年底，伍绍祖又被补选为广东省出席第三届全国人民代表大会的代表。这是伍绍祖在全国学联主席的岗位上经受的第一次考验。
1965年5月，伍绍祖在清华大学办了保留研究生学籍的手续，正式调到团中央机关工作，被分在团中央国际联络部组织科 。
此后，伍绍祖两次到访欧洲，一次是1965年11月以全国学联主席的身份率中国学生代表团去捷克斯洛伐克参加国际学联执委会，另一次是1966年6月随中国青年代表团到匈牙利参加世界青联的代表大会。6月24日回国，伍绍祖一下飞机就被人直接拉到团中央机关礼堂，当时正在对团中央书记处进行批判。会后，团中央书记处书记王照华同志找伍绍祖谈话，说伍绍祖的女朋友曾晓前（现在的夫人）的爸爸被定为杨尚昆的死党，要伍绍祖与之划清界限。1966年8月，伍绍祖送两位到访中国的美国青年走后回到团中央机关，看到团中央的主要领导人胡耀邦、胡克实、王伟等被“示众”，心里非常不是滋味，就向机关造反的负责人提出意见，他们也觉得不妥，到9月初就停止了这些活动。 胡耀邦、王震和张爱萍是团中央人生中的三位导师。
1969年4月份，团中央机关“一锅端”下到了河南省信阳地区潢川县的黄湖农场。5月，胡耀邦同志来到干校。伍绍祖等都被分到一连的行政处人员的班里。在与胡耀邦相处的两年多里，胡耀邦的一切从实际出发，从不迷信权威，善于运用辩证法分析问题，刻苦思考、刻苦学习等很多优良品行对伍绍祖影响至深，是伍绍祖人生中的第一位社会老师。这是伍绍祖在团中央机关七年的时间里最大的收获。
1971年9月13日林彪事件后，周恩来同志抓住时机解放和使用一批老同志，王震同志是其中之一，当时被安排在国务院业务组。王震要找一个年轻的新秘书，把目光投向了团中央机关。团中央机关的人提出了可以选择的十几个人，其中也有我。1972年4月中旬，伍绍祖担任王震副总理秘书。虽然在这个岗位的时间不长，只有三年零两个月半，但受到的锻炼却不少。王震同志成为伍绍祖的第二位社会老师，也是政治老师。 有一次，伍绍祖陪王震去看望聂帅。当聂帅了解到伍绍祖曾是清华大学理论核物理的研究生时，他对王震讲：“你怎么找了个研究生当秘书？秘书不需要这么高的学历，你应当让他归队。”王震对此很重视。
1975年，张爱萍同志回到国防科委工作，王震副总理把伍绍祖推荐给张爱萍，还亲自写了一封信，说让伍绍祖去了以后不要当大官，要从最低的职务干起。10月份，伍绍祖刚办完参军手续就去新疆马兰的核试验基地参加试验。伍绍祖有很多大学同学被分配在这个基地，所以那段时间一天到晚都沉浸在快乐之中。
张爱萍同志是伍绍祖的第三位社会老师。伍绍祖在国防科技工业战线工作的近14年深受他的影响。他非常注重个人品德修养，具有非常坚定的共产主义理想、抱负。他还有非常高尚的情操和文化修养。有一次，伍绍祖提出原子能事业要为国家多做贡献时，他在伍绍祖写的报告上批示：“要在保证军用的前提下，把重点转向民用。”这就是后来核工业部和其他军工部门提出的“保军转民”口号的由来。所以，伍绍祖把张爱萍同志称为工作的老师 。 1988年12月中旬，伍绍祖在京西宾馆参加中央军委工作会议时突然接到时任中组部副部长刘泽鹏的电话，说要把伍绍祖调到国家体委当主任。
严格说来，伍绍祖对体育是一个外行。作为国家体委主任，伍绍祖在高层次上既要管体育，又要管运动，有时确实不知道怎么办。不懂就要学习，一学就是11年半，直到伍绍祖离开国家体育领导机关时也不能算是搞明白了，但应该说是努力了。
作为体育领导机关的一把手，到了很多地方都要讲话，伍绍祖不愿意随便讲，这确实花费了许多时间和精力。伍绍祖曾开玩笑说，伍绍祖讲一小时话，平均要想5个小时，秘书根据录音整理出来最后形成定稿大概要10个小时。2008年，秘书们选出100篇讲话编成《伍绍祖文集——体育工作卷》，由人民出版社出版，较全面地记述了我在体育部门工作的11年零4个月经历的一些事，反映了改革开放30年中间的一段的体育工作情况，从一个侧面折射了改革开放的成就。
伍绍祖在国家体育工作部门做了以下一些事情，包括制订《中华人民共和国体育法》和《奥运争光计划纲要》、《全民健身计划纲要》，简称“一法两纲”；轰轰烈烈地开展全民健身运动；完成国家赋予的重大竞技体育任务，如圆满完成第十一届亚运会的工作等；开展反对使用兴奋剂的工作；积极推进整个体育事业的改革；进行了运动项目管理改革；抓了申办第27届和第29届奥运会的工作 。 2000年4月15日，中组部突然通知伍绍祖调离国家体委，那时伍绍祖正在紧张备战悉尼奥运会和申办第29届奥运会。尽管一般都认为临阵换将不好，但伍绍祖表示坚决服从组织。5月下旬，伍绍祖被调到中直机关工委。2002年接替武连元担任常务副书记。2004年5月，原中央组织部副部长孙晓群接替我担任常务副书记。在交接工作时，伍绍祖认认真真地向他交待了50件正在做的事情。从那时起，伍绍祖就专心做全国政协的工作了。
2008年3月2日，伍绍祖的十届全国政协委员的任期结束了。伍绍祖说：“ 如果我能活到80岁，作为一个马克思主义者，要积极地看待生死。一方面要与随之而来的疾病作斗争，另一方面要像革命先烈一样视死如归。我想，如果我走了，就把骨灰埋在一棵树下，让这颗树长大成荫，为地球增添一点绿色。”
