中国奥委会早在1922年就得到了国际奥委会的承认。
解放前，中国曾派运动员参加了1932年、1936年和1948年的三次奥运会。王正廷、孔祥熙和董守义三人曾先后担任国际奥委会委员。解放后，新中国首次派队参加了1952年在赫尔辛基的第15届奥运会。但不久，当时的国际奥委会主席布伦戴奇（美国）把台湾列入了国际奥委会所承认的各国奥委会名单之中，企图制造“两个中国”。中国多次抗议交涉无效，于1958年声明中断与国际奥委会的关系。
1975年，中国奥委会要求国际奥委会恢复在奥林匹克运动中的合法代表权。1979年10月，国际奥委会执委会在名古屋通过决议，确认中国为“中国奥委会”，使用中华人民共和国国旗和国歌；同时规定设在台北的奥委会为“中华台北奥委会”，使用“不同于其目前使用的旗、徽和歌”。1979年11月26日，国际奥委会以通讯表决的方式正式批准了这项决议，从而恢复了中国在国际奥林匹克运动中的合法权利。
1997年7月2日，萨马兰奇主席代表国际奥委会和香港奥委会主席沙理士，就香港名称、旗、歌问题达成协议：香港奥委会的名称为“中国香港业余体协暨奥委会”；使用印有紫荆花图案的香港特别行政区区旗；奏中华人民共和国国歌；新会徽的图案为中央是紫荆花、五环和中文“中国香港”的字样，外面是圆环，下面有英文“中国香港”的字样。这一协议符合香港特别行政区基本法精神，井保证中国香港业余体协暨奥委会将继续以独立的身份保留在奥林匹克运动中、香港运动员有参加奥运会的权利。
1979年，国际奥委会通过《名古屋决议》，恢复了中国奥委会在国际奥委会的权利。同时规定，会址设在台北的奥委会改名为“CHINESE TAIPEI OLYMPIC COMMITTEE”。大陆方面自此将“CHINESE TAIPEI”翻译为“中国台北”。1981年，台湾奥运组织确认接受《名古屋决议》，并将“CHINESE TAIPEI”翻译为“中华台北”。
1989年，两岸奥委会负责人在香港签署协议，明确规定了在大陆使用“中华台北”译名的执行单位和范围。之后，大陆方面一直按照香港协议，在协议规定的范围内，使用“中华台北”。而在协议规定范围之外，继续沿用“中国台北”的译名。台湾某些媒体和人士认为大陆媒体违背香港协议，有意将“中华台北”改称为“中国台北”，这是混淆了香港协议的内外范围，与客观事实不符，不利于双方建立互信。 资料显示，1989年4月6日，两岸奥委会负责人在香港签署了如下协议：“台湾地区体育团队及体育组织赴大陆参加比赛、会议或活动，将按国际奥会有关规定办理。大会（即举办单位）所编印之文件、手册，寄发之信函，制作之名牌，以及所做之广播等等，凡以中文指称台湾地区体育团队及体育组织时，均称之为‘中华台北’。”
中国奥委会从1980年起派队参加冬季奥运会，从1984年起全面参加奥运会，并在洛杉矶奥运会上实现了中国运动员在奥运会上无奖牌和无金牌历史性的“零的突破”。
许海峰在第二十三届奥运会上为中国夺得第一枚金牌
何振梁于1981年和1985年当选为国际奥委会委员和执委会委员。1989年8月，何振梁当选为国际奥委会副主席，这是中国人首次担任这个职务。1994年和1999年，何振粱再次当选为国际奥委会执委。1996年7月，吕圣荣作为国际羽毛球联合会主席被选为国际奥委会委员（注：吕的任期已在2001年7月结束）。2000年9月，于再清以中国奥委会副主席的身份当选为国际奥委会委员。中国在国际奥委会下属小组委员会中任职的有：何振梁（文化委员会主席）、邓亚萍（运动员委员会）、屠铭德（群体委员会）、张长久（医务委员会）、高殿民（新闻委员会）、吕圣荣（妇女和体育工作小组）、魏纪中（奥林匹克项目委员会）、于再清（国际关系委员会）、邓亚萍（体育与环境委员会）。
中国奥委会一直与国际奥委会保持着良好的关系。中国奥委会积极参加和支持国际奥委会所开展的各种活动，配合国际奥委会对其五环标志在中国实行保护。中国先后有19人荣获国际奥委会颁发的奥林匹克勋章。1986年，国际奥委会授予中国奥委会奥林匹克杯，以表彰中国对发展中国家，特别是对非洲国家体育援助作出的巨大贡献。2000年3月6日，国际奥委会在巴黎授予中国女子足球队“妇女和体育奖”。
1993年，中国奥委会曾向国际奥委会提出了北京举办2000年奥运会的申请，但最后以2票之差而落选。而2000年的奥运会的举办地则是澳大利亚的悉尼。
1999年1月6日，中国奥委会全会在北京召开，决定由北京再次代表中国申办2008年第29届奥运会。2001年7月，在第112届国际奥委会全会上，北京赢得了2008年奥运会主办权。
2001年7月13日北京申办2008年奥运会成功，图为代表团热烈欢呼
2001年，中国的哈尔滨市向国际奥委会提出了举办2010年第21届冬季奥运会的申请。不幸的是2002年8月，哈尔滨在国际奥委会对申办城市的预选中落选。
2001年12月13日，2008年北京第29届奥运会组委会（Beijing Organizing Committee for the Games of XXIXth Olympiad， 2008）正式成立。
北京奥运会的主题是“绿色奥运、人文奥运和科技奥运”。整个筹备工作将分成三个阶段进行：第一阶段为前期准备阶段，时间为2001年12月至2003年6月，主要任务是制定并实施《奥运行动规划》，健全组织领导机构，全面落实奥运场馆建设的前期工作和施工准备，环保和基础设施建设开始，市场开发工作启动运行。第二阶段为全面建设阶段，时间为2003年7月至2006年6月，主要任务是全面完成“十五”计划确定的各项任务，基本完成奥运场馆建设，各项准备工作基本就绪。第三阶段为完善运行阶段，时间为2006年7月至奥运会开幕，主要任务是对所有的建设项目和各项准备工作进行检查、调整、测试和试运行，组织工作、安全保卫工作以及各项服务工作全部就绪。
2008年北京奥运会吉祥物福娃
2008年北京奥运会奖牌
