中国科学技术大学自1958年成立以来，便设立了综合档案室。依据国家教委的"六号令"（1989年），档案馆按照处级建制设立并逐步发展。该馆在档案工作方面成绩显著，曾多次被评为全国和省级的先进集体。1995年5月20日，经过由中科院办公厅委托安徽省档案局组织的专业专家评审，档案馆晋升为国家二级档案管理单位。
国家档案局的领导层也对该馆给予了高度关注，如国家档案局副局长郭树银和局长毛福民分别于2000年4月和2002年8月访问中国科学技术大学，对档案馆的工作表示满意，尤其是对档案信息的开发工作给予了肯定。
自1998年起，丁毅信担任档案馆馆长一职，全面负责馆内事务。馆藏丰富，自1958年起累积的档案量庞大，截至2008年，已近15万卷（件）。馆内收藏各类重要档案，涵盖了党群、行政、教学、科研、外事、基建、出版物、声像、人物等多个门类。其中，珍贵的馆藏包括校领导如郭沫若、严济慈、华罗庚、钱学森的亲笔手稿，以及国家领导人邓小平、江泽民、李鹏、乔石、聂荣臻、方毅、张劲夫、严济慈等人的题词。更有郭沫若、严济慈、赵忠尧、钱临照等人的工作与生活用品实物档案，这些都极具历史和科研价值。
中国科学技术大学档案馆成立于1992年12月，校史馆成立于2004年年5月。档案馆、校史馆合署办公，处级建制，现任馆长丁毅信研究员。馆内设档案保管与利用室、信息技术与综合室、文书档案业务室、教学档案业务室、科技档案业务室、校史研究室。现有员工13人，其中高级职称3人，中级职称7人。档案馆位于校西区图书馆楼，校史馆位于校东区219楼，两馆使用面积均1000余平方米。