天保14年12月18日（1844年2月6日）生于肥后（今熊本县）的下级武士家庭，是肥后国熊本藩家老长冈是容（监物）的陪臣饭田权五兵卫的第三子，庆应2年（1866年）过继给井上茂三郎为井上家的养嗣子。幼年习汉学，主君长冈监物发现他的才能，介绍他进入熊本藩家老米田家开设的家塾必由堂读书，师从木下犀潭。后被拔擢为居寮生进入熊本藩的藩校时习馆就读，以藩内秀才而知名。1867年游学于江户（今东京）、长崎，师从幕府开成所教授林正十郎学习法国学。明治维新时从军，参加戊辰战争。1870年（明治3年）作为贡进生进入开成学校（大学南校，原幕府开成所，后为文部省管辖的洋学研究·教育机关）学习。1870年10月14日（明治3年9月20日）应时习馆前辈、大学少博士冈松甕谷之招任大学南校的小舍长。1871年1月30日（明治3年12月10日）任中舍长。1871年3月30日（明治4年2月10日）依愿免官。
1872年1月19日（明治4年12月10日）任明治政府司法省十等仕官，1872年3月23日（明治5年2月15日）任司法省中录。1872年7月19日（明治5年6月14日）因通晓法语被选派为司法省的8人西欧使节团成员，随司法卿江藤新平赴欧洲以法国为中心考察法国、德国司法制度。1872年8月12日（明治5年7月9日）任司法省大录。1872年9月21日（明治5年8月19日）任明法大属。1873年（明治6年）9月6日归国。1873年（明治6年）11月10日补司法省七等出仕。井上毅在回国后受参议兼内务卿大久保利通登用，开始崭露头角。1874年日本侵略台湾事件发生后，1874年（明治7年）8月17日随议和大使大久保利通赴北京与清政府办理交涉，参加在北京的中日谈判。同年11月15日归国。同年12月9日以出使清国之勋劳，受赐白羽二重二匹。1874年（明治7年）12月28日任权中法官。1875年（明治8年）3月23日兼补司法省七等出仕。同年4月25日补六等出仕。同年7月8日补五等出仕。同年9月20日任二等法制官。1876年（明治9年）6月19日任法制局主事。1878年（明治11年）5月大久保利通被暗杀后，井上毅作为右大臣岩仓具视的谋主活跃于中央官僚机构。
1877年（明治10年）1月18日——1878年（明治11年）10月30日任内阁大书记官。1877年（明治10年）1月19日任法制局专务，同年3月26日在西南战争时期兼办别动第二旅团军务。同年12月25日任刑法草案审查委员。1878年（明治11年）3月30日任地方官会议御用挂，同年9月4日兼任内务大书记官。1879年（明治12年）3月10日——7月16日兼任内阁大书记官。1880年（明治13年）3月5日——1881年（明治14年）10月21日任太政官大书记官、内务部勤务。1880年（明治13年）4月15日免内务部勤务，充法制部勤务，任法制部主事。1880年（明治13年）11月30日——1881年（明治14年）3月4日出使北京。1881年（明治14年）10月21日——1885年（明治18年）12月22日任参事院议官、充法制部勤务。1882年（明治15年）2月18日兼任条约改正御用挂，同年3月4日兼任《土地欺隐及私自开垦布告案》提交元老院议定内阁委员，同年4月8日兼任《户籍规则》提交元老院议定内阁委员，同年7月19日兼任《请愿规则》制定和元老院议定内阁委员，同年12月20日兼任《府县会规则并地方税规则布告案》提交元老院议定内阁委员。1882年（明治15年）2月28日——1883年（明治16年）7月16日任太政官内阁书记官长。
1881年（明治14年），井上毅协助岩仓具视、伊藤博文策划“明治十四年政变”。同年参与决定开设国会诏书的基本方针，草成“钦定宪法”纲领。期间还参与同清朝、朝鲜的外交交涉。1882年（明治15年）起草《军人敕谕》。1884年（明治17年）3月22日兼任制度取调局御用挂。1884年（明治17年）8月27日任宫内省图书头（图书寮长官，负责朝廷书籍管理、国史编纂和佛经、佛像的管理以及文房四宝的制造）。1884年（明治17年）12月21日随特派全权大使井上馨伯爵出使朝鲜王朝谈判缔结《汉城条约》。1885年（明治18年）2月3日任外务省御用挂，2月24日随特派全权大使伊藤博文伯爵出使清国谈判缔结《中日天津条约》。1885年（明治18年）12月28日被任命为临时官制审查委员长。1886年（明治19年）协助伊藤博文起草《大日本帝国宪法》。1888年（明治21年）2月7日任第一次伊藤博文内阁法制局长官（一等敕任官），并赐下级俸。1888年（明治21年）4月30日——1889年（明治22年）12月24日任黑田清隆内阁法制局长官。1889年（明治22年）起草《皇室典范》。1889年（明治22年）12月24日——1891年（明治24年）5月6日任第一次山县有朋内阁法制局长官。
1888年（明治21年）4月30日——1889年（明治22年）5月10日兼任枢密院书记官长。1889年（明治22年）7月9日——1890年（明治23年）2月12日兼任官制调查委员长。1889年（明治22年）10月14日——1890年（明治23年）8月23日兼任临时帝国议会事务局总裁（敕任官一等）。1890年（明治23年）1月28日赐上级俸。1890年（明治23年）7月19日——1893年（明治26年）3月7日兼任枢密顾问官。1890年（明治23年）10月参与起草《教育敕语》，强调国家主义的教育方针。1890年（明治23年）12月2日兼任宫内省文事秘书官长（敕任官一等）。1893年（明治26年）3月7日——1894年（明治27年）8月29日任第二次伊藤博文内阁文部大臣。1894年（明治27年）8月29日依愿免官。
1890年（明治23年）7月29日叙正三位，1895年（明治28年）1月7日特旨列入华族，依功勋叙爵为子爵。1895年（明治28年）3月15日因肺结核病死于叶山的别邸，卒年51岁。
