宋代建立了皇家画院。据《画继》作者邓椿记述，宋徽宗亲自主持画院，讲求“形似”和“法度”，法度是要学习传统，形似是要真切细致地再现客观事物。宋徽宗以写实、形似为主导思想，发展精工细刻的作风。宣和画院的上述画风在南宋绍兴画院继续得到发展，画家追求形象的逼真，构图的提炼。总的说来，两宋宫廷绘画都追求高度的“写实”，有的美术史家把两宋宫廷绘画称为“东方写实艺术的巅峰”。 写实艺术发展到极点就容易走向反面。宋代一些具有广博文化修养的画家就发现了这一弊端，并从理论和实践上另辟蹊径，首次提出了文人画的理论。
苏轼第一个比较全面的阐明了文人画理论，对于文人画体系形成起到了决定性的作用。首先，他提出了“士人画”这一概念，“观士人画，如阅天下马，取其意气所到。乃若画工，往往只取鞭策皮毛槽枥刍秣，无一点后发，看数尺许便倦。汉杰真士人画也。”（《东坡题跋·跋宋汉杰画》），其次，他抬高了画家王维的历史地位，表现出将文人画家与职业画家（画工）分开来的愿望：“吴生虽绝妙，犹以画工论。摩诘得之于象外，有如仙鬲谢龙樊。”（凤翔八观·王维吴道子画） 再次，他倡导诗情画意的文人画风格，反对完全追求形似的画工风格，“味摩诘之诗，诗中有画。观摩诘之画，画中有诗。
从绘画实践上看，苏轼的《枯木怪石图》可以看到他的美学实践，另外文同的墨竹图与苏轼共同开创了“枯木竹石”的文人画题材。人物画方面，具有很高文学、书法、古物鉴赏能力的李公麟把唐代的“白画”创造性的发展为白描，这种脱离色彩的线条更加强调书法功力和抽象的审美情趣，更加符合文人的审美标准。南宋米芾、米有仁父子独创的“云山戏墨”和“米点皴”，标志着山水画以简代密地转变，经元初的高克恭继承发展，对元明清的文人画产生了巨大影响。 元代文人处境相当卑贱，文人士大夫放弃仕进，疏于人事。在宋代主要作为仕宦文人业余文化生活的文人画，开始更多地转入在野文人手中，成为他们超越苦闷人生重返自然的慈航。画家心中的山水，寄寓了画家远离尘世的理想，融入画家忘情于大自然的自由心境，也渗入了无可奈何的萧条淡泊之趣。
随着元统治者吸收亡宋遗民参加政权和文化建设，在南北美术交流中，出现了在变革中影响一代绘画风气的赵孟頫。如果说苏轼是文人画的积极提倡者，那么赵孟頫就是开元代文人画风气的领袖。作为美术理论家，赵孟頫在《松雪斋集》中主张“以云山为师”，“作画贵有古意”和“书画同源”，为文人画的创作奠定了理论基础；董其昌绍述：“赵文敏（赵孟頫）问画道于钱舜举（钱选），何以称士气？钱曰：“隶体耳，画史能辨之，即可无墨而飞，不尔便入邪道，愈工愈远。” ”又引申为：“士人作画，当以草隶奇字之法为之，树如屈铁，山如画沙，绝去甜俗蹊径，乃为士气。都重视把书法的笔墨情趣引入绘画，勾勒线条亦具文人的典雅风格。
在元代绘画实践上，元初以赵孟頫、高克恭等为代表的士大夫画家。提倡复古，回归唐和北宋的传统，主张以书法笔意入画，因此开出重气韵、轻格律，注重主观抒情的元画风气。元代中晚期的黄公望、王蒙、倪瓒、吴镇四家及朱德润等画家，弘扬文人画风气，以寄兴托志的写意画为旨，推动画坛的发展，反映消极避世思想的隐逸山水，和象征清高坚贞人格精神的梅、兰、竹、菊、松、石等题材，广为流行。其代表人物倪云林就有一段具有代表意义的文人画论：“余之竹聊以写胸中逸气耳，岂复较其似与非、叶之繁与疏、枝之斜与直哉!或涂抹久之，他人视以为麻为芦，仆亦不能强辩为竹，真没奈览者何。” （倪瓒：《题为张以中画竹》）文人山水画的典范风格至此形成。 明代初年画家分为两派：一派始忠于宋元文人画的传统；另一派是复古派，即明初复兴的皇家画院中继承南宋“马夏”院体山水画传统的戴进、吴伟等人。但“吴门派”为代表的明代文人画，扫除了“复辟”的“院体”画，把元人奠定的文人水墨风格推向更高一个阶段，其主要人物是沈周、文征明、唐寅与仇英。吴派画家的主要成员大多属于诗书画三绝的文人名士，他们敏感或切身体验到仕途的险恶，于是淡于仕进，优游林下，以诗文书画自娱，他们尚意趣、精笔墨、继承“士气”的元人绘画传统，表现自己的品格情怀。
晚明张宏一出，拓展了文人山水画新的境界。至此，文人画在实践和理论上均已发展成熟，而张宏则予以总结和创新，遂使以文人画为主要特征的中国传统山水画臻于完全成熟的境地。张宏之于绘画的最大影响，在于他重视继承古代人的笔墨传统，把对风格的追求作为艺术的重要目的。而且，由于他具有深厚的文化修养，有各自的美学追求，从而也具有一定的创造性。张宏的笔墨技巧和表现手法，对后来画坛有很大影响。涌现出一批师法自然，重视写生的优秀画家 。
约自万历至崇祯（1628～1644）年间绘画领域出现新的转机。徐渭进一步完善了花鸟画的大写意画法。陈洪绶、崔子忠、丁云鹏等开创了变形人物画法。以张宏为代表的苏州画家在文人山水画方面另辟蹊径，创作出了富有生活气息的绘画作品。他们在继承吴门画派风格和特色的基础上，加以创新，回归自然，到大山里去写生，师自然造化，悟出了绘画的真谛。在画中体现出超凡脱俗的精神境界，使山水画活了起来。
张宏的写生论及其师法自然地绘画实践，哺育了明清一大批山水画家，其中佼佼者，当为画史所称的石涛、八大山人和扬州八怪为代表的革新派，还有四王和吴恽等画家。四王和石涛、八大山人等人的绘画虽有区别，但都是为了表现各自的笔墨趣味和独特个性，因而，四王和石涛都是文人画内部的两条路子，一条是从创作实践进行总结和提炼，使中国绘画走向程式化的道路；另一条路是继续进行笔墨的艺术实验与大胆革新，以求进一步发展，两者皆有显著的历史功绩，体现了变与继承的辩证关系。 翰墨丹青古来即称“雅好”，“雅”人之“好”的标尺，就是格调。这和画家的人品有一定的关系，但不是全部，更重要的是画家接受的教育和所处的环境。对格调的赏析与赏析者的品位有极大的关系，即俗语所说“好画还需识者看”。
文人画是一种综合型艺术，集文学、书法、绘画及篆刻艺术为一体，是画家多方面文化素养的集中体现，尤其和书法的关系更为密切。书法中的点、线和笔画间组合不但是构成艺术形象的基本元素，而且是重要的、具有独立审美价值的欣赏对象。运笔的疾徐轻重，点线的疏密粗细所形成的特有的节奏和韵律，要能体现出画家创作过程中特有的心态、气质和个性，并将这些与所表现的事物的形神有机地结合起来，做到心手相应，气力相合，迹虽断而气连，笔不周而意周。
在色彩和水墨上，文人画更注重水墨的运用，讲究墨分五色。王维之所以受到苏轼、董其昌的极力推崇，最重要的原因就是在后期创作中开水墨画的先河。文人画家所以重水墨而轻色彩，这同中国传统绘画的艺术观念和审美观念有直接关系，即传统绘画一直不曾把真实地再现事物的表象作为创作目的，而是把揭示事物的内在神韵作为最高的艺术追求。基于这种宗旨，又形成了民族特有的美学思想，即摒弃华艳，唯取真淳，讲究绘事后素、返朴归真、大巧若拙等等，这些都成为文人画家在艺术上的自觉追求。
文人画特色和体系的形成，又与文人士大夫将绘画视为精神调节手段有关，创作对这些画家来讲，起到的不过是一种精神舒络的作用，这样，不为物役，不被法拘，以最简单的工具（笔、墨、纸），最概括的语言（黑、白、灰3色），传达出最深切的感受，就成为创作中的必然的选择。
文人画的历史发展及代表人物：
魏晋南北朝：顾恺之、张僧繇
隋唐五代：吴道子、阎立本、王维、李思训、荆浩、关仝、董源、巨然、张萱、周昉、黄荃、徐熙、韩干、薛稷
北宋：苏轼、李成、范宽、李公麟、米芾、郭熙、赵佶、张择端、李嵩、王希孟、文同、吴元瑜、崔白、易元吉、赵昌、王心鉴
南宋：李唐、刘松年、马远、夏圭、陆探微、吴炳、赵伯驹、陈容、林椿、米友仁、梁楷
元朝：黄公望、倪瓒、王蒙、吴镇、赵孟頫、夏永、赵雍、王渊、王冕、任仁发、柯九思、方从义、顾安、颜辉、刘贯道
明朝：戴进、王绂、周臣、商喜、吕纪、林良、沈周、文征明、唐寅、仇英、张宏、陈淳、徐渭、吴彬、吴伟、崔子忠、篮瑛、项圣谟、陈洪绶、陈栝、丁云鹏、曾鲸
清朝：八大山人、石涛、王时敏、邹喆、王鉴、王翚、龚贤、髡残、王原祁、吴历、弘仁、恽寿平、樊圻、谢荪、胡慥、郑板桥、金农、蒋廷锡、华喦、李鱓、邹一桂、叶欣、高岑、李方膺、汪士慎、黄慎、罗聘、任熊 等。
当代：吴昌硕、启功、陈绶祥、黄秋园 、陈传席、黄锦祥、梅墨生、朱樵、徐乐乐、伍嘉陵、溥心畲、陈绶祥、鲁慕迅、朱新建等。