他是中国“泼墨大写意画派”创始人、“青藤画派”之鼻祖，画风吸取前人精髓而进行突破，不求形似求神似，山水、人物、花鸟、竹石无所不工，以花卉最为出色，开创了一代画风，对后世画坛影响极大。
徐渭出生于一个趋向衰落的大家族。父亲徐鏓曾任四川夔州府（治今重庆市）同知。虽然出生在官宦家庭，但徐渭童年并不愉快，由于徐渭生母是其父晚年纳的小妾，在家中没有什么地位，在徐渭十岁那年，母亲被逐出了家门。幼年夺母，对徐渭是一个很大的刺激。从小生活不自在，加之徐渭是一个机警敏感的人，自然容易养成执拗和偏激的性格。
徐渭十分聪明，小时候上私塾时，老师看他聪明伶俐，便要考考他，让他拿着两个水桶去汲水，期间要过独木桥，当时徐渭年纪小，力气也不足，老师认定他完成不了。徐渭把水桶放水里，利用水的浮力减轻重量，高高兴兴回来了，老师十分震惊，当时还没有浮力一说，徐渭的聪敏，让老师大加赞赏。
在一次酒宴上，主人有意为难徐渭，指着席上一件小东西请他作赋，暗中却命童仆捧上一张多的纸卷，让徐渭当场作赋。徐渭立身把笔，一气写尽，惊倒了满座的人。
然而，徐渭在科举道路上却屡遭挫折。二十岁那年，他才考中了秀才，此后多次参加乡试，直到四十一岁，考了八次，始终也未能中举。
嘉靖年间，东南沿海倭寇频繁侵扰，徐渭虽然身无一职，却几次换上短衣，冒险随军队来到前线，观察形势，然后记录下战事的经过，分析成败的原因，向有关官员提出破敌方略。
1557年，徐渭被总督东南军务的胡宗宪招为幕府掌文书，胡宗宪对他十分倚重。当时胡宗宪权重威严，文武将吏参见时都不敢抬头，而徐渭戴着破旧的黑头巾，穿一身白布衣，直闯入门，纵谈天下事，旁若无人。更有甚者，徐渭常常与朋友在市井饮酒，总督府有急事找他不到，便深夜开着大门等待。有人报告胡宗宪，说徐秀才正喝得大醉，放声叫嚷，胡宗宪反而加以称赞。
1562年，胡宗宪受到参劾，并于次年被逮捕至京，徐渭也就离开了总督府。
1565年，胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就偏激，加上精神上很不愉快，对胡宗宪被构陷而死深感痛心，更担忧自己受到迫害，于是对人生彻底失望，以至发狂。他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复发作，反复自杀九次未遂。
1566年，徐渭在又一次狂病发作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢。徐渭下狱后，在一些至交好友朋友的解救下，于1573年被释放，此时徐渭已经五十三岁了。
出狱后，他先在江浙一带游历，登山临水，并交结了许多诗画之友。由于厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。在晚年时，独自一人寡居，闭门谢客，有人来访，徐渭不愿意见，便将柴门紧闭，大喊“徐渭不在！”他一生没有积累家业，晚年生活十分拮据，常常靠卖书画艰难度日。但手头稍微一宽裕，便不再卖画。
1593年，徐渭在穷困潦倒中去世，终年七十三岁，葬于绍兴城南木栅山。死前，徐渭写有《畸谱》，记述自己坎坷的人生经历。当他去世时，身边只有一只狗与之相伴，床上连一铺席子都没有。
徐渭与解缙、杨慎并称“明代三大才子”，郑板桥对徐文长非常敬服，曾刻一印，自称“青藤门下走狗”。
徐渭能谋善断，几乎一己之力尽破多年的倭寇之患，晚年悉心培养出李如松这位名将，建立不朽功勋。他的诗，袁宏道尊之为“明代第一”，他的戏剧，受到汤显祖的极力推崇，至于绘画，他更是中国艺术史上成就最为突出的人物之一。
徐渭一生命运坎坷，因杀妻入狱后，精神极度癫狂，加之性格怪癖，所作所为不为当世理解，最终孤独终老。