江戸に生まれる。文晁は字、号は写山楼、画学斎無二、文阿弥など、通称は文五郎。初め狩野派の加藤文麗に就き、のち渡辺玄対に師事して南宗画、北宗画を学び、さらに洋風画、琳派、大和絵などに学んだ諸派折衷の新画法を提唱した。天明8(1788)年田安徳川家の奥詰となり、寛政4(1792)年白河公松平定信に抱えられ、翌年洋風画法を取り入れた《公余探勝図巻》を描いた。同8年からは《集古十種》の編集に参加している。寛政期の南宗画と北宗画の画風を合わせた滋潤な作品は、特に“寛政文晁”と尊重される。文化期(1804-18)の半ば頃から落款に烏形の「文」を用いて、“烏文晁”時代に入り、関東画壇の重鎮として活躍する。山水画の他《木村蒹葭堂像》のような個性的な肖像画も描いている。多くの門人の中には、立原杏所、渡辺崋山らがいる。
