陳衍自幼隨祖父讀書寫字誦詩， 10歲時已讀完《書》、《詩》、《禮》、《易》等國學經典，能將“六朝人文長篇若兩都若哀江南諸賦皆背誦如流”，且“終年為詩，日課一首”，還對唐、元、明人筆記、小說廣有涉獵。但他在考場上并不如意，屢試屢敗，好不容易在光緒八年（1882年）才中舉，當時二十七歲，同榜者中還有后來的外國名著翻譯家林紓。

　　1886年曾入臺灣巡撫劉銘傳幕府，隨軍招撫當地土著。1886年在北京時，與鄭孝胥共同標榜“同光體”，并成為“同光體”閩派的代表人物，其評論著作有《石遺室詩話》。 1895年三、四月間，陳衍到京會試，時值甲午中日戰爭后期，清政府派李鴻章為全權代表赴日求和簽署《馬關條約》，舉國嘩然。陳衍起草、并與林紓等人聯名上書都察院，反對割讓遼東半島、臺灣等領土。1897年夏，陳衍被公推為《求是報》主筆，在其主事期間，《求是報》的內容包括社論、諭旨恭錄、中外新聞、中外法律法規、譯文和逸聞、理論科學的譯介和小說連載等等，而且每期都有針對中國現狀的論說，因此讀者日多，風行一時。當時的湖廣總督張之洞正是由《求是報》看出陳衍的卓越的才干，于1898年邀請他到武昌，為其寫作，并任《官報》局總編纂。1898年春，京城會試之際，變法呼聲正高，陳衍作《戊戌變法榷議》，分議相、議兵等十條，提出自己的變法主張。同年，應經濟特科試，不中。戊戌變法失敗后，《官報》停辦，陳衍籌辦《商務報》，以研究實業為主，除了連載他同其下屬河瀨儀太郎翻譯的《銀行論》、《貨幣制度論》、《商業經濟學》、《商業地理》、《商業開化史》、《商業博物志》、《日本商律》、《破產律》等外，還連載了《歐美商業實勢》，對世界各國的經濟情況做了大量翔實報道。1907年陳衍到北京任學部主事、并兼京師大學堂文科教習。1911年清朝滅亡后，到南北各大學講學。1912年12月起，在梁啟超主辦的《庸言》半月刊上連載，數十萬言的長文，旁征博引，侃侃而談，甚獲好評。后來《石遺室詩話》結集出版，風靡一時。“煌煌巨帙，聲教遠暨海內外，一時豪俊，奔趨其旗之下。”他要續輯詩話的消息傳出后，各地詩人竟“爭欲得其一言為榮，于是投詩乞品題者無虛日”。他得意地告訴朋友：“海內詩人寄到之集，已閱過者殆滿間一屋，而架上案頭，有已選佳句不及收入者，尚不可勝計。”陳衍的詩歌理論對“同光體”詩人的上述主張作了較為系統的總結與發展，具有集大成的意義。他的詩作則瓣香白居易、楊萬里，多抒發閑適情趣，涵泳山水妙旨，遣詞造句，頗具新意，于“同光體”中自成一家。

　　1916年起編修《福建通志》，5年后《通志》全稿完成，凡600余卷約1000萬字，除鹽政、水利等數志外，皆由陳衍一人經營編纂。該《通志》于1938年出版，迄今仍是省志中最為完備的一部。

　　1933年除夕，錢鐘書拜會他，當時已年過七旬，錢其時尚在清華讀書。可謂忘年之交。錢在英國留學時陳衍還寄給他自己的詩作，其中有“青眼高歌久，于君慰已奢”詩句。錢鐘書早年“好義山、仲則風華綺麗之體，為才子詩，全恃才華為之”，陳衍則批評他：“湯卿謀不可為，黃仲則尤不可為”，因而改弦易轍，奉衍若神明。三十年代初，陳衍仍對錢鐘書到國外念文學大惑不解：“文學又何必向國外去學呢！我們中國文學不就很好嗎？”

　　陳衍晚年寓居蘇州，與章炳麟、金天翮共倡辦國學會，并任無錫國學專修學校教授。1937年8月，陳衍在福州病逝，葬于西門外文筆山。