數學研究所於民國三十年由姜立夫先生在昆明開始籌備，時值抗戰，圖書設備不易購置，故直至三十六年始正式成立。

所址設在上海，由陳省身先生代理所長，成立之初，因接收偽上海科學研究所之圖書，即有一尚堪參考應用之圖書室，內收有數學書籍一千七百餘冊，定期刊物八十五種，及期刊合訂本一千三百餘卷，三十八年本所遷台，此項珍貴之藏書，亦皆隨所遷運來台。

數學所遷台後，由中央研究院總幹事周鴻經先生兼代所長，當時因環境關係，僅能安頓於台灣大學之一間教室內，除繼續購置圖書及與國外學人保持聯繫外，所內之研究工作一時幾等於停頓，至四十六年中央研究院遷南港新址，始克重新展開工作，掖用青年後進，加強訓練及研究。其後歷經林致平所長，及劉世超和許振榮代所長的努力，雖然經費拮据，編制又小，但訓練了不少年青人，為往後的發展提供了條件。民國五十九年，周元燊先生接任所長，極力爭取擴增員額和經費，並推動機率論及統計學的研究；同時也適時開展數學推廣及支援國內數學教育的改革工作。六十七年樊(土畿)先生繼任所長，正值經濟起飛， 研究經費在本院第一次五年計劃的帶領下大幅增長，編制員額也逐年增加，本所開始強調基礎研究。 此後經過劉豐哲、李國偉、黃啟瑞、劉太平、程舜仁幾位所長的籌劃，本所的研究領域擴張迅速，圖書及硬體設施 也具一定規模，研究的支援人力更改善不少，數學所乃有今日之規模。

為促成不同學科及單位在研究上之合作及研究資源共享，數學所於民國九十九年從南港搬遷至臺灣大學校園內，中央研究院與臺灣大學雙方合建之「天文數學館」新大樓。

近年來，本所致力推動台灣數學發展及培養數學研究人才，除舉辦國際會議，加強與學者交流，並提供相當數量的博士後研究及研究助理的職位。此外，提供大學生6周暑期研究專題討論班及設置大學博士生核心課程。