祖沖之在數學上的杰出成就,是關于圓周率的計算。秦漢以前,人們以"徑一周三"做為圓周率,這就是“古率”。后來發現古率誤差太大,圓周率應是“圓徑一而周三有余”,不過究竟余多少,意見不一。
　　直到三國時期,劉徽提出了計算圓周率的科學方法--“割圓術”,用圓內接正多邊形的周長來逼近圓周長。劉徽計算到圓內接96邊形,求得π=3.14,并指出,內接正多邊形的邊數越多,所求得的π值越精確。
　　祖沖之在前人成就的基礎上,經過刻苦鉆研,反復演算,求出π在3.1415926與3.1415927之間。并得出了π分數形式的近似值,取為約率,取為密率,其中取六位小數是3.141929,它是分子分母在1000以內最接近π值的分數。
　　祖沖之究竟用什么方法得出這一結果,現在無從考查.若設想他按劉徽的“割圓術”方法去求的話,就要計算到圓內接16,384邊形,這需要化費多少時間和付出多么巨大的勞動啊！由此可見他在治學上的頑強毅力和聰敏才智是令人欽佩的。祖沖之計算得出的密率,外國數學家獲得同樣結果,已是一千多年以后的事了。為了紀念祖沖之的杰出貢獻,有些外國數學史家建議把π=叫做“祖率”。
　　祖沖之博覽當時的名家經典,堅持實事求是,他從親自測量計算的大量資料中對比分析,發現過去歷法的嚴重誤差,并勇于改進,在他三十三歲時編制成功了《大明歷》,開辟了歷法史的新紀元。
　　祖沖之還與他的兒子祖暅（也是我國著名的數學家）一起,用巧妙的方法解決了球體體積的計算。他們當時采用的一條原理是：“冪勢既同,則積不容異。”意即,位于兩平行平面之間的兩個立體,被任一平行于這兩平面的平面所截,如果兩個截面的面積恒相等,則這兩個立體的體積相等。這一原理,在西文被稱為卡瓦列利原理,但這是在祖氏以后一千多年才由卡氏發現的。為了紀念祖氏父子發現這一原理的重大貢獻,大家也稱這原理為“祖暅原理”。