元，赐与冠带袍笏，授礼部员外郎。参与会修《大明日历》及《后妃功臣传》，书成，又赐衣袜。
吴伯宗为人温厚，但内刚外柔，不附权势，不屈奸邪。时值左丞相胡惟庸当权，结党营私，玩弄权术。对于不肯随附的吴伯宗，胡惟庸怀恨在心，借事将其贬谪移居凤阳。吴伯宗并没有畏缩屈服，仍然上书直论时政，指斥胡惟庸专横跋扈，不守朝廷法纪，不宜委以重任。否则，将危害国家。疏中列举事实，分析合情合理。朱元璋得奏，召还，赐衣钞。令其出使安南(今越南)，吴伯宗不辱使命，得到安南赠送的四匹驯服的大象平安归来。被授与国子助教，进东宫讲学，改任翰林典籍。朱元璋出十题，命他即刻作赋，他才思敏捷，挥笔立就，词意清新，气势磅礴，甚得朱元璋赞赏，赐予织金锦衣。
后来朱元璋封吴伯宗为太常寺丞，他辞谢不就；改任国子监司业，又不去；因此，吴伯宗被贬为金县(今甘肃省榆中县)教授，途中召回，任为翰林检讨。洪武十五年(一三八二年)，晋升为武英殿大学士。九月，奉命与翰林学士李翀 、回回大师马沙亦黑、马哈麻等人翻译《回回历》、《经纬度》、《天文》等书。次年二月，译完《天文》书，吴伯宗写序曰：‘西域天文书与中国相传殊途同归。...刻而列之,与《中国圣贤洪武之书》并传并用,岂惟有补于当今,抑亦有功于万世。’从此，《回回历》与我国《大统历》相参为用。是年(一三八三年)冬，因弟吴仲实为三河(今河北省三河市)知县时，荐举不实受到株连，又降为翰林检讨。
洪武十七年夏，因朱元璋偶有询问，吴伯宗以非所职掌，难以为答而触怒朱元璋，被谪居云南。途中，暴卒于五溪河畔这个地方。东宫太子朱标哀悼其不幸，令其家人扶丧归葬。吴伯宗无子，殁时囊空如洗，全靠妻子龚氏勉力维持，才得以返回故里。吴伯宗一生著作等身，著有《荣进集》四卷流传于世。
洪武二十三年（一三九〇年），胡惟庸谋反案已经过去十年，能威胁朱家皇权的隐患基本清除，许多开国功臣如徐达、蓝玉、李善长、刘伯温都被诛杀，至于史书上说刘伯温是被胡惟庸害死的，但作为功劳巨大的开国谋臣如果没有皇帝的纵容授意，仅凭一个做左丞相的胡惟庸又怎能害得了呢？
朱元璋思前想后才明白朱升和吴伯宗的忠诚可贵，于是下诏：在吴伯宗去云南的途中暴卒的地点，修建祭祀亭子为其亡魂遮风避雨。得知吴伯宗暴卒的地方叫五溪河，乃与当年进川见朱升的地方不远，又想起朱升当年避祸讲学的地方
…。。