传说：他是用妇人之言，在朝中如此放肆。因此众恶归于他，是没有超过他的了。
皇上说：假如说不如此，那又咋样？此图是为了让人戒止什么？
班伯说：沉迷于酒，微子因此告去。醉酒喝呼，作诗之人都为之涕泣流连。诗书*之戒，其主要根源就在于酒。
皇上于是喟然叹息说：我很久不见班生，今日复闻善言。张放等不安，稍稍的自去起身更衣，因罢出。这时正好太后宫中使人来问候皇上，听见了这番话。后来皇上朝见东宫，太后哭着说：皇上近日颜色瘦黑，班侍中本是大将军所举荐，应该亲近他，求其忠言，以辅圣德。应该遣富平侯张放回其封地。
皇上说：好。皇上诸舅听说了，就讽喻丞相御史，求取张放过失，于是丞相薛宣，御史大夫翟方进，上奏说张放骄騫纵恣，奢淫不制，拒闭使者，贼伤无辜，从者枝属，并乘权势为暴虐，请求将张放免归属国。皇上不得已，左迁张放为北地都尉。其后年年都有灾变，因此张放久不得还，但皇上玺书劳问不绝。
敬武公主（张放母）有病，诏徵张放归第视母疾，数月，公主稍有康复，又出张放为河东都尉。皇上虽然爱幸张放，但上迫于太后，下用大臣，故常常涕泣而遣他出京。邛成太后（孝宣王皇后）之崩，丧事仓促，皇上听说这事，就将过失推到丞相御史头上。