Thời Trần Duệ Tông, Trương Đỗ nổi danh với việc can vua không nên xuất quân đánh Chiêm Thành (1377). Duệ Tông không nghe, đến nỗi phải thân vong quốc nhục. Sách Đại Việt sử kí toàn thư (bản kỉ, quyển 7, tờ 45 a-b) chép chuyện Trương Đỗ như sau:
“Trước đây, Ngư sử Đại phu Trương Đỗ can Vua rằng: Chiêm Thành chống lệnh, tội cũng chưa đáng phải giết, đã thế, nó lại ở cõi xa xôi, núi sông hiểm trở. Nay, bệ hạ mới lên ngôi, đức chính và giáo hóa chưa thấm nhuần được tới phương xa, vậy hãy sửa sang văn đức, khiến nó tự đến thần phục. Nếu như nó không theo thì sau sẽ sai tướng đi đánh cũng không muộn. Đỗ ba lần dâng sớ can Vua không được, bèn treo mũ mà bỏ đi.
Đỗ là người thanh liêm, thẳng thắn, không bè đảng, phóng khoáng và có chí lớn. Hồi nhỏ, có lần ông ra chơi ở Hồ Tây xem tướng sĩ tập bắn và nói đùa rằng:
– Nghề này thì có khó gì?
Vị tướng quân nghe vậy, lấy làm ngạc nhiên, hỏi lại :
– Mày có bắn trúng được không?
Ông trả lời:
– Xin thử xem.
Rồi ông bắn ba phát trúng cả ba. Tướng quân rất kinh ngạc, muốn nuôi làm con nhưng Đỗ coi khinh không theo. Sau, ông tu chí học tập và đậu Thái học sinh, rất nổi danh. Ông làm quan trong sạch, nghèo túng, không gây dựng điền sản, con cháu nối đời làm quan cũng có tiếng nghèo mà trong sạch”.
“Sử thần Ngô Sĩ Liên nói: Trương Đỗ khi làm quan thì không giấu lời nói thẳng, thế là đã xứng với chức vụ của mình. Khi can ngăn thì nói đến ba lần, thế là đã dám chạm đến cả Vua. Vậy mà ông không được Vua nghe, thế là tâm trí Vua đã lẫn. Người có trách nhiệm phải nói, không được nghe theo thì bỏ đi, thế là sự tiến lui của Đỗ đã hợp lẽ phải. Tuy lời nói thẳng thường trái tai Vua nhưng lại có lợi cho thân Vua. Việc này có thể lấy làm gương được”.
Theo Việt sử giai thoại của Nguyễn Khắc Thuần