Sau khi tốt nghiệp trường Đại học Nông nghiệp Hà Nội, ông được phân công về địa phương làm cán bộ nông nghiệp, thăng dần đến Chủ nhiệm Hợp tác xã Hòa Nhơn và được kết nạp vào Đảng Cộng sản Việt Nam ngày 13 tháng 2 năm 1980.
Sự nghiệp chinh tri ông bắt đầu thăng tiến khi ông được bổ nhiệm làm Phó Bí thư Huyện ủy Hòa Vang, Giám đốc Nông trường Chè Quyết Thắng, sau đó là Phó Giám đốc Sở Nông nghiệp Quảng Nam - Đà Nẵng.
Năm 1996, ông được cử giữ chức Chủ tịch Ủy ban Nhân dân Thành phố Đà Nẵng đầu tiên sau khi chia tách tỉnh Quảng Nam - Đà Nẵng, và giữ chức vụ này trong 7 năm, qua các đời Bí thư Thành ủy Đà Nẵng là các ông Trương Quang Được, Phan Diễn, Nguyễn Đức Hạt. Năm 2003, ông được bầu vào chức vụ Bí thư Thành ủy Đà Nẵng, thay người tiền nhiệm Nguyễn Đức Hạt được điều động làm Phó trưởng ban Thường trực Ban tổ chức Trung ương Đảng Cộng sản Việt Nam. Không lâu sau đó, ông cũng được bầu vào chức vụ Chủ tịch Hội đồng Nhân dân Thành phố Đà Nẵng.
Ông là đại biểu Quốc hội Việt Nam khoá IX, XI và XII.
Ngày 28 tháng 12 năm 2012, Bộ Chính trị đã ban hành các quyết định về việc thành lập Ban Nội chính Trung ương và Ban Kinh tế Trung ương; các quyết định về chức năng, nhiệm vụ, tổ chức bộ máy của hai ban này. Đồng thời, Bộ Chính trị cũng ban hành Quyết định 655 phân công ông Nguyễn Bá Thanh, Bí thư Thành ủy Đà Nẵng giữ chức Trưởng ban Nội chính Trung ương.
