Nació en Waco, Texas, se crió en el sur de California y se convirtió en guionista de televisión a finales de los años 60, y ganó un Emmy por su trabajo en la serie The Smothers Brothers Comedy Hour. A finales de esa década él ya interpretaba su propio material en clubes y en televisión.

Lanzado por las frecuentes apariciones en el programa de Johnny Carson, Tonight Show, Martin comenzó a ser presentador de varios programas en el innovador Saturday Night Live y protagonizó y escribió los guiones de cuatro especiales de televisión de gran audiencia. Cuando actuaba en giras nacionales agotó las localidades en algunos de las salas con más aforo del país. Ganó el Grammy por sus dos álbumes de comedia "Let´s Get Small" y "A Wild and Crazy Guy", y el disco de oro por su single "King Tut". En 2003, Martin también ganó el Grammy® al mejor instrumentalista por su interpretación en el álbum del 75 aniversario de Earl Scruggs.

Martin fue el anfitrión de la edición 75ª de los Oscar® en 2003, la segunda ocasión en que desempeñaba ese honor, la primera vez fue en la edición 73ª. La entrega 75ª de los Oscar® fue nominada a siete premios Emmy, incluyendo la nominación para el mejor desempeño individual en un programa de variedades o música.