Hijo de Robert Joseph Kline y Peggy Kirk Kline y segundo de cuatro hermanos. Estudió Música, Mimo y Arte Dramático en la Universidad de Indiana y posteriormente se gradúa en la Julhard School en Arte Dramático. Además es miembro fundador de "The Acting Company" de John Housseman conel que debutó en Broadway en "Los tres hermanos Chejov". Con la compañía hizo giras teatrales durante años por todo el país.

Su debut cinematográfico se produjo en 1982 con "La decisión de Sophie" (Sophie's Choice) de Alan J. Pakula pero, sin duda alguna, el éxito le llegaría con "Un pez llamado Wanda" (1988, de Charles Crichton). En esta comedia Kline dio vida a un ladrón de poca monta y sin escrúpulos, y compartió protagonismo con Jame Lee Curtis.

Es uno de los actores predilectos del director Lawrence Kasdan con el que ha trabajado entre otras en "Te amaré hasta que te mate" (1990) o Grand Canyon (1991).

Es uno de los actores más laureados de la industria cinematográfica y entre sus galardones destacan dos premios Obie y sobre todo un Oscar al mejor actor secundaria por su papel en "Un papel llamado Wanda".

En la década de los noventa ha realizado trabajos tan notables como "French Kiss" junto a Meg Ryan y la adaptación de la obra de William Shakespeare, "El sueño de una noche de verano" donde tiene como compañeros de reparto a Michelle Pfeiffer, Rupert Everett, y Calista Flockhartt.

Está casado con la también actriz Phoebe Cates con la que ha tenido dos hijos: Owen Joseph y Greta Simone.