Aquellos duros años nos cuenta la historia de Ben Mattews (Tony Curtis) y Zoe (Collen Miller), una pareja que ha decidido mudarse a la ciudad de Galena. Ben es un jugador que ha decidido abandonar los vicios inherentes al juego de casino. Antes de llegar a Galena, Ben Mattews es acusado injustamente de un asesinato que no ha cometido, por lo que deberá huir durante muchos años para evitar ser encarcelado. Cuando todo el mundo piensa que el señor Mattews había muerto, regresa para reencontrarse con su esposa Zoe y, sobre todo, para encontrar al culpable del asesinato que le arrebató su vida.