La carrera de Williams comenzó cuando era coreógrafo y street-dancer en la ciudad de Nueva York, habiendo trabajado en más de 50 vídeos musicales y giras de conciertos nacionales. No tardó en atraer la atención de los fotógrafos de moda David LaChapelle y Steven Klein: literalmente, fue sacado de la calle para afrontar una carrera como modelo. Pronto comenzó a trabajar en muchos shows de pista y en rodajes de moda. Fue a través de aquellas primeras fotografías que Tupac Shakur reparó en él y le eligió para que encarnara a su hermano en la película Bullet (1996). Aquella cinta le llevó a un papel en Al límite (Bringing Out the Dead, 1999), bajo dirección de Martin Scorsese.

Pronto en su carrera, Michael añadió a su pasión como actor su amor por los proscenios. Trabajó con LaMama Theater en Nueva York, y apareció en varias producciones con el prestigioso National Black Theater.

Considerado por USA Today como uno de los "10 mejores motivos para ver televisión" y el preferido de Barack Obama, Michael Kenneth Williams dio vida a Omar Little en la serie de la HBO, The Wire (2002-2008), siendo uno de los actores regulares de la misma que ha logrado permanecer a lo largo de sus cinco temporadas. Haciéndose acreedor del reconocimiento de la crítica además de una fiel base de admiradores, Michael fue nominado en 2007 para el premio NAACP Image al mejor actor de serie dramática. El director J.J.Abrams, un absoluto seguidor de The Wire, creó un papel recurrente sólo para Michael en su serie de la ABC, Alias (2005).