Joe Cocker inició su carrera musical en Sheffield (Inglaterra), ciudad en la que había nacido, participando en algunas pequeñas bandas desde que tenía 15 años. La primera de ellas se llamaba The Avengers (bajo el nombre artístico de Vance Arnold), seguida de Big Blues en 1963 y The Grease Band (1966). Su primer sencillo, llamado I’ll cry instead, fue el primero en contener varias versiones de los Beatles.
Después de éxitos menores en Gran Bretaña, como el sencillo “Marjorine”, tuvo su mayor éxito con una versión innovadora de “With a little help from my friends”, otra versión de los Beatles del álbum Sgt. Pepper's Lonely Hearts Club Band, en el que incorporaron al guitarrista principal de Led Zeppelin, Jimmy Page, encabezando durante una semana la lista de sencillos de Gran Bretaña en noviembre de 1968.
En 1969, a los 25 años, participó en el Festival de Woodstock. También logró varios éxitos en Estados Unidos con “Cry me a river” y el “Feelin' alright” de Dave Mason. En 1970, su versión del famoso tema “The letter” de The Box Tops, que apareció en el álbum en directo Mad dogs and englishmen, se convirtió en su primera canción situada entre las 10 mejores en Estados Unidos.
En 1969 fue invitado al Ed Sullivan Show. En el escenario mostró una gran intensidad física, agitando sus brazos y simulando tocar una guitarra, lo que ocasionalmente dio una apariencia superflua a su banda.
A principios de los setenta tuvo problemas por adicción a las drogas, incluido el alcohol, pero logró recuperarse y regresó a los escenarios en las décadas de los ochenta y noventa con éxitos tales como:
Cocker participó en la apertura de Woodstock '94 como uno de los pocos que habían tocado en el festival original de 1969, siendo muy bien recibido por el público.
Se le conoce a veces como The Sheffield Soul Shouter (El Alma Gritona de Sheffield).
En 2007 participó en la película A través del universo, interpretando la canción “Come together”.
Falleció el 22 de diciembre de 2014 en su casa de Colorado como consecuencia de un cáncer de pulmón, a los 70 años de edad.