Його група, "The Avengers" виконувала в основному чужий матеріал, у тому числі й пісні Рея Чарльза, якого Кокер дуже поважав.
Головним моментом у кар'єрі "Avengers" стало їх виступ на розігріві у "Rolling stones", але на цьому успіх скінчився і ансамбль розпався. У 1964 році Джо вирішив зав'язати з професією газівника і зосередитися на музиці. Його першою студійною роботою став сингл "I ll cry instead" з кавер-версією "Beatles". Зі своєю групою "Joe Cocker Big Blues" Кокер об'їздив всю Північну Англію, після чого відправився до Франції, де заробив "титул" "Le Petit Ray Charles".
Повернувшись додому, Джо розпустив "Big Blues", а через рік разом з Крісом Стейнтоном організував інший проект, "The Grease Band". Записавши кілька пісень, музиканти відправили плівку продюсеру "Moody blues" і "Procol harum" Денні Корделл. Тому дуже сподобався неабиякий вокал Джо і незабаром Корделл забезпечив Кокер співтовариші прописку в лондонському клубі "Marquee". Зліт кар'єри артиста припав на той момент, коли вийшов його кавер на бітлівську "With a little help from my friends". З цією піснею, що зайняла верхній рядок британських чартів, Кокер з'явився на шоу Еда Саллівана і на фестивалі у Вудстоку.
Іншими хітами стали композиція Box Tops "The Letter" і штучка Леона Расселла "Delta Lady". Обидва перші альбоми швидко переступили золоту позначку, а в 1970 році Расселл, що був музичним директором Кокера організував для свого підопічного солідний тур під назвою "Mad dogs & Englishmen". Ці гастролі були настільки напруженими, що після них Джо довго не міг прийти у форму. Справа ускладнилося різко посилився потягом до алкоголю, який музикант міг вживати прямо на сцені.
Слідом за віскі в дію пішли наркотики, і зірка Кокера стала заходити. Вийти з кризи Джо допомогла Пем Бейкер, його майбутня дружина, з якою він познайомився в 1978 році. Початок 80-х було відзначено для співака двома вдалими кооперації: з "Crusaders" він виконав "I m so glad I m standing here today", а з Дженніфер Уорнс - "Up where we belong", що прозвучала у фільмі "An officer and a gentleman ". З платівкою "Civilized man" до Кокер повернулася колишня слава і його наступні альбоми "Cocker", "Unchain my heart", "One night of sin" стали платиновими. Особливо вдалися музикантові такі номери як "Unchain my heart" Рея Чарльза, "When the night comes" Брайана Адамса і "Night calls" Джефа Лінна.
Також голос Джо пролунав у фільмі "Дев'ять з половиною тижнів", де він виконав кілька пісень. У 90-х роках і на початку нового тисячоліття Кокер продовжував плідно працювати. І хоча його концерти стали проходити відносно нечасто, музикант був присутній на таких глобальних заходах як концерт на честь падіння берлінської стіни, "Nelson Mandela s Birthday Concert", "Princes Trust Gala" і інавгурація американського президента Джорджа Буша.