У 50-х він уже почав виступати в клубах і барах, а в 17 років заснував свою банду "Johnny Cale and The Valentines". У 1964-му Кейлі поїхав до Лос-Анджелес, де працював звукоінженером і продовжував клубні виступи.
Саме тоді Жан-Жак перетворився в Джей Джея. Також у той час він прийняв участь у створенні психоделічного альбому "Take a trip down Sunset Strip" групи "Leather-Coated minds". Саме під час тих сесій і була написана його перша знаменита річ, "After midnight". Ця пісня стала популярною в 1970 році, коли її виконав Ерік Клептон.
Коли "After midnight" виявилася в гарячій двадцятці, знайомий продюсер Кейла, Оді Ешворт, наполіг на тому, щоб Джей Джей записав свій альбом. Що вийшов в 1972-м "Naturally" містив чимало прекрасних пісень, таких як "After Midnight", "Call Me The Breeze", "Magnolia", "Crazy Mama". Остання з них була видана синглом і дісталася до 22-го рядка в чартах (найвище досягнення Кейла за всю його кар'єру). "Naturally" раз і назавжди визначив стиль Кейла - ретельно вивірений ритм-енд-блюз з "втопленим" вокалом, закутий у 3-х - 4-хвилинні рамки. Випустивши ще пару альбомів, Джей Джей і Оді переїхали в Нешвіл, де обзавелися власною студією "Crazy Mama".
Кейл встигав робити не тільки свої платівки, а й активно співпрацював з іншими музикантами. Його гітара знайшла собі місце на альбомах Едді Мітчелла, Ніла Янга і Арта Гарфанкел. У 1976-му вийшов диск "Troubadour", що містив знаменитий рок-гімн "Cocaine". Ця пісня отримала велику популярність завдяки її переспів Еріком Клептоном та "Nazareth".
Слава дісталася іншим артистам, але Джей Джея цілком задовольнила грошова компенсація. Аналогічна історія повторилася і з п'ятим альбомом Кейла. Потенційний хіт "The sensitive kind" в авторському виконанні був проігнорований радіоефіром, зате в інтерпретації "Santana" ця пісня одразу ж потрапила в плей-листи. Але Кейлі слава по раніше не хвилювала. У 1980-му він знову поїхав до Каліфорнії і відгородився від світу, оселившись в трейлере. На наступний рік Джей Джей розлучився зі своїм першим лейблом "Shelter" і почав випускати платівки під дахом "Phonogram".
Зробивши для цієї фірми три альбоми, Кейл відійшов від справ шоу-бізнесу і жив у своє задоволення. До свого основного заняття музикант повернувся в 1990 році і за наступні сім років записав ще п'ять студійних робіт. Потім випуск дисків знову припинився і тільки в 2001-му з'явився концертний альбом "Live". Цим альбомом Кейл вшанував пам'ять свого друга і соратника Оді Ешворт. Новий же студійник Джей Джея побачив світ у 2004 році.