Стояло спекотне літо флоридське 1984-го коли на місцевій сцені з'явилася чергова важка команда під назвою "Oblivion". Банда ця, що грала щось трешеобразное, незабаром змінила вивіску на "RAVAGE" ("Raging atheists vowing a gory end"). Якийсь час в групі значився вокаліст Ськреппі, але в 1986-му він був звільнений, а його функції підгріб під себе гітарист Келлі Шафер.
Потім у колектив прийшов бас-гітарист Роджер Паттерсон, чия поява дало значний поштовх творчому розвитку "атеїстів". До листопада 1986-го в групу підтягнувся другий гітарист, Марк Шоцберг, та за його участю було записано демо "On they slay".
Плівка отримала теплий прийом в андеграунді, а дез-метал-імпресаріо Боріводж Кергін був настільки вражений записом, що запропонував хлопцям пропхнути їхні пісні на збірку "Raging death", а сам згодом став менеджером гурту. Перед тим як компіляція вийшла у світ, Шоцберга виставили за двері, оскільки інших учасників проекту не влаштовувала його робота. Залишившись втрьох Келлі, Роджер і ударник Стів Флінн записали ще одне демо, "Hell halts no mercy", яке втім, так і залишилося нереалізованим.
На початку 1988-го до колективу приєднався гітарист Ренд Барки, і таким чином класичний склад "Atheist" був остаточно сформований. У квітні група відправилась в детовую студію "Morrisound" і привела на світ четверту демку, "Beyond". Вже пора було укладати контракт, але пройшло ще кілька місяців перед тим як "атеїсти" підписали папери з "Mean machine records". У листопаді 1988-го колектив повернувся в "Morrisound studios", де під керівництвом відомого продюсера Скотта Бернса створив свій перший альбом. До цього часу у "Atheist" виробився свій унікальний стиль, що отримав згодом класифікацію техно-дез.
На "Piece of time" якраз і був представлений цей унікальний коктейль з дета, джазу, хеві, трешу і прога. На жаль, платівка не вийшла вчасно, оскільки лейбл розорився, і музикантам довелося шукати новий контракт. "Piece of time" з'явився в продажі тільки в 1990 році з допомогою європейського лейбла "Roadracer Active Records".
Протягом цього року група активно гастролювала в Європі і Північній Америці, ділячи сценічні майданчики з бандами типу "Napalm death", "Morbid angel", "Obituary", "Forbidden", "Candlemass", "Death angel" і "Exodus". Під час гастролей по Штатах сталася трагедія. Машина, на якій пересувалися "атеїсти", потрапила в аварію, в результаті чого помер Роджер Паттерсон. Однак робота над другим альбомом була вже розпочато, і Шафер, хоча і сильно переживав втрату басиста, вирішив не зупинятися на півдорозі. Сесії "Unquestionable Presence" були завершені за допомогою Тоні Чоя з "Cynic". Однак Чой незабаром пішов у "Pestilence", а його замінив Дарен Макфарланд. До літа 1992-го після декількох провальних турів команда опинилася на межі розпаду.
Келлі зосередився на новому проекті "Neurotica", і лише контрактні зобов'язання перед лейблом змусили його записати третій "атеїстичний" альбом. У складі Шафер, Чой, Барки, Франк Еммі (гітара) і Джош Грінбаум (ударні) "Atheist" видали на диво добротний диск "Elements" і навіть провели Євротур за підтримки "Benediction" і "Cemetary". Однак Шафера все більше тягнуло в "Neurotica", і незабаром команда остаточно розпалася. На початку нового тисячоліття Келлі спробував було відродити проект, але нічого з цього не вийшло, і фани так і не побачили обіцяного нового альбому.