Дуетът Teen Mortgage произхожда от Вашингтон D.C. и се обявява за хардкор и пънк. Фронтменът Джеймс Гайл постепенно оформя групата под различни имена, създавайки музика, изпълнена със социално-политически коментари и силно повлияна от пънка на осемдесетте години. След преместването си в Мериленд той привлича барабаниста Едуард Баракаускас.
Дебютният албум Devil Ultrasonic Dream на LP излиза под егидата на Roadrunner Records. Дискът предлага ангажирани текстове и препратки към сатанинската паника, която присъстваше в рок музиката през осемдесетте години. Преди издаването на албума групата е свирила на концерти с Weezer, OFF! и Smashing Pumpkins. Измежду единадесетте композиции се открояват Devil Ultrasonic Dream, Personal Hell и Lose My Mind.
