Janvier 2008. Pierre-Antoine Von Gogol (Brigitte Borgel, Le Monde dans le Feu) et Mathieu Poirier discutent de leur amour commun pour Seinfeld et Twin Peaks. C’est alors que germe l’idée de fonder le groupe Ultra-Ptérodactyle. Alors en formule duo, le groupe enregistre un premier Ep intitulé « Garage Punk Gentleman ».

Après un détour via Deerbunnies, Gogol revient à ses premières amours et renoue avec le dinosaure volant, mais cette fois-ci, sous une nouvelle mouture. Désormais composé de Pierre-Antoine Von Gogol à la guit et à la voix, de Dorothée à la basse et voix et de Mat aux drums, le groupe enregistre un EP digital intitulé La Plage, en 2011. Philippe Mellilo se joint en 2013 à la formation à titre de guitariste et le groupe enregistre à l'été un nouvel EP intitulé "Quand une mascotte saigne" qui sortira en octobre.