Après la sortie d'un premier EP auto-produit à l'automne 2008, Hold your Horses ! a arpenté les salles de Paris (et parfois d'ailleurs), construisant peu à peu une notoriété qui leur a permis de se produire sur les scènes SFR Jeunes Talents de la Route du Rock et de Rock en Seine.