Tytuł debiutu Patti Smith, po polsku oznaczający słowo "Konie", miał odzwierciedlać pragnienie artystki do odmłodzenia muzyki rockowej. Według samej zainteresowanej, po intensywnych latach 60. i śmierci wielu ikon rocka tamtych czasów, brzmienie to zwolniło, zaczęło gdzieś zanikać. Patti była zdania, że w połowie nowej dekady przyszedł czas na zebranie się w sobie i niczym konie, ponowne ruszenie w drogę.

Kimberly to imię młodszej siostry Patti, której ta zdecydowała się zadedykować jeden z utworów ze swojej debiutanckiej płyty.

Smith zdecydowała się także oddać hołd artystom, którzy zawładnęli muzycznym rynkiem w latach 60. i niestety zmarli - najczęściej w wieku 27 lat, przystępując tym samym do "sławnego" Klubu 27. Elegie to uśmiech w kierunku Jimiego Hendrixa, a tekst utworu cytuje fragment kompozycji 1983... (A Merman I Should Turn to Be) legendarnego gitarzysty. Co ciekawe, Patti nalegała, by nagrać hymn ostatniego dnia sesji, czyli 18 września - w piątą rocznicę śmierci Hendrixa.

Break It Up zaś opowiada o Jimie Morrisonie z The Doors i stanowi wspomnienie wizyty artystki na cmentarzu Père Lachaise, na którym pochowany jest muzyk, połączone z jej snem z uskrzydlonym Morrisonem w roli głównej, który próbował uwolnić się od marmurowej płyty - co w wizji Patti rzeczywiście się mu udało.