“To Bring You My Love” to pierwszy album, wydany przez PJ Harvey po rozpadzie tria, które brało udział w nagraniach dwóch poprzednich płyt. Z tego też powodu to właśnie trzeci album artystki traktuje się jako jej pierwszy w pełni solowy.

To także pierwszy w karierze efekt współpracy Polly z producentem Floodem i kompozytorem Johnem Parishem.

Na albumie Pj Harvey wielokrotnie odnosi się do swojego idola. Captain Beefheart był amerykańskim wokalistą, kompozytorem, autorem tekstów i artystą wizualnym, który występował z grupą Magic Band u boku. Muzyk słynął z tego, że był postacią dość tajemniczą, niejednoznaczną i tworzył na swój temat różne legendy. Harvey umiejętnie przechwyciła pierwszy wers, słyszalny na debiucie Captaina Beefhearta w pierwszym utworze ze swojej płyty, kompozycją “Meet Ze Monsta” natomiast Polly odpowiada na zaproszenie, które pada w utworze “Tropical Hot Dog Night”. 

Utwór “Down By the Water” jest dla wielu i wiele z pewnością najbardziej flagowym artystki. To on także wywołał plotki, jakoby Polly… śpiewała o własnym przeżyciu, dotyczącym uśmiercenia przez nią swojego o dziecka! Artystka po latach komentowała tego typu głosy, nazywając je “absurdalnymi” i wskazując na to, że “Down by the Water” to najlepszy przykład tego, by jej twórczości nie postrzegać za każdym razem w kategoriach autobiograficznych. Faktem jest, że jako główna inspiracja Harvet posłużyła amerykańska piosenka ludowa “Salty Dog Blues”.

Do historii przeszedł już także teledysk do “Down By The Water”. PJ występuje w nim i tańczy, ubrana w charakterystyczną, czerwoną satynową sukienkę, ma także perukę i mocny makijaż. Sama zainteresowana w wywiadzie dla “Spin” z 1996 roku stwierdziła, że chciała wyglądać “jak Joan Crawford na kwasie”.