Przełomem w życiu Harriet Hardy Taylor okazało się spotkanie zorganizowane w 1830 roku przez duchownego unitariańskiego Williama Johnsona Foxa, na które zaproszony był również filozof John Stuart Mill. To właśnie wtedy Taylor i Mill odkryli jak wiele ich łączy. Przyjaźń, a potem miłość, kwitły ku zgorszeniu opinii publicznej, gdyż Harriet pozostawała w nieudanym związku małżeńskim i wychowywała trójkę dzieci.