Vivjena piedzima 1913. gadā Indijā angļu virsnieka ģimenē, bet kopā ar vecākiem jau 1920. gadā pārcēlās uz Lielbritāniju. Viņa agri iemācījās skaitīt dzejoļus, kā arī lasīt un aizrāvās ar Hansa Kristiana Andersena, Luisa Kerola un Radjarda Kiplinga darbiem. Vecāki meiteni nosūtīja uz klostera skolu, kur viņa apguva dažādas valodas, baleta mākslu, čella spēli un piedalījās skolas teātra uzvedumos.
Jau skolas gados jaunā Vivjena nolēma kļūt par slavenu aktrisi, un astoņpadsmit gadu vecumā viņa iestājās Karaliskajā Drāmas akadēmijā. Drīz pēc tam topošā skatuves māksliniece apprecēja advokātu Herbertu Lī-Holmanu, un viņiem piedzima meitiņa Sjūzena. Lai gan mācības grūtniecības dēļ nācās pārtraukt, enerģiskā jaunā sieviete pieņēma skatuves vārdu Vivjena Lī un nolīga aģentu.