Komponists dzimis 1906. gada 9. oktobrī Preiļu rajona Riebiņu pagasta Babru sādžā zemnieku ģimenē. Pirmā pasaules kara laikā 1916. gadā Ivanovu ģimene aizbrauca uz Krieviju. Par Jāņa Ivanova pirmo mūzikas skolu kļuva Smoļenskas dzelzceļnieku kluba studija, kur zēns mācījās klavierspēli un dziedāja kluba jauktajā korī.
Pēc atgriešanās topošais komponists iestājās Latvijas Konservatorijā, kur beidza kompozīcijas, klavieru un diriģentu klasi. Jau konservatorijas pēdējos gados sākas Jāņa Ivanova pedagoģiskais darbs. 1944. gada rudenī Ivanovs tika uzaicināts par speciālās instrumentācijas pasniedzēju Konservatorijas Kompozīcijas fakultātē. 1946. gadā viņš jau bija docents, bet 1955. gadā kļuva par profesoru. Viņš strādājis arī Rīgas Radiofonā par mūzikas konsultantu, bijis simfoniskā orķestra diriģents, Latvijas Radioraidījumu un televīzijas komitejas mākslinieciskais vadītājs.
Komponista devums ir 21 simfonija, simfoniskas poēmas, instrumentālie koncerti, kora dziesmas un mūzika kinofilmām. Jāņa Ivanova darbs un daiļrade tikuši augstu novērtēti.
Komponists mūžībā aizgāja 1983. gada 27. martā, 76 gadu vecumā. Apglabāts Rīgā, Meža kapos.