Mirzə Hacı bəy Əli bəy oğlu Novruzov 1832-ci ildə Yelizavetpol qəzasının Qovlar kəndində (indiki Tovuz rayonu Qovlar şəhəri) anadan olub. Zadəgan nəslindən olduğuna görə o, Peterburqdakı Paj hərbi korpusunda təhsil alıb. 1849-cu ildə ona "praporşik", 1852-ci ildə isə "kornet" rütbəsi verilib və Əlahəzrət İmperatorun konvoyunun Müsəlman Komandanlığına göndərilib. 1854-cü ildə isə "poruçik" rütbəsi alıb.
1856-cı ildə o, xilasedici dəstələrdən ibarət Qafqaz konvoy eskadrilyasına köçürülüb, 1858-ci ildə isə "ştabs-rotmistr" rütbəsi alıb. İmperator qərargahı komandirinin 7 mart 1859-cu il tarixli əmri ilə o, xilasedici Qafqaz eskadronunun 4-cü müsəlman taqımına komandir təyin edilib. 1862-ci ildə "rotmistr" rütbəsinə layiq görülüb.
1862-ci ildə arzusuna uyğun olaraq komandanlığın əmri ilə ordunun süvariləri sıralarına qəbul olunmaqla Qafqaz Ordusuna göndərilib və ona "podpolkovnik" rütbəsi verilib.
Qafqaz Ordusunun Baş Komandanı Knyaz Mixail Nikolayeviçin 1863-cü ildə imzaladığı əmrlə o, Bakı hərbi qubernatorunun sərəncamına göndərilib. 1864-1865-ci illərdə Bakı polis rəisi, Şuşa və Nuxa qəzasının rəisi vəzifələrində çalışıb. 1866-cı il aprelin 14-də podpolkovnik Mirzə Hacı bəy Novruzov komandanlığın əmri ilə Qafqaz Süvari Diviziyasının 16-cı Nijni Novqorod Draqun alayına göndərilib. 1866-1871-ci illərdə alay komandirinin döyüş əməliyyatları üzrə köməkçisi, eyni zamanda, alayın 2-ci (1866-1868) və 1-ci (1868-1871) diviziyalarının komandiri olub. 1868-ci ildə "Xidmətdə fərqlənməyə görə" ən yüksək ordenlə təltif olunub və "polkovnik" rütbəsinə yüksəlib. 1871-1874-cü illərdə 17-ci Severski Draqun Alayının ehtiyat eskadronunun komandiri, 1874-cü il noyabrında isə 15-ci Tver Draqun Alayının komandiri təyin edilib.
1877-1878-ci illərdə o, Rusiya-Türkiyə müharibəsində iştirak edib. Müharibədəki əla döyüş xidmətlərinə görə 1878-ci ildə ona "general-mayor" rütbəsi verilib. 1879-cu ildə 3-cü Qafqaz süvari diviziyasının 1-ci briqadasının komandiri təyin edilib. Həmin il mayın 15-də Əlahəzrət İmperator Böyük Hersoq Nikolay Nikolayeviçin 15-ci Tver Draqun Alayına keçirilib. 1883-cü ildən 3-cü Qafqaz süvari diviziyası 2-ci Qafqaz kazak diviziyası adlandırılıb. General-mayor Novruzov 2-ci Qafqaz kazak diviziyasının 1-ci briqadasının komandiri təyin edilib. 1893-cü ildə Əlahiddə Qafqaz Hərbi Dairəsinin qoşunlarında xidmətə təyin olunub. Həmin il zabit rütbələrində qüsursuz xidmətə görə fərqlənmə nişanı ilə təltif edilib.
1896-cı ildə ona "general-leytenant" rütbəsi verilib. 1899-cu ildə təqaüdə çıxıb və Tiflisdə yaşayıb.
Orduda nümunəvi xidmət edən Mirzə Hacı bəy Novruzova imperiyanın kavaler ordenləri məhz döyüşlərdə göstərdiyi igidliklərə görə verilib. O, üçüncü dərəcəli  "Müqəddəs Stanislav" (1856), üçüncü dərəcəli "Müqəddəs Anna" (1860), ikinci dərəcəli "Müqəddəs Anna" (1873), qılınc və bantla birgə "Müqəddəs Vladimir" (1877), qızıl qılıncla birgə "İgidliyə görə" (1878), qılıncla birgə üçüncü dərəcəli "Müqəddəs Vladimir" ordeninə, 1878-ci ildə isə çar II Aleksandrın şəxsi təşəkkürünə, birinci dərəcəli "Müqəddəs Stanislav" (1882), birinci dərəcəli "Müqəddəs Anna" (1886), ikinci dərəcəli "Müqəddəs Vladimir" (1891) ordenlərinə layiq görülüb. 1893-cü ildə uzun illər orduda nümunəvi xidmətinə görə fərqlənmə döş nişanı ilə təltif olunub. Həmçinin Mirzə Hacı bəy Novruzova 1871-ci ildə ali komandirlərə məxsus Almaniyanın qılıncla birgə "Xaç orden"i verilib.
Mirzə Hacı bəyin iki oğlu olub - Teymur bəy və Hidayət bəy. Teymur bəy də hərbçi olub. O, 1918-1920-ci illərdə Azərbaycan Milli Ordusunda "general-mayor" rütbəsinə yüksəlib.
Mirzə Hacı bəy Novruzov 14 fevral 1902-ci ildə vəfat edib. Tiflisdəki müsəlman qəbiristanlığında dəfn edilib.

"Azərbaycan Ordusu"