Osman Zeki Üngör, 1880 senesinde Üsküdar’da dünyaya geldi. Osman Zeki Üngör’ün Dedesi, Osmanlı Devleti’nin saray orkestrası olan Mızıka-yı Hümayun bünyesinde “Fasl’ı Cedid”‘i (batı enstrümanlarını da içeren fasıl topluluğu) tertip eden Santuri Hilmi Bey; babası Şekerci Hacı Bekir ailesinden Hüseyin Bey’dir.
Beşiktaş Askeri Rüştiyesi’ndeki askeri eğitimin sonrasında 1891’de Osmanlı saray bandosu olan Mızıka-yı Hümayun’a girerek müzik öğrenimi gördü. Yeteneğiyle II. Abdülhamid’in dikkatini çekince konser kemancısı olarak yetiştirildi. Kemancı Vondra Bey’den keman, d’Aranda Paşa’dan da müzik nazariyatı dersleri aldı.
Mızıka-yı Hümayun bünyesinde Saffet Bey aracılığıyla kurulmuş olan Makam-ı Hilâfet Filarmoni Muzikası’nda başkemancı olarak atandı. Sadece askeri marşlar çalan mızıkanın, bir senfoni orkestrasına dönüşmesi için emek verdi. Birçok ünlü bestecilerin keman konçertolarını Türkiye’de çalan ilk Türk kemancı oldu. Sultan Abdülhamit’e sürekli olarak konserler verdi. Konserlerinin çok beğenilmesi sebebiyle ödüllendirilip rütbesi genç yaşta binbaşılığa kadar yükseltildi.
1908’de, Meşturiyetin ilanı’ndan sonra rütbesi mülazimliğe (teğmenlik) indirildi; Saffet Bey’in idaresindeki orkestrada başkemancılığa sürdü. Bir süre Mızıka-yı Hümayun’da yaylı sazlar bölümünde öğretmenlik de yaptı. Ek olarak Darülmuallimin’nde (İstanbul Erkek Muallim Mektebi) dersler verdi. .
I. Dünya Savaşı sırasında Mızıka-ı Hümayun ile Avrupa şehirlerinde konserler verdi. 17 Aralık 1917- 31 Ocak 1918 tarihleri içinde gerçekleşen ve Viyana, Berlin, Dresden, Münih, Peşte, Sofya’yı kapsayan bu turne, bir Türk orkestrasının çıktığı ilk Avrupa turnesi idi.
Saffet Bey’in istifası üzerine 1917’de saray orkestrasının şefliğine atanan Osman Zeki Bey, Avrupa turnesi dönüşünde orkestrayı bağımsız bir kadroya kavuşturdu ve ilk defa saray dışında halka yönelik konserler verdi. Orkestra, haftalık halk konserlerini Tepebaşı’ndaki Union Française Salonu’nda vermekteydi.
Besteci asıl ününü Mehmet Âkif Ersoy’un İstiklâl Marşını besteleyerek elde etti. Osman Zeki Bey, 1921 senesinde Mehmet Akif’in şiirinin ulusal marş güftesi olarak seçilmesinden sonra 1922’de Maarif Bakanlığı aracılığıyla tertip edilen beste yarışmasına davet edilen 24 besteciden birisiydi. Kimi anekdotlara göre İstiklal Marşı’nı, İzmir’in Yunan işgalinden kurtuluşundan sonra bestelemişti. Yarışma seçici kurulu aracılığıyla Osman Zeki Bey’in eseri beşinci seçilirken; Ali Rıfat Bey’in alaturka usuldeki bestesi birinci seçildi. Lakin 1930 senesinde Maarif Bakanlığı’nın resmi kurumlara gönderdiği bir genelge ile uygulamada değişiklik yapıldı ve o güne kadar Ali Rıfat Bey’in bestesi ile seslendirilen güfte; Osman Zeki Bey’in batı tarzı bestesi ile seslendirilmeye başladı; devletin resmi marşı halini aldı.
Osman Zeki Bey, Cumhuriyet’in ilanı’ndan sonra orkestrası ile Ankara’ya gidip 11 Mart 1924 günü şehrin tarihindeki ilk senfonik konseri verdi. Orkestra, Ankara’daki ikinci konserinden sonra “Riyaseticumhur Musiki Heyeti” adı altında cumhurbaşkanlığına bağlandı. Osman Zeki Bey, sonradan Cumhurbaşkanlığı Senfoni Orkestrası’na dönüşen topluluğun orkestra şefliğini yaptı.
Osman Zeki Bey, ülkenin müzik öğretmeni gereksinimini karşılamak için Musiki Muallim Mektebi’nin kurulmasında önemli rol oynadı. Bu kurum, Ankara Konservatuarı’nın temelini oluşturmuştur. Kendisi, okulun ilk öğretim üyesi ve ilk müdürü idi. Okul müdürlüğünü 1924-1934 seneleri içinde 10 yıl boyunca sürdürdü.
7 Haziran-5 Eylül 1926’da Karadeniz adlı gemide tertip edilen Yerli Malı Sergisi sebebiyle dört ay boyunca Güney ve Kuzey Avrupa limanlarını dolaştı ve Cumhurbaşkanlğı Senfoni Orkestrası ile konserler verdi. Bu, Cumhuriyet zamanında bir Türk orkestranın çıktığı ilk yurtdışı turne idi.
1934 senesinde sağlık sebebiyle emekliye ayrılan Üngör; emeklilik günlerinde İstanbul’da yaşadı Soyadı Kanunu çıktığında “Üngör” soyadını aldı (oğlu Ekrem Zeki Bey, “Ün” soyadını almıştır)
1958’de İstanbul’da Moda’daki evinde yaşamını yitirdi. Cenaze merasiminde askeri bir bando aracılığıyla İstiklal Marşı çalındı. Mehmet Cenazesi, Karacaahmet mezarlığı’na defnedilmiştir.
