Hölbe war von 1871 bis 1883 Schüler und Mitarbeiter von Johannes Schilling. An einer Vielzahl von Schillings Werken war er hauptsächlich beteiligt.
Hölbe starb am 6. August 1926 in Dresden. Seine letzte Ruhestätte befindet sich auf dem Striesener Friedhof. Sein Grabdenkmal dort hatte er selbst geschaffen.