1973 formierte Baier gemeinsam mit dem Musiker Walter Westrupp, den er noch von der Skiffle-Szene der frühen 60er Jahre her kannte, das Duo BaierWestrupp. Beide Musiker komponierten und schrieben Texte und spielten während ihrer Auftritte mehrere Instrumente. Sie steuerten u. a. Kinderlieder zu Fernsehserien wie Sesamstraße und Die Sendung mit der Maus bei, daneben auch Musik zur TV-Reihe Familie Zisch.
Parallel begann Baier als Gastmusiker in Westrupps Skiffle-Formation Walter h.c. Meier Gang eine elektrisch verstärkte Ukulele zu spielen. Daraus ging schließlich das Ensemble Walter h.c. Meier Pumpe hervor, das sich bis 1976 in der gesamten Bundesrepublik mit Skiffle-Musik und deutschen Texten profilierte (u. a. in den Liedern Baby Barré und Segeroth-Skiffle).
Baiers Spitzname „Pumpe“ verbreitete sich nun in der Musiker-Szene; der Name stammte aber bereits aus seiner Zeit in der Jugendbewegung.
