Nel 1802, la Municipalità di Bologna progettò un liceo musicale da collocare nel convento di S. Giacomo, affiancato alla chiesa omonima. L'istituto, inaugurato il 3 dicembre 1804 come Liceo Filarmonico, era dedicato all'insegnamento di composizione, pianoforte, canto e strumenti a corda e a fiato. Tra i primi insegnanti figuravano noti compositori come Stanislao Mattei e Giovanni Callisto Zanotti.

Nel 1839, un nuovo regolamento stabilì limiti di iscrizione e requisiti per gli insegnanti. Gioachino Rossini, allora residente a Bologna, assunse il ruolo di consulente perpetuo onorario, influenzando la scuola con la sua passione per la musica tedesca e proponendo l’inserimento di Stefano Golinelli e Gaetano Donizetti, quest’ultimo però non accettò.

Tra ‘800 e ‘900, direttori come Luigi Mancinelli, Giuseppe Martucci e Marco Enrico Bossi riformarono l'istituto, ampliando le materie e migliorando le condizioni degli insegnanti. Mancinelli introdusse nuovi corsi, Martucci orientò la scuola verso la sinfonia wagneriana e Bossi potenziò la classe di contrappunto.

Nel periodo successivo, direttori come Ferruccio Busoni e Franco Alfano apportarono ulteriori miglioramenti: Cesare Nordio, direttore dal 1925 al 1945, trasformò il Liceo in Conservatorio Statale. Oggi, il Conservatorio continua a espandersi e a formare talenti musicali in un prestigioso edificio situato in piazza Rossini, accanto alla chiesa di S. Giacomo Maggiore.