Figlio del Marchese Filippo Bufalini, venne inviato al Collegio San Carlo di Modena per compiere i primi studi. Più tardi si trasferì a Roma per iniziare a specializzarsi in legge e si laureò nel 1740 in utroque iure presso l'Università di Macerata. La sua carriera fu favorita particolarmente dal Cardinale Valenti Gonzaga, grazie al quale divenne presto governatore di Benevento, poi di Loreto. Nel 1746 affrontò con grande energia il passaggio delle truppe austriache e napoletane da Loreto in occasione della guerra di successione. Sotto il pontificato di Benedetto XIV fu eletto chierico di camera e presidente della Zecca. Fino al 1754 fu anche prelato della Congregazione di Loreto e Avignone e pronotario soprannumerario. Sperando di accedere a cariche maggiori in quello stesso anno fu ordinato sacerdote, poi consacrato arcivescovo di Calcedonia e destinato a reggere la nunziatura di Lucerna. Si trattenne in Svizzera per pochi anni, perché Papa Clemente XIII lo richiamò in patria per nominarlo prefetto del Sacro palazzo apostolico prima e nel 1766 Cardinale con il titolo di S. Maria degli Angeli alle Terme. Fu fatto vescovo di Ancona, dove dimostrò il suo carattere intransigente: prese infatti provvedimenti riguardo al buoncostume, contro la diffusione di libri provenienti dall'estero, contro le maschere del carnevale, contro gli Ebrei ed altri gruppi religiosi ritenuti eretici; ostacolò la stampa illuministica adottando metodi repressivi. Partecipò ai due conclavi che elessero i Papi Clemente XIV e Pio VI.