Ko je cesar Franc Jožef potoval po svojem cesarstvu, je prišel na Halarjev hrib. Ozrl se je po dolini šmarski in svojim spremljevalcem dejal: 'Poglejte, to lepoto rajsko! Malo je takih v mojem cesarstvu.'
Šmarje pri Jelšah leži na gričevnatem svetu zgornjesotelskega območja na sotočju štirih potokov. Prvič je bil kraj omenjen že leta 1236 kot Sancta Maria, v trg pa je bil povišan leta 1871. Šmarje pri Jelšah je v zgodovini igralo pomembno upravno vlogo. Med obema svetovnima vojnama je bil tu sedež velikega Sreza, ki je imel pomembno upravno vlogo v Kraljevini SHS. Leta 1958 so tedanji občini Šmarje priključili še občini Rogaška Slatina in Kozje in do konca leta 1994 je bilo Šmarje pri Jelšah središče nove velike občine, ki se je nato razdelila na šest manjših. Meje zdajšnje občine so zarisane od konca leta 1994, sam kraj pa je ohranil vlogo upravnega središča nekdanje občine, danes upravne enote Šmarje pri Jelšah.
V Šmarju pri Jelšah je živelo in delovalo veliko zavednih Slovencev, med njimi Franc Skaza, soustanovitelj prve slovenske tiskarne v Mariboru, odvetnik dr. Hugo Kartin, ustanovitelj šmarske posojilnice, dr. Josip Vošnjak, pisatelj in narodni buditelj in Marica Strnadova, znana slovenska pesnica na prelomu z 19. v 20. stoletje. Leta 1883 je prišel v šmarsko župnijo za kaplana Anton Aškerc. Na tem mestu je ostal vse do leta 1889, medtem pa odigral izjemno pomembno vlogo v boju proti nemškutarjem in v marsičem tudi uspel. Med drugim je poslovenil legendo o gradnji cerkve sv. Roka, ki je zapisana pod fresko starodavnega Šmarja v prezbiteriju. Aškerc je bil tudi prvi tajnik leta 1883 ustanovljene čitalnice, ki je pomenila razmah kulturnega življenja v kraju. V njej so člani lahko prebirali časopise in knjige, prirejali pa so tudi burke in igre s petjem. Anton Aškerc je med službovanjem v Šmarju pri Jelšah napisal znameniti cikel Stara pravda in za izdajo pripravil zbirko Balade in romance.