Jelikož se hřbitov nalézá ve stejných místech jako na počátku existence židovské obce ve 14. století, patří bezpochyby k nejstarším židovským pohřebištím na Moravě.

Najdeme ho asi 200 m jihozápadně od židovské čtvrti, pod parkem Obůrkou. Hřbitov má nepravidelný, téměř trojúhelníkovitý tvar. Vstup býval v severovýchodní části ohradní zdi. Hřbitov je obehnán masivní kamenocihelnou zdí o výšce 1 až 2 metry.

Při východní zdi byla po roce 1824 postavena prostá obdélná márnice, zbořená v letech 1955-6. Terén hřbitova se k Obůrce strmě zvedá. Ve svahu je asi 25 nepravidelných řad hrobových míst umístěných dosti nezvyklým způsobem - kolmo k vrstevnicím.

Starší náhrobky vycházející ze základního kvadrátního typu mají rozličné tvary a členění, bývají opatřeny hebrejským písmem a střídmou výzdobou rostlinného a ornamentálního dekoru pod vlivem lidového umění, kterou doplňuje symbolika vztahující se ke jménu, povolání či vlastnostem zemřelého. Z použitého materiálu je nejčastější žula, méně pískovec a mramor. Novodobé náhrobní kameny (od poloviny 19. století) jsou zpravidla z mramoru a žuly, jsou skromné výzdoby a s německým textem.

Nejstarší dochované náhrobky pocházejí z konce 17. století, poslední pohřeb se uskutečnil na počátku 2. světové války.

Jemnický židovský hřbitov byl těžce poškozen nacisty. Nové náhrobky byly pokáceny a rozkradeny, starší pomníky byly vytrhány ze země a byla jimi vydlážděna ulice Na malé brance. Hned po osvobození v roce 1945 byly tyto náhrobní kameny vráceny zpět na hřbitov, kde ležely opřeny zevnitř o severní zeď. V roce 1960 se objevují snahy o jejich znovuosazení, ale ty brzy pohasly. Obnovy se areál dočkal až v letech 1991-4 zásluhou tehdejšího jemnického starosty dr. Jiřího Třísky.