Градот е сместен помеѓу реката Инерсте и нејзината притока Гране, на северните падини на планинскиот масив Харц и истоимениот национален парк, на околу 8 километри северозападно од градот Гослар.
Местото некогаш било наречено Лангенице (Langenizze) кое се развило од тврдина на планината Канштајн во X век, која била подигната од Отонската династија. Лангелсхајм бил место на стари леарници, првпат забележани во XIII век, каде рудата од Рамелсбершките рудници била топена.