Twierdzę zbudowano w trzech etapach w latach 1765-1777 według projektu pruskiego inżyniera Ludwika Wilhelma Reglera, zmodyfikowanego przez samego króla Prus Fryderyka Wielkiego. Zadaniem twierdzy było zabezpieczenie Śląska, który został zdobyty przez Prusy w 1740 roku. Twierdzę wzniesiono na dwóch górujących nad Przełęczą Srebrną (586 m n.p.m.) wzniesieniach: Forteczną Górą (686 m n.p.m.) oraz Ostrogiem (627 m n.p.m.). Twierdza składała się z sześciu fortów: Donżon, Wysoka Skała, Ostróg, Rogowy, Chochoł Mały oraz Chochoł Wielki.
Pierwszym, i jak dotąd jedynym, sprawdzianem możliwości obronnych twierdzy było oblężenie przez wojska napoleońskie podczas wojny Prus z Francją (1806-1807). W czerwcu 1807 roku Bawarczycy i Wirtemberczycy próbowali szturmem zdobyć Srebrną Górę. Twierdza nie została zdobyta, a wkrótce, w lipcu 1807 roku podpisano pokój w Tylży. W latach 1830-1848 twierdzę wykorzystywano jako więzienie dla działaczy ruchu "Młodych Niemców". W styczniu 1860 roku wydano rozkaz likwidacji przestarzałej już twierdzy. Ostatni żołnierze opuścili ją w 1867 roku. Przez kilka następnych lat fortyfikacje służyły jako poligon doświadczalny do prób artylerii i materiałów wybuchowych.
W II połowie XIX wieku władze pruskie nakazały zaprzestać niszczenia twierdzy i uczyniły z niej atrakcję dla turystów. Na początku XX wieku uruchomiono zębatą Kolej Sowiogórską, która umożliwiła dojazd do Przełęczy Srebrnej. W 1913 roku otwarto na Forcie Ostróg Schronisko Młodzieżowe. Po I wojnie światowej główny fort odremontowano i urządzono w jego wnętrzu restaurację "Donjon". W latach 1926-1928 przeprowadzono remont Fortu Wysoka Skała, który został przekształcony w ośrodek sportowy dla szkoły policyjnej w Ząbkowicach Śląskich. W 1930 roku odnowiony Fort Rogowy stał się ośrodkiem wypoczynkowym dla policji wrocławskiej. W 1931 roku na terenie Donżonu utworzono Muzeum Starej Broni.
Podczas II wojny światowej w fortach Ostróg (Spitzberg) i Wysoka Skała (Hohenstein) utworzono obóz jeniecki, Oflag VIII B, przeznaczony dla polskich oficerów. Więziono tu m.in. dowódcę Obrony Wybrzeża z 1939 roku, kontradmirała Józefa Unruga oraz komandora Stefana Frankowskiego.
Lata powojenne to dewastacja twierdzy, która wcześniej została złupiona przez wojska radzieckie. W 1961 roku Twierdza Srebrnogórska zostało wpisana do rejestru zabytków. W 1965 roku PTTK i Komenda Dolnośląskiej Chorągwi ZHP podpisała porozumienie, na mocy którego uprzątnięto II Fort Rogowy i nadano mu nazwę "Harcerz". Fort Ostróg uprzątnięto w 1969 roku przy pomocy ówczesnego Ministerstwa Górnictwa i przemianowano na Fort "Górnik". W czerwcu 1974 w Forcie Donżon otwarto Muzeum Broni Ciężkiej. W czerwcu 2002 roku, w ramach ochrony dziedzictwa kulturowego, teren Twierdzy Srebrnogórskiej oraz pozostałości po nieczynnej kolei zębatej zostały włączone do pierwszego utworzonego w Polsce Fortecznego Parku Kulturowego. W kwietniu 2004 roku, rozporządzeniem Prezydenta Rzeczypospolitej Polskiej, twierdza zyskała status pomnika historii.

Twierdza składa się z kilku wysuniętych dzieł artyleryjskich i rdzenia. Jej trzon składa się z wieńca bastionów i kleszczy z donżonem w środku. W obiekcie jest łącznie 299 kazamat i 54 izby strzeleckie, rozmieszczonych na trzech kondygnacjach. We wnętrzu twierdzy mieściło się 3756 żołnierzy (w razie potrzeby nawet 5000), a do obrony służyły 264 działa i moździerze. W twierdzy wydrążono 9 studni. Każdy fort posiadał swoją studnię, istniała również piekarnia, browar, hodowano zwierzęta, a w magazynach można było przechować żywność i opał na co najmniej trzymiesięczne oblężenie. Donżon, największy fort w Europie, składa się z 4 połączonych kurtynami wież o średnicy 60 m i murach o grubości 12 m każdy  (fot.)  (fot.)  (fot.). Z korony Donżonu rozciąga się piękny widok na okolice  (fot.)  (fot.)  (fot.).

Twierdza udostępniona jest do zwiedzania, wstęp płatny. Główny fort Donżon zwiedza się w grupach z przewodnikiem ubranym w historyczny XVIII-wieczny mundur  (fot.)  (fot.)  (fot.). Po zakończeniu trasy wewnątrz twierdzy możliwe jest zwiedzanie indywidualne.
Można również odwiedzić dwa inne forty - Wysoka Skała i Ostróg, jednak wejście do każdego z nich wymaga osobnego biletu, bowiem forty mają innych dzierżawców. Po tych fortach również oprowadzają przewodnicy.
Dzierżawcą Fortu Wysoka Skała jest spółka cywilna "Fort Wysoka Skała". W planach jest utworzenie stałych ekspozycji: Wojska Polskiego XX wieku, wystawy nawiązującej do ucieczki jeńców wojennych podczas II wojny światowej, wystawy opowiadającej o powojennej odbudowie i historii opieki nad fortem Wysoka Skała przez harcerzy z wałbrzyskiej chorągwi ZHP. Ma być również otwarte pole namiotowe, czynne w sezonie letnim, strzelnica z systemem automatycznych tarczociągów, mają być organizowane wystawy broni i inscenizacje militarne.  (fot.)  (fot.)  (fot.)
Dzierżawcą Fortu Ostróg jest obecnie Muzeum Obrony Wybrzeża w Świnoujściu. W planach dzierżawcy jest m.in. opowiadanie o Tajemnicach Dolnego Śląska, w tym oflagu VIIIB, o pozostałościach po doświadczeniach z eksperymentalną amunicją w XIX wieku, o pochodzeniu i historii militariów wraz z ekspozycją.  (fot.)  (fot.)  (fot.)

W okresie letnim z przełęczy Srebrnogórskiej na teren Twierdzy kursuje kolejka Fort Fan Express. Do Twierdzy prowadzi malownicza, kręta droga, wyłączona z ruchu pojazdów. Czas przejścia z parkingu na przełęczy do Fortu Donżon to około 15 minut. Niedaleko wejścia do fortu odbija w prawo droga prowadząca do Fortu Wysoka Skała. Fort Ostróg leży po drugiej stronie drogi i można dojść do niego wyboistą drogą z parkingu w czasie około 10 minut.
Na terenie Twierdzy organizowane są liczne imprezy, w tym m.in. coroczne Święto Twierdzy zakończone rekonstrukcją bitwy o Twierdzę z 1807 roku.

Twierdza Srebrna Góra położona jest na wzniesieniach nad Przełęczą Srebrną oddzielającą Góry Sowie i Góry Bardzkie (jeden z fortów twierdzy, Fort Ostróg leży już w Górach Bardzkich). Nazwę zawdzięcza leżącemu nieopodal miasteczku Srebrna Góra (gmina Stoszowice, powiat ząbkowicki, województwo dolnośląskie).
Przez przełęcz przebiega droga wojewódzka nr 385 łącząca Nową Rudę z Ząbkowicami. Przełęcz leży w odległości około 12 km na zachód od Ząbkowic Śląskich i w odległości około 18 km na wschód od Nowej Rudy.