Zamek w Janowcu nad Wisłą został zbudowany w latach 1508-1526 staraniem Mikołaja Firleja, (kasztelan krakowski od 1520, hetman wielki koronny w latach 1515-1526, wojewoda sandomierski od 1514, wojewoda lubelski w latach 1507-1514) i jego syna Piotra (dworzanin królewski, kasztelan chełmski, starosta: lubelski, radomski i kazimierski), przedstawicieli jednego z najpotężniejszych i najbardziej wpływowych rodów ówczesnej Polski. Założony został na planie nieregularnego wieloboku, na wysokiej skarpie pradoliny Wisły, u podnóża której znajduje się miasto Janowiec. Miał wymiary 121x71 m i składał się z budynku bramnego z basteją  (fot.), szyją bramną, przedbramiem, bastei północno-wschodniej, narożnej baszty wschodniej (baszta typu puntone) i dwóch wież mieszkalno-obronnych (południowej i północnej). Budynki te były połączone murami kurtynowymi z systemem strzelnic. Na zamku gościli m.in. król Zygmunt Stary i królowa Bona.
Pod koniec XVI wieku forteca straciła swoje znaczenie militarne na rzecz funkcji rezydencjonalnych. Andrzej Firlej, kolejny właściciel zamku, w latach 1577-1587 wybudował renesansowe skrzydło pałacowe z attyką i krużgankami kolumnowymi od dziedzińca, wypełniające przestrzeń między narożną basztą a południową wieżą mieszkalną i tworząc w ten sposób reprezentacyjny dziedziniec  (fot.). Pracami kierował Włoch Santi Gucci, najwybitniejszy z architektów działających w Polsce w drugiej połowie XVI wieku. Na zamku bywał często, zaprzyjaźniony z Andrzejem Firlejem Jan Kochanowski, najwybitniejszy poeta renesansu.
Po śmierci Andrzeja Firleja zamek przejęła rodzina Dulskich, a pod koniec XVI wieku rodową siedzibę umieścili tutaj Tarłowie. Jan Karol Tarło w pierwszej połowie XVII wieku dokonuje największej w dziejach rozbudowy zamku. Rozbudowuje go w kierunku zachodnim, tworząc górujące dziś nad miastem skrzydło południowe  (fot.), flankowane od wschodu  (fot.) i zachodu cylindrycznymi wieżami  (fot.). Wnętrza zamku uzyskują bogaty wystrój sztukatorski. Powstaje tzw. Dom Północny oraz czterokondygnacyjne skrzydło wschodnie z filarowymi krużgankami  (fot.). Wielka Basteja uzyskała od strony dziedzińca krużganki. Elewację skrzydła wschodniego od strony fosy przyozdobiono rysunkami w tynku przedstawiającymi pieszych żołnierzy. W roku 1606 na zamku miało miejsce pojednanie króla Zygmunta III Wazy z marszałkiem wielkim koronnym Mikołajem Zebrzydowskim, przywódcą rokoszu Zebrzydowskiego.
Około roku 1654 zamek przechodzi w ręce rodziny Lubomirskich w wyniku małżeństwa Barbary Tarło z Jerzym Sebastianem Lubomirskim, marszałkiem wielkim koronnym i hetmanem polnym koronnym. W dniu 7 lutego 1656 zamek został ograbiony i spalony podczas najazdu Szwedów pod dowództwem Karola Gustawa. Po 1667 roku na miejscu rozebranej wieży północnej powstaje zabudowa gospodarcza (tzw. czeladna), zaś na Małym Dziedzińcu kaplica oparta o mur z krużgankami. Wnętrza uzyskują nowe dekoracje malarskie i sztukatorskie w stylu Ludwika XV, powstają rokokowe ornamentalno-alegoryczne obramienia okien elewacji południowej. Pracami kierował najwybitniejszy architekt baroku w Polsce Holender Tylman van Gameren. W 1672 roku na zamku przebywał król Michał Korybut Wiśniowiecki.
W 1716 roku na zamku gościł, podczas wojny północnej, król August II Mocny. Z zamkiem związana jest także historia romantycznych schadzek księcia Karola Krystiana, syna króla Polski Augusta III Sasa, z Franciszką z Krasińskich herbu Ślepowron. Podobno w tutejszej kaplicy, w tajemnicy przed królem, para zawarła morganatyczne małżeństwo. W 1780 roku Marcin Lubomirski, generał i marszałek wielki koronny, sprzedał zamek Mikołajowi Piaskowskiemu (plotka głosiła wówczas, że przegrał zamek w karty). Po jego śmierci (w roku 1803) zamek często zmieniał właścicieli (nowymi właścicielami zamku byli Osławscy, Ludwik Budziszewski, August Zawisza, Feliks Ćwirko-Gotycki i wreszcie Paulina Wiktoria Zieleniewska). Wszyscy oni nie mieszkali jednak w zamku, a ze względu na koszty nie było ich stać na jego utrzymanie. W czasie wojny Napoleona z Austrią popadł w ruinę, stając się źródłem pozyskiwania materiałów budowlanych dla okolicznej ludności.
W 1931 roku zamek wraz z przylegającym 16 ha parkiem kupił Leon Kozłowski. Niestety, nie zatrzymał on procesu popadania zamku w ruinę, choć wyremontował dwa pomieszczenia w baszcie i powstrzymał rozkradających zamek wandali. Podczas II wojny światowej zamek ucierpiał w wyniku ostrzału artyleryjskiego. Po drugiej wojnie światowej posiadłość (jako zbyt mała), nie podlegała reformie rolnej i pozostała w rękach właściciela. Był to prawdopodobnie jedyny w Polsce Ludowej prywatny zamek.
W 1975 roku zamek wraz z parkiem został zakupiony przez Muzeum Nadwiślańskie w Kazimierzu Dolnym z zamiarem zabezpieczenia konserwatorskiego ruin i utworzenia tu swojego oddziału. W 1976 roku rozpoczęto badania archeologiczne. Zamek zabezpieczono w formie trwałej ruiny, częściowo zrekonstruowano z przeznaczeniem na cele muzealne i turystyczne. W tzw. Domu Północnym zorganizowano wystawę historyczną z eksponatami poświęconymi przeszłości zamku, kolejnym właścicielom oraz dziejom jego konserwacji. Z zamkowych murów rozpościera się piękny widok na dolinę Wisły  (fot.).

W leżącym obok zamku parku Muzeum Nadwiślańskie zorganizowało mały skansen. Możemy zwiedzić dworek ziemiański z miejscowości Moniaki  (fot.)  (fot.), (zbudowany w latach 1760-1770 przez rodzinę Wierzbickich: Jakuba, chorążego żytomierskiego i jego syna Jacka, cześnika urzędowskiego) i drewniany spichlerz z XIX wieku z Podlodowa  (fot.)  (fot.). Na terenie skansenu znajdują się też XIX-wieczna drewniana stodoła z Wylągów pod Kazimierzem oraz pochodzący z przełomu XIX i XX wieku spichlerz z Kurowa.
W samym Janowcu na uwagę zasługuje kościół  (fot.) wybudowany około roku 1350 w stylu gotyckim i przebudowany w stylu renesansowym w XVI wieku. W kościele znajduje się nagrobek Firlejów dłuta Santi Gucciego.

Zamek w Janowcu leży około 11 km na południe od drogi krajowej nr 12 Radom-Puławy-Lublin. Dojazd z Radomia około 58 km, z Puław 15 km. Do Janowca można dostać się także z Kazimierza Dolnego przeprawiając się przez Wisłę promem samochodowo-osobowym. Przystań promowa w Kazimierzu znajduje się około 1,5 km od rynku w górę Wisły, po stronie Janowca przystań leży około 2 km od miasteczka. Prom pływa od kwietnia do listopada (zależnie od stanu wody i warunków armosferycznych).
Wstęp na zamek jest płatny, w cenie biletu można również zwiedzić dwór i spichlerz. Na zamku czynna jest kawiarenka.