Середнянський замок — збудований у ХІІ ст. чернечо-лицарським орденом тамплієрів. 1312 року орден тамплієрів через своє багатство став жертвою жадібності західноєвропейських королів, його членів звинуватили у зв’язках із «нечистою силою», заарештували, майно розграбували, а сам орден ліквідували. Середнянський замок переходить у володіння ченців ордену св. Павла. У цей період в Угорщині точиться боротьба за королівський престол, унаслідок якої феодальна фронда зазнає поразки і втрачає всі свої володіння. Новий король Угорщини Карл Роберт подарував ці володіння своїм соратникам — представникам нових магнатських родів, зокрема вихідцям із Франції та Італії — Другетам, Дожам, Дебрецені.
Середнянський замок пригледівся Другетам, але на нього в цей самий час почав зазіхати феодал Палочі. Боротьба між двома кланами тривала впродовж століття і завершилася на користь Палочі. Але феодалам Палочі не довелося довго володіти Середнянським замком. 1526 року в битві при Могачі загинув останній представник роду Палочі по чоловічій лінії.
Після цього замок переходить у володіння дворянського роду Добо. Його син, силами полонених турків відреставрував і зміцнив замок, розширив винні льохи.
Впродовж XVІІ — XVІІІ століть Середнянський замок неодноразово міняє своїх господарів у вихорі нескінченних австро-турецьких і австро-угорських воєн. У цих війнах замок поступово занепадає, ремонтних робіт ніхто не проводив, оскільки архаїчна кам’яна брила вже не відповідала стилю життя дворян ХVІІІ ст. Відчутного удару замку було завдано під час антигабсбурзького руху угорських дворян під проводом Ференца ІІ Ракоці в 1703-1711 роках, після чого замок більше не відновлювався.
Середнянський замок складається лише з однієї чотирикутної могутньої кам’яної вежі — донжона (18,6х16,5м) — головної та найхарактернішої ланки романської середньовічної фортеці, прообразом якої були давньоримські прикордонні сторожові башти на Рейні та Дунаї. Спочатку донжон Середнянського замку був триярусним із балковим міжповерховим перекриттям.
Висота вежі сягнула 20 м, а товщина стін — 2,6 м. Вхід у вежу-донжон з метою безпеки було розміщено на рівні другого ярусу по центру східної стіни. До нього вели з вулиці дерев’яні сходинки, які в разі небезпеки можна було легко прибрати або спалити.
Другий ярус створювали три приміщення. В одному з цих приміщень були сходинки, які вели на третій ярус. Перший ярус складався з двох приміщень — «східне» і «західне», розміри яких 11,2х6 м. Посеред роздільної стіни, товщина якої 1,3 м, є проріз для дверей завширшки 80 см. Недалеко від дверей у підлозі «східного» приміщення видно яму (закидану камінням). Ймовірно, це був колодязь. Навпроти ями зберігся квадратної форми фундамент, який прилягає до східної стіни вежі. Перший поверх романської вежі був слабко освітлений, тож тут розміщувалися комори, арсенал зброї та в’язниця.
Замок оборонявся двома оборонними лініями. Перша оборонна лінія була дерев’яною, так званий «паланок». Головна роль у системі оборони Середнянського замку відводилася західному та південному мурам, з яких контролювався вхід на подвір’я замку. У цих стінах і найбільше вікон-бійниць. У західній стіні п’ять таких вікон, які розміщені двома горизонтальними рядами. У південній стіні — чотири вікна-бійниці з арковим завершенням. Біля подвійної стіни — три вікна такого ж завершення. Із внутрішнього боку біля стін між вікнами проходив настил, який давав змогу захисникам замку пересуватися від одного вікна бійниці до іншого, не спускаючись на підлогу.