Jednou z nejdůležitějších postav historie zámku i města byl Ladislav Černohorský z Boskovic (asi 1455-1520), který pocházel z jednoho z nejvýznamnějších šlechtických rodů. Jelikož mu byla původně určena kariéra v církvi, procestoval v mládí za vzděláním velkou část Itálie. Studoval ve Ferraře, Bologni, Padově, Pávii či ve Vídni. Zde se nejspíš seznámil s myšlenkami humanismu a renesance. Měl také blízko ke dvoru uherského krále a tehdejšího vládce Moravy Matyáše Korvína v dnešní Budapešti, kde v jeho službách pobývala řada italských umělců. Odtud si Ladislav později pozval řemeslníky i do Moravské Třebové.
Po smrti bratra Jaroslava se musel vzdát církevní dráhy a ujmout se boskovického dědictví, patřil také k rádcům českého krále Vladislava Jagellonského. Z Moravské Třebové zakoupené roku 1485 učinil své sídlo a započal s jeho přestavbou. V jeho sídle se prolínala tradice středověkého městského hradu s novými renesančními prvky. Dodnes se dochovalo východní křídlo s prostorem tzv. Rytířského sálu, zaklenutého křížovou klenbou a pozdně gotická sklepení.
Raně renesanční prvky reprezentují především portál a dva portrétní medailony. Portál, dnes vsazený do jižní brány na nádvoří, tvořil původně hlavní vchod do „starého zámku“. Je datovaný rokem 1492, což z něj dělá nejstarší dochovanou renesanční památku v České republice. Vedle nepřehlédnutelných renesančních prvků lze v detailech vypozorovat ještě pozůstatky starých kamenických postupů, tvoří tak (společně s portálem tovačovského zámku a okenními ostěními Vladislavského sálu na Pražském hradě) přechod mezi gotikou a renesancí. To kulaté medailony Ladislava a jeho manželky Magdalény z Dubé a Lipé z roku 1495 jsou už ukázkou skvělé práce italského sochaře demonstrující čistotu renesančního slohu. Kopie jsou také vsazeny do jižní brány na nádvoří, mramorové originály jsou součástí expozice Poklady Moravské Třebové.
Samotný zámek si ponechal tradiční čtyřkřídlou dispozici s centrálním nádvořím a masivní věží, součástí zámku byla i černá kuchyně, předsazená v hradním příkopu. Dodnes je z části zachován jako podzemní prostor uprostřed nádvoří. Od roku 2010 je i tento prostor zpřístupněn, Je tu instalována expozice Barevná planeta. Zámecký areál byl v době pánů z Boskovic stále oddělen od města příkopem a přístup zajišťoval kamenný most, jehož pozůstatky byly objeveny při archeologickém výzkumu v 90. letech.
Na rozšiřování zámku se podíleli všichni majitelé rodu, jejich zásahy však nebyly tak rozsáhlé. Byli to především Václav z Boskovic, jehož jméno je vytesáno nad portálem domu v Bránské ulici, který byl propojen se zámkem. Václav si tudy krátil cestu do kostela. A také Jan Třebovský, který nechal postavit mlýn za hradbami zámku, v jeho blízkosti se dochovala branka s tesaným nápisem a erby pánů z Boskovic a pánů z Dubé a Lipé. Také Jan si zval na své sídlo umělce z dalekých končin, například malíře Pietra di Petri, jehož portrét Jana na úmrtním loži mohou také vidět návštěvníci zámku. Di Petri poté působyl, až do své smrti v roce 1611, také ve službách Žerotínů.