Ludéřovská sýpka je památkou na bývalou tvrz, v jejíž historii se vystřídalo velké množství majitelů. Jako první je zaznamenán r. 1349 Ludeř z Ludéřova, podle jména snad potomek zakladatele vsi. V r. 1376 jsou uváděni na Ludéřově synové Beneše z Laškova Jan, Beneš a Hereš, z nichž vzešel pozdější rod Oderských z Ludéřova. Po získání Oder prodali r. 1447 Janovi vnukové dvůr a  "kopec" (pozůstatek tvrze) Smilovi z Kremže. Za jeho doby vznikla v prostoru panského dvora další tvrz, později připomínaná jako dolní zámek. Tento byl v 18. století přestavěný na hospodářskou budovu. Toto soutvrzí je doloženo v zemských deskách v roce 1482.

V roce 1505 prodala Kunka z Ludéřova obnovenou tvrz a dvůr v Ludéřově Jiříkovi z Choltic a roku 1510 tvrz koupil Havel Chudobín z Bařic. Roku 1550 prodal další majitel Aleš Laškovský ze Švábenic celý Ludéřov Lukáši Grymovi, olomouckému měšťanovi. Majitelé se pak střídali, ale na tvrzi většinou trvale nebydleli. R. 1704 kupuje panství Hrabě Podstatzky z Prusinovic a trvz přestavuje na zámek. R. 1738 koupil Ludéřov Jiří Ondřej rytíř von Haagen, který odprodal zámek s hospodářským dvorem r. 1740 Ferdinandu Bonaventurovi II hraběti z Harrachu, jehož otec vlastnil dolní zámek v Náměšti na Hané. Ve stejném roce ke svému majetku v Ludéřově připojuje i náměšťské panství, které mu přenechává jeho otec. V roce 1766 po dostavbě nového horního zámku v Náměšti se stává z ludéřovkého zámku pouze hospodářský dvůr pro zásobování nového zámku stejně jako z dolního zámku v Náměšti sladovna.  K náměšťskému panství patřil statek až do zrušení poddanství.

V roce 1992 byl při přestavbě č.p. 14 v areálu dvora proveden záchranný archeologický výzkum, který odhalil pod podlahou tehdy polozříceného stavení vlevo od průjezdu do dvora úsek 2 m silného zdiva z lomového kamene spojovaného vápennou maltou, který by mohl náležet k opevnění tvrze. Nalezená keramika dokládá život na tvrzi od 14. do 17. stol.

Od roku 2007 probíhají na sýpce záchranné práce s cílem její postupné zpřístupnění veřejnosti. Fotogalerie z probíhající rekonstrukce je umístěna na stránkách občanského sdružení „U nás“.