W XIX i w I połowę XX wieku na terenie Olszowy znajdowały się trzy obszary dworskie. Pierwszy zwany Olszowa I należał w XX wieku do Witolda Daszkiewicza, drugi zwany Olszowa II do Jana Paetzolda, a Olszowa III, zwana Podmiejską należąca do Franciszka Wunschika.
Pierwsza wzmianka o wiosce pochodzi z 1266 roku, wtedy to miejscowość oddawała dziesięcinę biskupowi wrocławskiemu. W ciągu wieku często zmieniali się właściciele majątku ziemskiego.
W kolejnych latach byli nimi: w XIV wieku komes Stogniew z rodu Olszów, w 1404 roku Maćko Jeleń Olszewski, w 1439 roku Marcin Jeleń z Olszowy, w 1473 roku Jan Czarnecki, w 1493 roku Adam z OIszowy, w 1684 roku Marcin z Olszowy, w 1797 roku Jędrzej Siewierski, w 1848 roku Józef Chrzanowski, w II połowie XIX wieku Józef Daszkiewicz, w latach 1912-1945 Witold Daszkiewicz, podczas II wojny światowej Niemiec-Baltendeutscher.