Одним из первых артефактов  в музее появился  - ШЕЛЕГ – мелкая  монета, по одной из гипотез, давшая происхождение фамилии Шеле(и)ховых, а следом, появились удивительные предметы археологии XII- XVI веков, обнаруженные в окрестностях Рыльска археологами И.Н. Бовиным и А.П. Зуевым, керамические изразцы, кирпичи с клеймами и лепнина с фасада дома Г.И.Шелехова периода  XVIII века, положившие начало рыльской коллекции музея, которая начала формироваться благодаря Владимиру Алексеевичу Хороших.