一事归一事，不管怎么说，既然已经与该公司解除了劳动合同，两者的关系就应当是合法撇清的，公司的这种做法是不合理的。
根据我国《劳动合同法》第八十四条规定，用人单位违反本法规定，扣押劳动者居民身份证等证件的，由劳动行政部门责令限期退还劳动者本人，并依照有关法律规定给予处罚。另外，劳动者依法解除或者终止劳动合同，用人单位扣押劳动者档案或者其他物品的，依照前款规定处罚(由劳动行政部门责令限期退还劳动者本人，并以每人五百元以上两千元以下的标准处以罚款，给劳动者造成损害的，还需承担赔偿责任)。
这件事中，该公司自解除劳动合同时起，就已经无权持有你的档案及私人物品了，你可以通过与公司协商，或者通过劳动行政部门投诉等方式维护自己的合法权益。
如果您还有其他的法律问题，欢迎咨询华律网相关律师。