Чтобы удалить слой из маски слоев, используйте команду логическое AND оператор на исходной маске слоя и битовое дополнение слоя, чтобы удалить его.
originalLayerMask &= ~(1 << layerToRemove);