12 May 2020

DellEMC Data Doamin - Storage enclosure numbering is not sequential

You may experience not sequential enclosure numbering when some of them are removed/ disconnected from the system. Way to resolve it is to release enclosure persistent id and restart the system.


sysadmin@dd-01# enclosure show summary

Enclosure   Model No.   Serial No.       State     OEM Name   OEM Value   Capacity

---------   ---------   --------------   -------   --------   ---------   --------

1           DD990       0F00000001       Online                           4 Slots

2           ES30        CKM00000000001   Online                           15 Slots

3           ES30        CKM00000000002   Online                           15 Slots

4           ES30        CKM00000000003   Offline                          15 Slots

5           ES30        CKM00000000004   Online                           15 Slots

6           ES30        CKM00000000005   Offline                          15 Slots

7           ES30        CKM00000000006   Online                           15 Slots

8           ES30        CKM00000000007   Offline                          15 Slots

9           ES30        CKM00000000008   Offline                          15 Slots

10          ES30        CKM00000000009   Offline                          15 Slots

11          ES30        CKM00000000010   Offline                          15 Slots

12          ES30        CKM00000000011   Offline                          15 Slots

---------   ---------   --------------   -------   --------   ---------   --------

12 enclosures present.


sysadmin@dd-01# enclosure release persistent-id all


sysadmin@dd-01# system reboot

 

The 'system reboot' command reboots the system. File access is

interrupted during the reboot.

        Are you sure? (yes|no) [no]: yes

 

ok, proceeding.

 

The system is going down for reboot.

 

Broadcast message from root (Mon Apr 27 14:05:01 2020):

 

The system is going down for reboot NOW!


 

sysadmin@dd-01# enclosure show summary

Enclosure   Model No.   Serial No.       State    OEM Name   OEM Value   Capacity

---------   ---------   --------------   ------   --------   ---------   --------

1           DD990       0F00000001       Online                          4 Slots

2           ES30        CKM00000000001   Online                          15 Slots

3           ES30        CKM00000000002   Online                          15 Slots

4           ES30        CKM00000000004   Online                          15 Slots

5           ES30        CKM00000000006   Online                          15 Slots

---------   ---------   --------------   ------   --------   ---------   --------

5 enclosures present.


DellEMC Data Domain - Resolve Disk State "Unknown"


Unknown disk are most likely just introduced to the system, you have to unfail them to make them available and then assign to appropriate tier.

sysadmin@dd-01# disk show state
Enclosure   Disk
             1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
---------   ----------------------------------------------
1            .  .  .  s
2            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
3            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
4            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
5            v  v  v  v  v  v  v  v  v  v  v  v  v  U  v
---------   ----------------------------------------------

Legend   State             Count
------   ---------------   -----
.        In Use Disks      3
s        Spare Disks       1
v        Available Disks   59
U        Unknown Disks     1
------   ---------------   -----
Total 64 disks

sysadmin@dd-01# disk unfail 5.14

The 'disk unfail' command will add the disk to the active storage tier
and mark it available. Any existing data on this disk will be lost.
        Are you sure? (yes|no) [no]: yes

ok, proceeding.

sysadmin@dd-01# disk show state
Enclosure   Disk
             1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
---------   ----------------------------------------------
1            .  .  .  s
2            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
3            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
4            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
5            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
---------   ----------------------------------------------

Legend   State             Count
------   ---------------   -----
.        In Use Disks      3
s        Spare Disks       1
v        Available Disks   60
------   ---------------   -----
Total 64 disks

DellEMC Data Domain - Resolve Disk State "Known"

Disk in "Known" state means that disk is part of filesystem but not all disks which create the filesystem are online.

sysadmin@dd-01# disk show state
Enclosure   Disk
             1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
---------   ----------------------------------------------
1            .  .  .  s
2            K  K  K  K  K  K  K  K  v  K  K  K  K  K  K
3            K  K  K  K  K  K  K  K  K  K  K  K  K  K  v
4            K  K  K  K  K  K  K  K  K  K  K  K  K  K  v
5            K  K  K  K  K  K  K  K  K  K  K  K  K  K  v
---------   ----------------------------------------------

Legend   State             Count
------   ---------------   -----
.        In Use Disks      3
s        Spare Disks       1
v        Available Disks   4
K        Known Disks       56
------   ---------------   -----
Total 64 disks

In Known state you cannot fail/ unfail the disk

sysadmin@dd-01# disk fail 2.1

 

**** Disk 2.1 is not in a valid state: can neither fail nor unfail.


I have not found any procedure to resolve this issue while some disks/ enclosures are missed from filesystem.
In my situation I have to power on all disks shelves, this allowed me to destroy filesyetem.

sysadmin@dd-01# filesys status
The filesystem is disabled and shutdown.

sysadmin@dd-01# filesys destroy
The "filesys destroy" command irrevocably destroys all data in
all the MTrees, including all virtual tapes, archive units and replication contexts.
The 'filesys destroy' operation will take about 10-11 minutes.
File access is disabled during this process.
        Are you sure? (yes|no) [no]: yes

ok, proceeding.

Please enter sysadmin password to confirm 'filesys destroy':

The filesystem is already disabled.
Destroying the filesystem.

The filesystem has been destroyed.

sysadmin@dd-01# filesys status
The filesystem doesn't exist.

Then all disk changed status to "Available". 

sysadmin@dd-01# disk show state
Enclosure   Disk
             1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
---------   ----------------------------------------------
1            .  .  .  s
2            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
3            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
4            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
5            v  v  v  v  v  v  v  v  v  v  v  v  v  s  v
6            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
7            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
8            v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
9            v  v  v  v  v  v  v  v  v  v  v  v  s  v  v
10           v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
11           v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
12           v  v  v  v  v  v  v  v  v  v  v  v  v  v  s
---------   ----------------------------------------------

Legend   State             Count
------   ---------------   -----
.        In Use Disks      3
s        Spare Disks       12
v        Available Disks   154
------   ---------------   -----
Total 169 disks


At this point I was able to remove unwanted disk shelves and create new, smaller filesystem.

sysadmin@dd-01# disk show state
Enclosure   Disk
             1  2  3  4  5  6  7  8  9  10 11 12 13 14 15
---------   ----------------------------------------------
1            .  .  .  s
2            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
3            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
4            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
5            v  v  v  v  v  v  v  v  v  v  v  v  v  v  v
---------   ----------------------------------------------

Legend   State             Count
------   ---------------   -----
.        In Use Disks      3
s        Spare Disks       1
v        Available Disks   60
------   ---------------   -----
Total 64 disks


sysadmin@dd-01# filesys create
A filesystem of approximate size 129.97 TiB will be created.
        Do you want to continue? (yes|no) [yes]: yes

ok, continuing.

This will take 5 - 10 minutes.

Provisioning storage...
########################################### [100%]

Initializing filesystem...
########################################### [100%]

snapshot schedules deleted

You now have a freshly initialized filesystem.
 Enable the filesystem using 'filesys enable'.

sysadmin@dd-01# filesys enable
Please wait.....................
The filesystem is now enabled.

sysadmin@dd-01# filesys show space

Active Tier:
Resource           Size GiB   Used GiB   Avail GiB   Use%   Cleanable GiB
----------------   --------   --------   ---------   ----   -------------
/data: pre-comp           -        0.0           -      -               -
/data: post-comp   129175.9        0.0    129175.9     0%             0.0
/ddvar                308.1       20.3       272.1     7%               -
----------------   --------   --------   ---------   ----   -------------

DellEMC Data Domain - Disk state


 Disk StateDescription Action
 In Use
 The number of disks currently in use by the file system. No Action required
 Spare The number of spare disks (available to replace failed disks). No Action required
 Spare (reconstructing)  The number of disks that are in the process of data reconstruction (spare disks replacing failed disks). No Action required
 Available The number of disks that are available for allocation to an Active or DD Extended Retention storage tier.  
 Known The number of known unallocated disks. Resolve Disk State "Known"
 Unknown The number of unknown unallocated disks. Resolve Disk State "Unknown"
 Failed The number of failed disks. 
 Foreign The number of foreign disks. 
 Absent The number of absent disks. 
 Migrating The number of disks serving as the source of a storage migration. 
 Destination The number of disks serving as the destination of a storage migration. 
 Not Installed The number of empty disk slots that the system can detect. 

Popular