Я знаю, что некоторые из вас думают: как это могло произойти, если у нас есть несколько копий данных в нескольких дата-центрах? Ну, в некоторых редких случаях ошибки в программном обеспечении могут затронуть несколько копий данных. Это и произошло. Некоторые копии писем были удалены, и мы усердно работали в течение последних 30 часов (Трейнор опубликовал свой комментарий в 5:30 по московскому времени — примечание aleksandrit), чтобы вернуть их пострадавшим пользователям.

Чтобы защитить данные от этих необычных ошибок мы также сделали их офлайновые резервные копии. Таким образом, они оказались защищены от таких ошибок программного обеспечения. Но восстановление данных из них также требует больше времени, чем перенос запросов на другой дата-центр, и именно поэтому мы потратили на восстановление писем часы, а не миллисекунды.

Так что же вызвало эту проблему? Мы выпустили обновление для программы, хранящей данные, в котором оказалась неожиданная ошибка, в результате чего 0,02 % пользователей Gmail временно потеряли доступ к своей электронной почте. Когда мы обнаружили проблему, мы сразу остановили внедрение нового программного обеспечения и откатились к старой версии.