ביום חמישי לפני הצהריים, שעון החוף המזרחי של ארצות הברית, התחילו משתמשים לדווח שתיבת הדואר שלהם ב-Outlook לא נטענת. בתוך שעתיים הגיע מספר הדיווחים באתר Downdetector לשיא של יותר מ-48 אלף בארצות הברית בלבד. מיקרוסופט אישרה שיש בעיה בגישה לתיבות הדואר של Exchange Online, והתחילה לחקור.
התקלה נמשכה יותר מיממה. רק בשבת לפנות בוקר הודיעה החברה שהבעיה הבסיסית תוקנה ושהשירות חזר לכל הלקוחות. בדרך היא הספיקה לשבש את העבודה לא רק במשרדים, אלא גם במקומות שבהם מייל שלא מגיע הוא עניין של בטיחות הציבור.
מי נפגע
הרשימה שפורסמה בכלי התקשורת בעולם ארוכה, והיא מראה עד כמה שירותי ציבור נשענים על תיבת דואר של חברה פרטית אחת.
- משטרה. כוחות משטרה בבריטניה, בהם דורסט, קמבריה, דרום ויילס ווילטשייר, לא הצליחו לקבל דיווחים מקוונים על עבירות, וביקשו מהציבור להתקשר. קווי החירום הטלפוניים המשיכו לפעול.
- בריאות. בתי חולים של שירות הבריאות הבריטי דיווחו על שיבושים בדואר, והמטופלים התבקשו להגיע לתורים כרגיל. בטורונטו הכריזה רשת בתי החולים Unity Health על "קוד אפור", נוהל לכשל בתשתיות. בית החולים האוניברסיטאי במונטריאול הזהיר מעיכובים בטיפול בבקשות לתורים.
- בתי משפט וממשל. לפי "פורצ'ן", מושבעים נשלחו הביתה, הטיפול בצווי הגנה התעכב, ודיונים בגופים מחוקקים ובעיריות נעצרו.
- תחבורה. חברת הרכבות הקנדית VIA Rail הודיעה שנוסעים עלולים לא לקבל עדכונים על הנסיעה שלהם.
- חברות טכנולוגיה. גם שירותים חיצוניים שמתחברים למוצרי מיקרוסופט נפגעו, בהם של חברות בינה מלאכותית.
מה בעצם קרה
מיקרוסופט מסרה שהתקלה אינה קשורה למתקפת סייבר וגם לא לבינה מלאכותית. לפי ההסבר שפרסמה, הבעיה נוצרה במהלך שדרוג קודם של קיבולת הרשת, והתגלתה אחרי שינוי רשת נוסף. חלק מהשרתים כשלו, התעבורה שלהם הופנתה לשרתים שנותרו, ואלה קרסו תחת העומס. תהליך שאחראי ליצירת חיבורים מאובטחים הוצף בבקשות, והשרתים הפסיקו להגיב.
זה מה שמהנדסים מכנים כשל מתגלגל: רכיב אחד נופל, העומס שלו עובר לשכנים, הם נופלים, וכן הלאה. בגלל המנגנון הזה גם ההתאוששות הייתה איטית. מיקרוסופט הסבירה שהחזירה את השירותים בהדרגה ובדקה את היציבות בכל שלב, כי הפעלה של הכול בבת אחת הייתה מציפה שוב את השרתים. החברה התנצלה והבטיחה דוח מפורט.
אותו סוף שבוע, אותו סיפור
קשה שלא לשים לב לצירוף המקרים. ביום שישי אחר הצהריים, כשמיקרוסופט עוד שיקמה את השירות, עצרה רשות התעופה הפדרלית את כל ההמראות בארצות הברית ליותר מארבע שעות, בגלל עומס נתונים במערכת תקשורת ישנה. שני האירועים אינם קשורים זה לזה. מה שמשותף להם הוא המבנה: מערכת מרכזית אחת שכולם תלויים בה, ועומס שגורם לה לקרוס.
וזו לא הפעם הראשונה השנה. בינואר נמשכה תקלה ב-Microsoft 365 כמעט עשר שעות. בשנה שעברה היו תקלות רחבות בשירותי הענן של אמזון ובקלאודפלייר. וביולי 2024 עדכון תוכנה שגוי של חברת הסייבר קראודסטרייק השבית כ-8.5 מיליון מחשבי ווינדוס, קרקע טיסות ושיבש בתי חולים בכל העולם.
1990: היום שבו רשת הטלפונים של אמריקה קרסה
ב-15 בינואר 1990, קצת אחרי שתיים וחצי בצהריים, מרכזייה אחת של AT&T בניו יורק נתקלה בתקלה קטנה, אתחלה את עצמה כמתוכנן, ושלחה לשכנותיה הודעה שהיא חוזרת לפעולה. בגלל שגיאה של שורת קוד אחת בעדכון תוכנה שהותקן כמה שבועות קודם, ההודעה הזאת גרמה למרכזיות השכנות לקרוס ולאתחל גם הן. כשחזרו, הן שלחו את אותה הודעה הלאה.
בתוך דקות התפשט הכשל ליותר ממאה מרכזיות ברחבי ארצות הברית. במשך כתשע שעות, עשרות מיליוני שיחות למרחקים ארוכים לא הושלמו. חברות תעופה לא יכלו לקבל הזמנות, ומוקדי שירות נדמו. AT&T הייתה אז חברת הטלפונים שכמעט כל אמריקה נשענה עליה.
הדמיון לסוף השבוע האחרון כמעט מלא: עדכון שגרתי, רכיב שנופל, עומס שעובר לשכנים, קריסה בשרשרת. הלקח שהופק אז היה שמערכת שבה כל הרכיבים זהים ומריצים אותה תוכנה חשופה במיוחד, משום ששגיאה אחת משותפת לכולם. בשלושים ושש השנים שעברו מאז, העולם ריכז עוד ועוד שירותים אצל מספר קטן עוד יותר של ספקים.
למה המניה לא זזה
מניית מיקרוסופט נסחרה ביום שישי כמעט ללא שינוי. זה אולי הנתון המעניין ביותר בסיפור. השוק מעריך, כנראה בצדק, שלקוחות לא יעזבו בגלל תקלה, גם ארוכה. החלפת ספק דואר ותוכנות משרד בארגון של אלפי עובדים היא פרויקט של שנים, והחלופות המעטות נשענות על אותו מודל.
במילים אחרות, אותה ריכוזיות שהופכת את התקלה לחמורה היא גם זו שמגינה על החברה מפני תוצאותיה. מבחינת המשקיע זה יתרון תחרותי. מבחינת מי שמנהל בית חולים או תחנת משטרה, זו בעיה שהשוק לא יפתור בעצמו, ולכן היא צפויה להגיע לשולחנם של רגולטורים.
מה כדאי לעסק ישראלי לעשות
- לבדוק זכאות לזיכוי. הסכמי השירות של מיקרוסופט ללקוחות עסקיים מתחייבים לזמינות חודשית של 99.9%, ומעניקים זיכוי בחשבון כשהזמינות יורדת מתחת לכך. הזיכוי אינו אוטומטי. צריך להגיש בקשה, בדרך כלל בתוך פרק זמן מוגבל, ולכן כדאי לפנות עכשיו לספק או למשווק.
- לקבוע ערוץ חירום שאינו תלוי באותו ספק. קבוצת הודעות, מספרי טלפון מודפסים, כתובת דואר חלופית. ארגונים שהיה להם ערוץ כזה המשיכו לעבוד.
- לזהות מה באמת קריטי. לא כל מערכת צריכה גיבוי. קבלת הזמנות, תורים ללקוחות ודיווחים דחופים כן.
- לבדוק מיילים שהתעכבו. אחרי תקלה כזאת, הודעות מגיעות באיחור ולפעמים לא לפי הסדר, כולל התראות אבטחה וחשבוניות.
- להיזהר מהודעות דיוג. אחרי כל תקלה גדולה מופיעות הודעות מזויפות בנוסח "עדכנו את הסיסמה כדי לשחזר את החשבון". מיקרוסופט לא מבקשת סיסמאות במייל.
השבוע הזה סיפק, בתוך 48 שעות, שתי הדגמות לכך שהתשתיות שהכלכלה נשענת עליהן רגישות יותר ממה שנהוג לחשוב. בשני המקרים לא היה צורך בתוקף. הספיקו עדכון אחד ועומס אחד.
המידע בכתבה הוא כללי ואינו ייעוץ השקעות או ייעוץ משפטי.
