תוֹכֶן
- מערכת הקבצים של גוגל: ניתוח מקרה גדול
- אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
- מבט על טכנולוגיית הליבה
- כיצד מערכות גדולות אחרות משיגות זאת?
- שמירה על DFS
להסיר:
מפתחים ומהנדסים צריכים להמשיך לעבוד על מנת להאיץ ולשפר את השירותים באמצעות פלטפורמות שגדלו הרבה מעבר לארכיטיפים הקלאסיים שלהן משנות התשעים.
עם כל הבאזז על מרכזי נתונים ענקיים של NSA המחזיקים בדלקים של נתוני נתונים על חיינו הפרטיים, יש דבר אחד שלא דיבר עליו הרבה, לפחות ב- CNN. זה כרוך בבעיה הנדסית שצצה יחד עם טכנולוגיית ענן, ביג נתונים ומרכזי אחסון הנתונים הפיזיים המרשימים שנבנים כעת בכל רחבי העולם. אז מה זה? ובכן, לא משנה מי מנהל את אחת ממערכות ה- IT המובילות המפעילות את המתקנים הללו, יש צורך במערכות תוכנה שעוזרות לכל הנתונים האלה להיכנס ולצאת מהצינור במהירות. צורך זה מייצג את אחת משאלות ה- IT או הפאזלים המעניינים ביותר העומדים בפני אנשי מקצוע כיום.
כפי שמציינים מומחים רבים, הביקוש הקיצוני של היום לעיבוד נתונים חורג הרבה מהגישות המסורתיות. במילים פשוטות, שימוש במבני מסד נתונים וכלים פשוטים כמו ממשק שאילתות SQL לא יספק מספיק עיבוד או פונקציונליות מספיקים למערכות הקנייניות שהתפתחו במהלך השנים האחרונות. הארכיונים של חברות הטכנולוגיה הגדולות של ימינו זקוקים לטכנולוגיה ניתנת להרחבה. הם זקוקים לכלי עיבוד נתונים שיכולים להזין ולפלט תוצאות בנפח גבוה בהרבה ממה ששרת יחיד יכול להקל עליו. הם זקוקים לפתרונות שניתן לגבש במהירות לצמיחה, פתרונות הכוללים רמות מורכבות של בינה מלאכותית, פתרונות המיועדים לניהול קל על ידי מחלקת IT.
השאלה היא, איך חברות וסוכנויות ממשלתיות כובשות את המגבלות של מסלול הטיפול בנתונים המסורתיים? כאן תסתכל על אפשרות אחת מבטיחה מאוד: תוכנה המטפלת בנתונים גדולים וניהול מרכזי נתונים מרובים.
מערכת הקבצים של גוגל: ניתוח מקרה גדול
הטכנולוגיה הקניינית בה גוגל משתמשת כדי לגשת למרכזי הנתונים שלה היא אחת הדוגמאות הטובות ביותר למודלים נפוצים לטיפול בנתונים גדולים ולניהול רב של מרכזי נתונים. מערכת הקבצים של גוגל (GFS), שפותחה בשנת 2003, נועדה לתמוך בנפח העצום של תיקונים מהירים במערכות נתונים המהווים חלק מהקבלת מידע חדש כל כך ופלטפורמה אחת, כאשר מיליוני משתמשים לוחצים משם על אותו זמן. מומחים מתייחסים לזה כאל מערכת קבצים מבוזרת ומשתמשים במונח "אחסון אובייקטים של נתונים" כדי לתאר טכניקות מורכבות מאוד אלה. אולם במציאות, מונחים אלה אפילו לא מגרדים את פני השטח במונחים המתארים את מה שעובד.
בנפרד, התכונות והרכיבים המרכיבים מערכת כמו GFS אולי כבר לא פורצי דרך, אך הם מורכבים. רבים מהם זכו לכיסוי באתר זה כחידושים חדשים יחסית המהווים חלק מהיסוד למערכת IT גלובלית חדשה, תמיד-תמיד-מחוברת. באופן קולקטיבי, מערכת כמו GFS היא הרבה יותר מסכום החלקים שלה: זוהי רשת בלתי נראית אך מורכבת להפליא, העוסקת בנתוני נתונים בודדים שנזרקים בדרך זו, ובתהליך שאם היה מעוצב באופן חזותי נראה כמו כאוס. ההבנה לאן כל הנתונים עוברים דורשת אנרגיה רבה ומחויבות, מכיוון שמאיישים את תחנות הקרב של מערכות אלה יודה בנקל.
"יש יותר מדי פרטים שיש להם השפעה עמוקה על תחומי השימושיות - כולל פיצול חיצוני ופנימי, עדכונים מבוססי יומן לעומת מקום ורמות של עקביות בעסקות - כדי לסכם את אופן פעולתו במשפט תמציתי אחד. , "אומר מומצ'יל מיכילוב, מנכ"ל ומייסד משותף של סאנבוליק.
"מערכת קבצים מבוזרת היא או צובר מבוזר של חללי שמות מקומיים ושטחים פנויים של צמתים המשתתפים, או מערכת קבצים מקומית הפועלת על מספר צמתים הגישה לאחסון משותף בעזרת רכיב מנהל נעילה מופץ," אמר.
קרי לבל הוא מנהל מוצר בכיר בחברת Automic, חברה הידועה בפלטפורמות האוטומציה הניתנות להרחבה שלה. לבל אומר שלמרות שמדויק לתאר DFS כמערכת שפשוט מקצה עומסי עבודה לשרתים המחוברים לחלקי חומרה בעלות נמוכה, זה לא באמת מספר את כל הסיפור.
אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
אתה לא יכול לשפר את כישורי התכנות שלך כאשר לאף אחד לא אכפת מאיכות התוכנה.
"מה שבסופו של דבר חסר לך, זה כל הגורם המגניב של איך הם עושים מה שהם עושים, "אמר לבל.
כשאתה מתרחק מהפרטים הטכניים ופשוט חושב על הרעיון הבסיסי שמאחורי מערכת הקבצים המופצת, "הגורם המגניב" עליו מדבר לבל ניכר. מערכות טיפול גדול בנתונים אלה מחליפות מערכות קבצים / תיקיות ישנות במבנים שכוללות לא רק מערכות מסירה מרובות, אלא גישה "מכוונת אובייקט", בה מסתובבים פה ושם מספר עצום של יחידות כדי למנוע צווארי בקבוק.
חשבו, למשל, על מערכת כביש מהמתקדמת, שבה מאות אלפי מכוניות לא מסתובבות רק לאורך קו ישר רב-שכבתי, אלא נאספות ביובלים קטנים ומסודרים של עלה תלתן או קשת שוורים, שמסתובבים ונשלחים לעבר יעדיהם במגוון מעקפים. מהשמיים, הכל נראה כוריאוגרפי כמו שעון שוויצרי. זהו סוג המודל הוויזואלי שעליו מסתכלים המהנדסים כשהם חולמים דרכים חדשות לנתב מידע סביב מגבלות על ידי "לבעוט" בו לרמות שונות של סכימה להכנת נתונים רב שכבתית. אם נניח בצד את המפרט, זוהי המטרה העליונה של מערכת טיפול: לשמור על אותם עצמים המכילים מטא-נתונים משובצים שנעים במהירות העליונה למקום בו הם צריכים להיות, להגיע ליעדי עקביות, לספק משתמש קצה, או אפילו ליידע תצפית או ניתוח ברמה העליונה.
מבט על טכנולוגיית הליבה
מאמר של שון גלאגר שהופיע ב- Ars Technica מפרק את עיצוב ה- GFS לחלקים מעט יותר הניתנים לניהול, ומרמז על מה שמתחת לגליון אצל גוגל.
GFS מתחיל במודל מיותר וסובלני תקלות עבור קריאת וכתיבת נתונים. הרעיון כאן הוא שבמקום לכתוב עדכון ספציפי לכונן יחיד, מערכות חדשות כותבות נתחי נתונים למספר יעדים. ככה, אם כתיבה אחת נכשלת, אחרות יישארו. כדי להתאים את זה, רכיב רשת עיקרי אחד מעביר את הטיפול בנתונים ליחידות כפופות אחרות, ומצבור מחדש את הנתונים כאשר לקוח "קורא" אליו. כל זה מתאפשר על ידי פרוטוקול מטא נתונים המסייע לזהות היכן נמצאים עדכונים ותוצאות שידור מסוימות במערכת הגדולה יותר.
היבט חשוב מאוד זה הוא האופן שבו מערכות כפול-כפילות אלו אוכפות את עקביות הנתונים. כפי שמציין גלאגר, עיצוב ה- GFS מקריב עקביות מסוימת תוך כדי "אכיפת האטומיות", או שמירה על העיקרון של עדכון הנתונים על פני יחידות אחסון מרובות כך שתתאימו לאורך זמן. נראה כי "מודל העקביות הרגוע" של גוגל עוקב אחר התיאוריה החיונית של מודל BASE, המספק גמישות רבה יותר בתמורה למסגרת זמן ארוכה יותר לאכיפת עקביות.
כיצד מערכות גדולות אחרות משיגות זאת?
"כשמגיעים לקנה מידה מספיק גדול, אי-עקביות או שחיתויות בנתונים הופכים בלתי נמנעים", אומר מיכילוב. "לכן מטרה ראשונית של מערכות קבצים מבוזרות צריכה להיות היכולת לבצע כמה שיותר פעולות בנוכחות שחיתות, תוך מתן שיטות יעילות להתמודד עם השחיתות בו זמנית." מיכילוב מזכיר גם את הצורך לשמור על ביצוע באמצעות יישום זהיר של יתירות.
"למשל, יצירת מטא נתונים (נתונים על הנתונים) בכל דיסק מאפשרת לדיסק לבנות מחדש את מבנה הנתונים הנכון שלו אם העתק המראה שלו פגום", אמר Michailov. "בנוסף, ניתן להשתמש ברמות RAID כדי להילחם בכישלונות אחסון במצבר מערכת הקבצים או ברמות מנהל הנפח המשותף."
בדיון במודל עקביות אחר, לבל מתמקד במערכת הנקראת מערכת קבצים מבוזרת Hadoop (HDFS), אותה הוא מכנה "סטנדרט דה-פקטו בתעשייה".
ב- HDFS, אומר לבל, כל בלוק נתונים משוכפל שלוש פעמים על צמתים שונים ועל שני מתלים שונים. הנתונים נבדקים מקצה לקצה. דיווחים על כישלונות ל- NameNode, מטפל נתונים שנפטר מחסימות פגומות ויוצר חידושים.
כל זה תומך בסוגי "נתונים נקיים" החשובים כל כך לשלמותה של אחת ממערכות נתונים המוניות אלה.
שמירה על DFS
מבט אחר מאוד על GFS בא מתוך מאמר באוקטובר 2012 מאת הסופר הקוויתי סטיבן לוי. זה הרבה יותר קצר באפיון גישת התוכנה לטיפול ברשת הקולקטיבית מלמעלה למטה של גוגל.
"לאורך השנים", כותב לוי, "גוגל בנתה גם מערכת תוכנה שמאפשרת לה לנהל את אינספור השרתים שלה כאילו היו ישות ענקית אחת. המפתחים הפנימיים שלה יכולים להתנהג כמו אדוני בובות, ולשלוח אלפי מחשבים לביצוע משימות קלות כמו הפעלת מכונה יחידה. "
פעולה זו כוללת גם טונות של תחזוקה מבוססת-סייבר וסביבתיים, מצוותי בדיקות ייעודיים המנסים "לשבור" מערכות שרתים, לטמפרטורות מבוקרות בקפידה ברחבי אולמות קריפטת הנתונים.
לוי מזכיר גם טכנולוגיות משלימות ל- GFS, כמו MapReduce, כלי ליישומי ענן, ואת Hadoop, מנוע אנליטיקה החולק כמה GFS עם עקרונות עיצוב. לכלים אלה השפעה משלהם על אופן התכנון של מערכות הטיפול במרכזי נתונים גדולים ועל מה שצפוי להופיע בעתיד. (למידע נוסף על טכנולוגיות אלה בספר האבולוציה של ביג דאטה.)
מיכילוב מאמין של- MapReduce יש פוטנציאל לתמוך במערכות מרכזי נתונים גדולות והולכות, ומדבר על "יישום יחיד" של מערכות קבצים משותפות ומצטברות שיכולות "לשמור על צמתי השם של מערכת קבצים מצטברת באשכול משותף עם SSD לאחסון. . "
לבל מצדו רואה מרחק מעבר מעיבוד אצווה (השיטה הנתמכת על ידי Hadoop) לזרם עיבוד, מה שיקיר את פעולות הנתונים הללו לזמן אמת.
"ככל שנוכל לעבד את הנתונים מהר יותר ולהפוך אותם לזמינים למקבלי ההחלטות העסקיים או ללקוחות שלנו, כך יהיה יתרון תחרותי יותר", אומר לבל, שמציע גם להחליף את מונחי העיבוד לעיל במונחים המתמקדים ב משתמש קצה. על ידי מחשבה על פעילויות "סינכרוניות", או פעילויות המסונכרנות עם פעולות של משתמשי קצה, ועל פעילויות "אסינכרוניות" שגמישות יותר מבחינת יישום, לבל טוענת כי חברות יכולות להשתמש ב- SLAs ומשאבים אחרים כדי להגדיר כיצד מערכת שירות נתונה תעבוד. .
כל מה שמסתבר בכך במובן מסוים הוא שמפתחים ומהנדסים צריכים להמשיך לעבוד על מנת להאיץ ולשפר את השירותים על פני פלטפורמות שהפכו הרבה מעבר לארכיטיפים הקלאסיים שלהן משנות התשעים. המשמעות היא להסתכל באופן ביקורתי על מכונות הנתונים ולפרוץ את צווארי הבקבוק בדרכים התומכות לא רק באוכלוסייה צומחת, אלא בשינוי מעריכי שמתרחש במהירות שברירי הצוואר, שאנשי המכונה מכנים "המהפכה התעשייתית הבאה". סביר להניח שמי שישבור את הקרקע הרבה ביותר בחזיתות הללו בסופו של דבר ישלוט בשווקים ובעולמות העתיד.