תוֹכֶן
- ETL יוצר צווארי בקבוק עבור אנליטיקס
- ייעול ETL עם למידת מכונה ו- AI
- אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
מקור: פופ נוקונרט / Dreamstime.com
להסיר:
נתונים הם מכריעים לעסקים, אך בכדי שזה יהיה שימושי אסור שיהיו טעויות באיסוף, עיבוד והצגת נתונים אלה. בינה מלאכותית יכולה לפקח על תהליכי ETL כדי לוודא שהם ללא שגיאות.
ETL (חילוץ, טרנספורמציה ועומס) הוא אחד התהליכים החשובים ביותר בניתוח נתונים גדולים - ובמקביל הוא יכול להיות אחד מצוואר הבקבוק הגדולים ביותר שלו. (למידע נוסף על נתונים גדולים, עיין ב -5 קורסים מועילים של Big Data שאתה יכול לקחת באינטרנט.)
הסיבה ש- ETL כל כך חשובה היא שרוב הנתונים שעסק אוסף אינם מוכנים, בצורתם הגולמית, לפיתרון אנליטי לעיכול. בכדי שפתרון אנליטיקה יצור תובנות, יש לחלץ את הנתונים הגולמיים מהיישום בו הם נמצאים כיום, להפוך לפורמט שתוכנית ניתוח יכולה לקרוא ואז לטעון אותו לתוכנית האנליטיקה עצמה.
תהליך זה מקביל לבישול. החומרים הגולמיים שלך הם הנתונים הגולמיים שלך. יש לחלץ אותם (לרכוש אותם מחנות), להפוך אותם (לבישול) ולהעמיס אותם (להיות מצופים), לפני שניתן יהיה לנתח (לטעום). הקושי וההוצאות יכולים להתארך באופן בלתי צפוי - קל להכין לעצמך גבינה של mac n ', אך הרבה יותר קשה ליצור תפריט גורמה עבור 40 איש בארוחת ערב. למותר לציין שטעות בכל נקודה יכולה להפוך את הארוחה לבלתי ניתנת לעיכול.
ETL יוצר צווארי בקבוק עבור אנליטיקס
ETL הוא במובנים מסוימים הסלע של תהליך הניתוח, אך יש לו גם חסרונות מסוימים. ראשית, זה איטי ויקר. המשמעות היא שלעתים קרובות עדיפות לעסקים רק לתעדף את הנתונים החשובים ביותר שלהם לצורך ניתוח, ופשוט לאחסן את השאר. זה תורם לעובדה שעד 99% מכל הנתונים העסקיים אינם מנוצלים למטרות אנליטיקה.
בנוסף, תהליך ETL לעולם אינו בטוח. שגיאות בתהליך ETL עלולות להשחית את הנתונים שלך. לדוגמה, שגיאת רשת קצרה עשויה למנוע חילוץ נתונים. אם נתוני המקור שלך מכילים סוגי קבצים מרובים, הם עשויים להשתנות בצורה שגויה. זבל פנימה, זבל, כמו שאומרים - טעויות במהלך תהליך ה- ETL יבטאו כמעט בוודאות במונחים של ניתוחים לא מדויקים.
לתהליך ETL פגום יכולות להיות השלכות לא טובות. אפילו בתרחיש הטוב ביותר, סביר להניח שתצטרך להפעיל מחדש את ETL, שפירושו עיכוב שעות - ובינתיים מקבלי ההחלטות שלך חסרי סבלנות. בתרחיש הגרוע ביותר, אינך מבחין בניתוח הלא מדויק עד שהתחלת להפסיד כסף ולקוחות.
ייעול ETL עם למידת מכונה ו- AI
אתה יכול - וכנראה לעשות זאת - להקצות מישהו לפקח על ETL, אבל זה באמת לא כל כך פשוט. נתונים רעים יכולים לנבוע משגיאות בתהליך שקורות כל כך מהר עד שלא ניתן יהיה להבחין בהן בזמן אמת. התוצאות של תהליך ETL פגום לרוב אינן נראות שונות מהנתונים שהועמסו כהלכה. אפילו כאשר טעויות ברורות, ייתכן שהבעיה שיצרה את השגיאה לא כל כך קלה להתחקות. (למידע נוסף על ניתוח נתונים, ראה תפקיד עבודה: מנתח נתונים.)
החדשות הטובות הן שמכונות יכולות לתפוס את מה שבני אדם לא יכולים. אלה רק כמה דרכים בהן AI ולמידת מכונות יכולות לתפוס שגיאות ETL לפני שהן הופכות לניתוח לא מדויק.
אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
אינך יכול לשפר את כישורי התכנות שלך כאשר לאף אחד לא אכפת מאיכות התוכנה.
1. איתור והתראה בין מדדי ETL
למרות שהנתונים שלך הם תמונה נעה ללא הרף, תהליך ETL עדיין אמור לייצר ערכים עקביים במהירות קבועה. כאשר הדברים האלה משתנים, זה גורם לדאגה. בני אדם יכולים לראות נדנדות גדולות בנתונים ולזהות שגיאות, אך למידת מכונה יכולה לזהות תקלות עדינות יותר, מהר יותר. ייתכן שמערכת למידת מכונות תציע זיהוי חריגות בזמן אמת ותתריע ישירות על מחלקת ה- IT, ותאפשר להם להשהות את התהליך ולתקן את הבעיה מבלי שתצטרך לזרוק שעות של מאמץ חישובי.
2. צווארי בקבוק ספציפיים
גם אם התוצאות שלך מדויקות, הן עדיין עשויות לצאת לאט מדי בכדי שיוכלו להשתמש בהן. גרטנר אומר את זה 80% מהתובנות הנגזר מאנליטיקס לעולם לא יירתם ליצירת ערך כספי, וזה יכול להיות מכיוון שמנהיג עסקי לא יכול לראות תובנה בזמן לנצל זאת. למידת מכונה יכולה לומר לך היכן מאט המערכת שלך ולספק לך תשובות - להביא לך נתונים טובים יותר, מהר יותר.
3. לכמת את ההשפעה של ניהול שינויים
המערכות המייצרות את הנתונים והאנליטיקה שלך אינן סטטיות - הן כל הזמן מקבלות תיקונים ושדרוגים. לפעמים אלה משפיעים על הדרך בה הם מייצרים או מפרשים נתונים - מה שמוביל לתוצאות לא מדויקות. למידת מכונה יכולה לסמן תוצאות שהשתנו ולעקוב אחריהן למכונה או לאפליקציה הספציפית המתוקנת.
4. צמצם את עלות הפעולות
פעולות ניתוח נתקעות שוות כסף שהפסידו. הזמן שאתה מקדיש להבין לא רק כיצד לפתור את הבעיה, אלא גם מי אחראי לפיתרון הבעיה זה הזמן שאתה יכול לבזבז על בניית ערך. למידת מכונה עוזרת להגיע ללב העניין על ידי התראה רק לצוותים שעשויים להיות אחראים לתגובה לסוגים מסוימים של אירועים, ומאפשרת לשאר מחלקת ה- IT להמשיך ולבצע פעולות ליבה. בנוסף, למידת מכונה תסייע בחיסול של פוזיטיביות כוזבות, תוך צמצום המספר הכולל של התראות תוך הגברת פירוט המידע שהם יכולים לספק. עייפות התראה היא אמיתית מאוד, כך שלשינוי זה תהיה השפעה ניתנת למדידה על איכות החיים.
כשמדובר בנצחון בעסקים, אנליטיקה היא מכריעה. מחקר ציוני דרך שנערך על ידי ביין קפיטל מראה כי לחברות המעסיקות אנליטיקה יש סיכוי גבוה פי שניים מביצועים טובים מדי מבחינה כלכלית. ETL מספק את הבסיס להצלחה בזירה זו, אך עיכובים ושגיאות יכולים גם למנוע את הצלחתה של תוכנית ניתוח. לפיכך למידת מכונה הופכת לכלי לא יסולא בפז להצלחה של כל תוכנית ניתוח, המסייעת להבטיח נתונים נקיים ותוצאות מדויקות.