רתימת צינור האש: השגת ערך עסקי מהזרמת אנליטיקס: תמליל וובינר

להסיר: המארחת רבקה יוזוויאק דנה בניתוחי זרימה עם מומחים מובילים בתעשייה.

אינך מחובר כרגע. התחבר או הירשם כדי לראות את הסרטון.

רבקה יוז'ויאק: גבירותיי ורבותיי, שלום וברוך הבא ל- Hot Technologies משנת 2016! הכותרת של היום היא "לרתום את צינור האש: להשיג ערך עסקי מהזרמת אנליטיקס". זו רבקה יוז'ויאק. אני הפיקוד השני למארח שידור ברשת בכל פעם שאריק קוואנה היקר שלנו לא יכול להיות כאן, אז נחמד לראות כל כך הרבה מכם בחוץ היום.

הפרק הזה קצת שונה מהאחרים שלנו. דיברנו על מה שחם וכמובן שהשנה חם. השנים האחרונות היו חמות. תמיד יוצאים דברים חדשים. היום, אנו מדברים על ניתוח זרימה. הזרמת ניתוחים היא סוג חדש בעצמו. כמובן שהזרמה, נתוני מרכז, נתוני RFID, אלה אינם בהכרח חדשים. אבל בנוגע לארכיטקטורות נתונים, היינו כה ממוקדים בנתונים במנוחה במשך עשרות שנים. מאגרי מידע, מערכות קבצים, מאגרי נתונים - הכל לצורך עיבוד אצווה. אבל עכשיו עם המעבר ליצירת ערך מזרמת נתונים, רגשות נתונים, יש כאלה שקוראים לזה זרמים חיים, הם באמת דורשים ארכיטקטורה מבוססת זרם, לא את הנתונים במנוחות ארכיטקטורות שהורגלנו אליהם והיא צריכה להיות מסוגלת טיפול בבליעה מהירה, בזמן אמת או קרוב לעיבוד בזמן אמת. עליו להיות מסוגל לא רק לאינטרנט של הדברים אלא לאינטרנט של הכל.

כמובן, באופן אידיאלי, יהיה נחמד ששני האדריכלות יחיו זה לצד זה, ביד אחת לשטוף את היד, כביכול. אמנם לנתונים בני הימים, לנתונים בני שבועות, לנתונים של שנים יש כמובן ערך, ניתוח היסטורי, ניתוח מגמה, אך הנתונים החיים הם אלו שמניעים את האינטליגנציה החיה בימינו, ובגלל זה הזרמת ניתוחים הפכה חשובה כל כך.

אני מדבר יותר על זה היום. יש לנו מדען הנתונים שלנו, דז בלנשפילד, שמתקשר מאוסטרליה. עכשיו זה מוקדם בבוקר. יש לנו את המטפל הראשי שלנו, ד"ר רובין בלור. אלינו מצטרף אנאנד Venugopal, ראש המוצר של StreamAnalytix בחברת Impetus Technologies. הם ממש מתמקדים בפן האנליטיקס הזורם של המרחב הזה.

עם זה, אני הולך להמשיך ולהעביר את זה לדצ.

דז בלנשפילד: תודה. אני צריך לתפוס שליטה על המסך כאן ולקפוץ קדימה.

רבקה יוז'ויאק: הנה לך.

דז בלנשפילד: בזמן שאנו תופסים את השקופיות, הרשו לי רק לכסות את נושא הליבה.

אני הולך לשמור על רמה גבוהה למדי ואשמור על בערך 10 דקות. זה נושא מאוד גדול. השתתפתי באירוע בו בילינו יומיים שלושה בצלילת הפרטים של מהו עיבוד הזרמים והמסגרות הנוכחיות שאנו מפתחים ומה אמור לעשות ניתוח בזרמים העוצמתיים הללו.

אנו הולכים רק להבהיר את כוונתנו על ידי הזרמת ניתוחים ואז להתעמק אם ניתן לגזור ערך עסקי מכיוון שזה באמת מה שעסקים מחפשים. הם מחפשים שאנשים יסבירו להם במהירות רבה ותמציתית, איפה אני יכול להפיק ערך על ידי החלת צורה כלשהי של ניתוח על נתוני הזרם שלנו?

מהי ניתוח סטרימינג?

ניתוח זרימה נותן לארגונים דרך להפיק ערך מנתונים בעלי נפח גבוה ומהירות גבוהה שהם הגיעו דרך העסק בצורות שונות בתנועה. ההבדל המשמעותי כאן הוא שהייתה לנו היסטוריה ארוכה של פיתוח ניתוחים ועדשות ותצוגות של נתונים אותם עיבדנו במנוחה במשך עשרות שנים מאז שהומצא המיינפריים. שינוי הפרדיגמה המאסיבי שראינו בשלוש-חמש השנים האחרונות במה שאנחנו מכנים "סולם אינטרנט" מקיש על זרמי הנתונים שנכנסים אלינו בזמן אמת או קרוב בזמן אמת ולא רק מעבד ומחפש מתאם לאירועים או מפעיל אירועים אך מבצע ניתוחים מעמיקים ומפורטים באמת על הזרמים האלה. זה מעבר משמעותי למה שעשינו בעבר וזה איסוף נתונים, הכנסתם למאגר כלשהו, ​​מסדי נתונים גדולים באופן מסורתי עכשיו, מסגרות גדולות של נתונים גדולים כמו פלטפורמת Hadoop וביצוע עיבוד במצב אצווה על זה וקבלת איזושהי תובנה.

יש לנו טוב מאוד לעשות את זה מהר מאוד ולנסות הרבה ברזל כבד על הדברים, אבל אנחנו עדיין ממש לוכדים נתונים, מאחסנים ואז מסתכלים עליהם ומקבלים סוג כלשהו של תובנות או ניתוחים על זה. המעבר לביצוע ניתוחים אלו בזמן שהנתונים מוזרמים היה אזור צמיחה חדש ומרתק מאוד לסוגי הדברים שקורים סביב נתונים גדולים. זה דורש גישה שונה לחלוטין רק ללכוד, לאחסן ולעבד ולבצע ניתוחים ב.

אחד המניעים העיקריים למעבר ולמיקוד לביצוע ניתוחים בזרם הוא שתוכלו להשיג ערך עסקי משמעותי מהשגת תובנות אלו במהירות ובקלות יותר ככל שהנתונים מגיעים אליכם, ככל שהמידע הופך לרשות העסק. הרעיון לבצע עיבוד סוף יום כבר אינו רלוונטי בענפים מסוימים. אנו רוצים להיות מסוגלים לבצע את הניתוח תוך כדי תנועה. בסוף היום, אנו כבר יודעים מה קרה כפי שקרה במקום להגיע לסוף היום ולעשות עבודת אצווה 24 שעות ולקבל את התובנות האלו.

ניתוח הזרימה עוסק בהקשה ישר לזרם ההוא בעוד שזרמי נתונים הם בדרך כלל זרמים מרובים עם נפחים גדולים מאוד של נתונים ונתונים המגיעים אלינו בתנועה מאוד, מהר מאוד ולקבל תובנות או אנליטיקס על אותם זרמים שהם באים אלינו לעומת לאפשר את זה לצאת במנוחה ולבצע ניתוחים עליהם.

כפי שציינתי, עשינו עשרות ועשרות שנים של ביצוע מה שאני מכנה אנליטי אצווה. שמתי כאן תמונה ממש מגניבה. זוהי תמונה של ג'נטלמן שעומד מול מחשב מדומה שנוצר על ידי RAND Corporation לפני כל החיים וככה הם ראו מחשב שנראה בבית. מה שמעניין הוא שגם אז היה להם מושג זה של כל החוגים הקטנים האלה והחוגות הללו ייצגו מידע שנכנס מהבית ועובד בזמן אמת ואומר לך מה קורה. דוגמה פשוטה היא מערכת לחץ וטמפרטורה ברומטרית שנוכל לראות היכן אנו רואים מה קורה בזמן אמת. אבל אני מתאר לעצמי כי גם אז RAND Corporation איגדה את המודל הקטן הזה, הם למעשה חשבו כבר על עיבוד נתונים וביצוע ניתוחים בזמן שהם מגיעים בפורמט זרם. אני לא לגמרי בטוח למה הם שמו הגה למחשב, אבל זה די מגניב.

מאז המצאתו של ה- ER, הייתה לנו השקפה של לכידת נתונים וביצוע ניתוחי אצווה עליהם. כפי שאמרתי עם המשמרת הגדולה כעת וראינו זאת מחבביהם של השחקנים בקנה מידה ברשת שכולנו מכירים, כולם מותגים ביתיים כמו ולינקדאין, שהתנהגות אינטראקטיבית שיש לנו עם אותם פלטפורמות חברתיות דורשת לא רק ללכוד, לאחסן ואז לעבד במצב אצווה, אלא שהם למעשה לוכדים ומניעים ניתוחים תוך כדי תנועה מזרמי הנתונים העוברים. כשאני מציץ משהו, לא רק שהם צריכים ללכוד ולאחסן ולעשות משהו אחר כך, אלא שהם גם צריכים להיות מסוגלים להחזיר אותו מייד לזרם שלי ולשתף אותו עם אנשים אחרים העוקבים אחריי. זהו מודל עיבוד אצווה.

מדוע נרד במסלול זה? מדוע ארגונים ישקיעו זמן, מאמץ וכסף אפילו בהתחשב באתגר של מאמץ אחר הדרך לניתוח זרמים? לארגונים יש רצון מאסיבי זה להשיג רווח ביצועים על פני מתחרותיהם בענפים שהם נמצאים בהם וכי ניתן ליישם רווח ביצועים במהירות באמצעות ניתוח זרמים פשוט וזה יכול להתחיל בנתונים פשוטים בזמן אמת שעוקבים אחר כך שאנו כבר מכיר. קיבלתי שם צילום מסך קטן של גוגל אנליטיקס. זו ככל הנראה אחת הפעמים הראשונות שבאמת קיבלנו את הניתוח הדרוש לצרכנים. אז בזמן שאנשים ביקרו באתר שלך ואתה מקבל את ספירת הלהיטים האלה, עם חתיכה קטנה של JavaScript בתחתית דף האינטרנט שלך ב- HTML משובץ באתר שלך, הקודים הקטנים האלה בוצעו בזמן אמת חזרה לגוגל והם היו ביצוע ניתוחים על זרמי הנתונים הנכנסים מכל עמוד באתר שלך, כל אובייקט באתר שלך בזמן אמת והם מחזירים לך בדף האינטרנט הקטן והחמוד הזה במרכז השליטה של ​​גרף בזמן אמת, היסטוגרמות קטנות וחמודות גרף המציג מספר X של אנשים שפגעו בדף שלך באופן היסטורי, אבל הנה כמה יש כרגע.

כפי שתוכלו לראות בצילום המסך הזה, כתוב 25 ברגע זה. זה 25 אנשים כרגע בזמן צילום המסך הזה היו בדף הזה. זהו הסיכוי האמיתי הראשון ששיחקנו בכלי ניתוח בכיתה לצרכן. אני חושב שהרבה אנשים באמת הבינו את זה. הם פשוט הבינו את הכוח לדעת מה קורה ואיך הם יכולים להגיב לזה. כשאנחנו חושבים על היקף התעופה, מטוסים שטסים מסביב, ישנם כמו 18,700 טיסות פנים ביום בארצות הברית בלבד. קראתי עיתון לפני זמן מה - לפני כשש או שבע שנים - שכמות הנתונים שהופקו על ידי המטוסים הללו הייתה בערך 200 עד 300 מגה-בייט במודל ההנדסי הישן. בעיצובי המטוסים של ימינו, מטוסים אלו מייצרים כ -500 ג'יגה נתונים או כחצי טרה-בתים לטיסה.

כשאתה מבצע את המתמטיקה מהר מאוד מראשך, 18,700 טיסות פנים בכל 24 שעות במרחב האווירי של ארה"ב בלבד, אם כל המטוסים המודרניים מייצרים כחצי טרה-בייט, זה 43 עד 44 פטאט של נתונים שעוברים ו זה קורה בזמן שהמטוסים באוויר. זה קורה כשהם נוחתים והם מבצעים מזבלות נתונים. זה הרגע שהם נכנסים לחנות ומעבירים נתונים מלאים מצוותי ההנדסה כדי לבדוק מה קורה במיסבים, בגלגלים ובתוך המנועים. חלק מהנתונים האלה צריכים להיות מעובדים בזמן אמת כדי שיוכלו לקבל החלטות אם יש בעיה אמיתית בזמן שהמטוס היה באוויר או כשהוא בשטח. אתה פשוט לא יכול לעשות זאת במצב אצווה. בענפים אחרים שאנחנו רואים שם סביב פיננסים, בריאות, ייצור והנדסה, הם בוחנים גם איך הם יכולים להגיע עם התובנה החדשה הזו על מה שקורה בזמן אמת לעומת מה שרק מאוחסן במאגרי המידע על טווח.

יש גם מושג זה של התמודדות עם נתונים כמו מה שאני מכנה תוצרת מתכלת או סחורה מתכלה - שהרבה נתונים מאבדים ערך לאורך זמן. זה יותר ויותר המקרה עם אפליקציות לניידות וכלי מדיה חברתית מכיוון שמה שאנשים אומרים ומה שמגמה עכשיו זה מה שאתה רוצה להגיב אליו. כשאתה חושב על חלקים אחרים בחיינו באמצעות לוגיסטיקה ומשלוח אוכל מסביב, אנו מבינים את המושג סחורה מתכלה במובן זה. אבל חשוב על הנתונים העוברים על הארגון שלך ועל הערך שיש להם. אם מישהו עושה איתך עסקים כרגע ואתה יכול לקיים אינטראקציה איתם בזמן אמת, אתה לא רוצה לחכות שעה כדי שניתן יהיה ללכוד את הנתונים ולהכניס אותם למערכת כמו Hadoop ואז לחץ על הכפתור הזה, אתה לא תוכל להתמודד עם זה ברגע זה ואתה רוצה לעשות זאת על פי דרישת הלקוח באופן מיידי. יש מונח שתראה שצץ הרבה עכשיו בו אנשים מדברים על הזרמת נתונים בזמן אמת זו שיכולה לתת לך התאמה אישית, והתאמה האישית הזו תתאים למערכת בה אתה משתמש לחוויה האישית שלך. כך שכשאתה מכה בכלי כמו כלי החיפוש של גוגל, למשל, אם אני מבצע שאילתה ואתה מבצע את אותה השאילתה, תמיד, לא נקבל את אותם הנתונים בדיוק. אנו מקבלים במהות את מה שאני מתייחס אליו כחוויה של ידוענים. מטפלים בי באופן חד פעמי. אני מקבל גרסה אישית משלי למתרחש במערכות האלה על סמך הפרופילים והנתונים שהם אספו עלי והצלחתי לעשות ניתוח בזמן אמת בזרם.

רעיון זה של נתונים כמצרך מתכלה הוא דבר אמיתי לעת עתה וערכם של נתונים שמצטמצמים עם הזמן הוא משהו שעלינו להתמודד איתו היום. זה לא דבר של אתמול. אני אוהבת את התמונה הזו של דוב התופס סלמון שקופץ מהנהר כי היא באמת מציירת בדיוק את מה שאני רואה בזרימה אנליטית. זה נהר הנתונים המסיבי הזה שמגיע אלינו, צינור אש אם תרצו והדוב יושב באמצע הנחל. זה הולך לבצע ניתוחים בזמן אמת על המתרחש סביבו כך שהוא יכול למעשה להנדס את יכולתו ללכוד את הדג הזה באוויר. זה לא כמו לטבול בזרם ולחטוף אחד. הדבר הזה קופץ באוויר וזה צריך להיות במקום הנכון ובזמן הנכון כדי לתפוס את הדג הזה. אחרת הוא לא מקבל ארוחת בוקר או ארוחת צהריים.

ארגון רוצה לעשות את אותו הדבר עם הנתונים שלהם. הם רוצים לחלץ ערך מכפי שהם כעת כמויות עצומות של נתונים בתנועה. הם רוצים לבצע ניתוחים על נתונים אלה ועל נתונים במהירות גבוהה כך שזה לא רק כמות הנתונים שמגיעה אלינו אלא זו המהירות שבה הם מגיעים מכאן. באבטחה למשל, זה כל הנתבים, המתגים, השרתים, חומת האש וכל האירועים שמגיעים מאותם ועשרות אלפי אם לא מאות אלפי מכשירים, במקרים מסוימים נתונים מתכלים. כשאנחנו חושבים על זה באינטרנט הדברים ובאינטרנט התעשייתי, אנחנו מדברים על מיליונים אם לא מיליארדי חיישנים בסופו של דבר, וככל שהנתונים מגיעים דרכם מבצע ניתוחים, אנו בוחנים כעת לבצע עיבוד אירועים מורכב. לפי סדר גודל ומהירות שמעולם לא ראינו בעבר ואנחנו צריכים להתמודד עם זה היום. עלינו לבנות כלים ומערכות סביב זה. זה אתגר אמיתי לארגונים מכיוון שמצד אחד יש לנו את המותגים הגדולים ביותר שעושים DIY, אופים את זה בעצמך, כאשר יש להם את היכולת לעשות את זה ואת מערך המיומנות ואת ההנדסה. אבל עבור הארגון הממוצע, זה לא המקרה. אין להם מערכות מיומנות. אין להם את היכולת או את הזמן או אפילו את הכסף להשקיע בכדי להבין זאת. כולם מכוונים לעבר מושג זה של קבלת החלטות כמעט בזמן אמת.

השתמש במקרים שנתקלתי בהם, והם נמצאים בכל קשת רחבה של כל מגזר שאתה יכול לדמיין, אנשים יושבים ומושיבים תשומת לב ואומרים, כיצד אנו מיישמים כמה ניתוחים על נתוני הזרם שלנו? אנו מדברים על שירותים מקוונים ברשת. ישנן פלטפורמות המדיה החברתית המסורתיות ופיתוח מקוון וקמעונאות מקוונות - אפליקציות למשל. כולם מנסים להעניק לנו את חווית הסלבריטאים הזו בזמן אמת. אבל כשאנחנו יורדים ליותר משירותי ערימות הטכנולוגיה, שירותי הטלפון, הקול והווידיאו, אני רואה אנשים מסתובבים עם FaceTime בטלפונים. זה פשוט מתפוצץ. זה מרתק את דעתי שאנשים מוציאים את הטלפון לפניהם ומשוחחים עם זרם וידיאו של חבר, לעומת שהם מחזיקים אותו עוד לאוזן. אבל הם יודעים שהם יכולים לעשות את זה והם הסתגלו והם אהבו את החוויה הזו. הפיתוח של יישומים אלה והפלטפורמות שמספקים את אלה נאלצים לבצע ניתוחים בזמן אמת על התנועה הזו ובפרופילי התעבורה, כך שהם יוכלו לעשות דברים פשוטים כמו ניתוב הוידאו בצורה מושלמת כך שאיכות הקול בקול הווידאו שאתה מקבל מספיק כדי לקבל חוויה טובה. אתה לא יכול לעבד נתונים מסוג זה. זה לא יהפוך את זרם הווידיאו בזמן אמת לשירות פונקציונלי.

יש אתגר ממשל בעסקאות פיננסיות. זה לא בסדר להגיע לסוף היום ולגלות שעברת על החוק שמעביר נתונים פרטיים במקום. באוסטרליה יש לנו אתגר מאוד מעניין שבו העברת נתונים הקשורים לפרטיות אל מחוץ לחוף היא לא. אתה לא יכול לקחת את ה- PID שלי, נתוני הזיהוי האישי הפרטי שלי, לחוף הים. באוסטרליה יש חוקים שיכולים להפסיק את זה. ספקי שירותים פיננסיים בפרט, שירותים ממשלתיים וסוכנויות, עליהם לבצע ניתוחים בזמן אמת על זרמי הנתונים וההוראות שלהם כדי לוודא שמה שהם מספקים לי לא יעזוב את החופים. כל הדברים צריכים להישאר באופן מקומי. הם חייבים לעשות את זה בזמן אמת. הם לא יכולים לעבור על החוק ולבקש סליחה אחר כך. גילוי הונאה - זה די ברור שאנחנו שומעים עליו בעסקאות כרטיסי אשראי. אך מכיוון שסוג העסקאות שאנו מבצעים בשירותים פיננסיים משתנים מאוד מאוד מהר, ישנם דברים שונים ש- PayPal מבצעים קודם כל באיתור הונאה בזמן אמת, שבהם כסף לא עובר מדבר לדבר, אבל זה עסקה פיננסית בין מערכות. פלטפורמות הצעות מחיר ב- eBay, גילוי הונאה חייבים להיעשות בזמן אמת במשרד סטרימינג.

ישנה מגמה שעוברת כעת לבצע חילוץ ושינוי פעילות עומס בזרמים כך שלא נרצה לתפוס שום דבר שיגיע לזרם. אנחנו לא באמת יכולים לעשות זאת. אנשים למדו שנתונים אוהבים להישבר ממש מהר אם נלכוד את הכל. הטריק עכשיו הוא לבצע ניתוחים על הזרמים האלה ולעשות ETL על זה ופשוט ללכוד את מה שאתה צריך, פוטנציאל metadata, ואז לנהוג אנליטי חיזוי שבו אנו יכולים למעשה לומר מה הולך לקרות קצת יותר רחוק בשבילים על מה שאנחנו ראינו זה עתה בזרם על סמך הניתוחים שביצענו על זה.

ספקי האנרגיה והשירותים חווים רצון אדיר זה מצד הצרכנים לתמחור ביקוש. אני יכול להחליט שאני רוצה לקנות כוח ירוק בתקופה מסוימת ביום כי אני פשוט בבית לבד ואני לא משתמש בהרבה מכשירים. אבל אם יש לי ארוחת ערב, אולי ארצה להפעיל את כל המכשירים שלי ואני לא רוצה לקנות כוח זול ולחכות שימסור אותו, אבל מוכן לשלם עבור עלות נוספת בכדי לקבל את הכוח הזה. תמחור ביקוש זה במיוחד בשירותים ובמרחב אנרגיה כבר קרה. Uber למשל הוא דוגמא קלאסית לדברים שאתה יכול לעשות כל יום והכול מונע על ידי תמחור ביקוש. יש כמה דוגמאות קלאסיות לכך שאנשים באוסטרליה מקבלים מחיר של 10,000 דולר בגלל הביקוש העצום בערב ראש השנה. אני בטוח שהם התמודדו עם הנושא הזה אבל זרם ניתוחים שמתבצע בזמן אמת בזמן שהם ברכב אומר לכם כמה אני צריך לשלם.

אינטרנט של דברים וזרמי חיישנים - רק גירדנו את פני השטח על זה ובאמת פשוט קיימנו את השיחה הבסיסית בנושא זה, אך נראה שינוי מעניין באיך הטכנולוגיה מתמודדת עם זה כי כשאתה מדבר לא כמעט אלפים או עשרות אלפים, אך מאות אלפי מכשירים ומיליארדים של מכשירים הזורמים אליך, כמעט אף אחד מהערימות הטכנולוגיות שיש לנו עכשיו לא תוכנן להתמודד עם זה.

יש כמה נושאים חמים באמת שנראה ברחבי העולם כמו סיכון אבטחה וסייבר. הם אתגרים אמיתיים מאוד עבורנו. יש באינטרנט כלי ממש מסודר שנקרא צפון בו אתה יכול לשבת ולצפות בדף אינטרנט של התקפות סייבר שונות שמתרחשות בזמן אמת. כשאתה מסתכל על זה אתה חושב "הו זה דף אינטרנט קטן וחמוד", אבל אחרי כחמש דקות שם אתה מבין את נפח הנתונים שמערכת זו עושה ניתוחים בכל הזרמים השונים של כל המכשירים השונים ברחבי העולם שמוזנים לתוכם. זה מתחיל לנקוס את התודעה של איך הם מבצעים את זה בקצה התקליט הזה בעצם ולספק לך את המסך הקטן והפשוט הזה, שאומר לך מה או משהו אחר שתוקף אותו בזמן אמת ואילו סוגים של התקפות. אבל זו דרך קטנה ומסודרת פשוט לקבל טעימה טובה ממה שאנליטיקס הזרם יכול לעשות עבורך בזמן אמת פשוט על ידי צפייה בדף זה וקבלת תחושה של עוצמת הקול והאתגר של נטילת הזרמים, עיבוד שאילתות אנליטיות ב אותם ומייצגים את זה בזמן אמת.

אני חושב שהשיחה שניהלתי להמשך הפגישה הולכת להתייחס לכל אותם דברים עם נוף מעניין אחד, מנקודת מבטי, וזה האתגר של עשה זאת בעצמך, לאפות את זה בעצמך, מתאים כמה מה חד קרן קלאסי שיכול להרשות לעצמו לבנות סוגים כאלה. יש להם מיליארדי דולרים לבנות את צוותי ההנדסה האלה ולבנות את מרכזי הנתונים שלהם. אבל עבור 99.9% מהארגונים בחוץ שרוצים להעניק ערך לעסקים שלהם בניתוח זרמים, הם צריכים לקבל שירות מהמדף. הם צריכים לקנות מוצר מחוץ לקופסה והם בדרך כלל זקוקים לשירות ייעוץ ושירות מקצועי שיעזרו להם ליישם אותו והם משיגים ערך זה בחזרה בעסק ומוכרים אותו בחזרה לעסק כפתרון עבודה.

עם זה, אני אחזור אליך, רבקה, כי אני מאמין שזה מה שאנחנו עומדים לכסות בפירוט עכשיו.

רבקה יוז'ויאק: מעולה. תודה רבה לך, דז. זו מצגת נהדרת.

עכשיו, אני אעביר את הכדור לרובין. קח את זה מפה.

רובין בלור: בסדר. מכיוון שדז עברה את הזוהר הזעיר של עיבוד הזרמים, לא נראה היה לי הגיוני לכסות את זה שוב. אז אני רק מתכוון להשקיף על השקעה אסטרטגית לחלוטין.מסתכל כמעט מרמה גבוהה מאוד על מה לעזאזל קורה וממקם אותו כי אני חושב שזה עשוי לעזור לאנשים, ובמיוחד לאנשים שאיננו מהוהים בעיבוד נחלים בעומק גדול לפני כן.

עיבוד זרמים קיים כבר הרבה זמן. פעם קראנו לזה CEP. לפני כן היו מערכות בזמן אמת. מערכות בקרת התהליכים המקוריות למעשה עיבדו זרמי מידע - כמובן ששום דבר לא הרחיק לכת כמו בימינו. הגרפיקה הזו שאתה רואה בשקופית כאן; זה מצביע על הרבה דברים בעצם, אבל הוא מציין מעל ומעבר לכל דבר אחר - העובדה שיש ספקטרום של איחור המופיע בצבעים שונים כאן למטה. מה שקרה בפועל מאז המצאת המחשוב או המחשוב המסחרי שהגיע ממש בסביבות 1960, הוא שהכל רק הלך ומהיר יותר. פעם היינו יכולים להיות תלויים בדרך שבה זה באמת יוצא אם תרצו בגלים, כי כך זה נראה. זה למעשה תלוי בזה. מכיוון שהכל מונע על ידי חוק מורס והחוק של מורס ייתן לנו גורם של פי עשרה מהירות במשך תקופה של כשש שנים. ואז ברגע שהגענו לערך 2013, הכל נשבר, והתחלנו פתאום להאיץ בקצב שמעולם לא היה לנו, וזה חסר תקדים באופן מוזר. קיבלנו גורם של כעשרה במונחים של עלייה במהירות ולכן הפחתת ההשהיה בערך כל שש שנים. בשש השנים שחלפו מאז בערך 2010, יש לנו מכפיל של לפחות אלף. שלושה סדרי גודל ולא אחד.

זה מה שקרה וזו הסיבה שהתעשייה בדרך זו או אחרת נעה במהירויות פנטסטיות - מכיוון שכן. פשוט עוברים את המשמעות של גרפיקה מסוימת זו, זמני התגובה הם למעשה אגב בקנה מידה אלגוריתמי לאורך הציר האנכי. זמן אמת הוא מהירות מחשב, מהירה יותר מבני אדם. זמנים אינטראקטיביים הם כתומים. זה כאשר אתה מתקשר עם המחשב, שם אתה באמת רוצה עשירית עד כשניה של זמן לאחור. מעל, יש עסקאות בהן אנו חושבים על מה שאתה עושה במחשב, אך אם זה יימשך בעוד חמש עשרה שניות זה יהפוך בלתי נסבל. אנשים פשוט לא יחכו למחשב. הכל נעשה באצווה. הרבה דברים שנעשו בקבוצה יורדים עכשיו היישר אל מרחב העסקאות, היישר אל המרחב האינטראקטיבי או אפילו אל המרחב בזמן אמת. בעוד שקודם לכן, גלי עם כמויות קטנות מאוד של נתונים שנוכל לעשות חלק מזה, אנו יכולים כעת לעשות עם כמויות גדולות מאוד של נתונים בעזרת סביבה המוגדרת מאוד.

אז בעצם, כל אלה אומרים זה באמת זמני העסקה והתגובה האנושית האינטראקטיבית. הרבה מה שעושים בזרמים כרגע זה ליידע את בני האדם על הדברים. חלק זה הולך מהר יותר וזה מודיע דברים היטב כך שזה זמן אמיתי. ואז אנו לוקחים רישיון פשוט ליפול כמו אבן, מה שהופך ניתוחים מיידיים למימשלים ובדרך אגב די נוחים. זה לא רק המהירות ירדה וגם החלק העליון פשוט קרס. ככל הנראה ההשפעה הגדולה ביותר בכל אלה מבין כל היישומים השונים, תוכלו לעשות את כל הניתוחים החזוייים הללו. אני אגיד לך למה עוד רגע.

זו רק חנות החומרה. יש לך תוכנה מקבילה. אנחנו מדברים על זה בשנת 2004. ארכיטקטורה בהרחבה, שבבים מרובי ליבות, הגדלת זיכרון, מעבד להגדרה. SSDs עכשיו כל כך מהר יותר מאשר מסתובב דיסק. אתה יכול להתמודד עם גל מסתובב למדי. SSDs נמצאים גם בליבות מרובות, כך שוב מהר יותר ויותר. בקרוב להופיע, יש לנו את הזכרון מ- HP. יש לנו את ה- XP XPoint מאינטל ומיקרון. ההבטחה לאלה היא שבכל מקרה יגרום לכל להתקדם יותר ויותר. כשאתה חושב למעשה על שתי טכנולוגיות זיכרון חדשות, ששניהם יהפכו את כל היצירה הקטנה והבסיסית, לוח המעגלים הבודד יתקדם מהר יותר, אפילו לא ראינו את הסוף.

טכנולוגיית הזרמים, שהיא הבאה באמת, כאן כדי להישאר. תצטרך להיות ארכיטקטורה חדשה. כלומר דז הזכיר זאת בכמה נקודות במצגת שלו. במשך עשרות שנים ראינו בארכיטקטורה שילוב של ערימות נתונים וצינורות נתונים. נטינו לעבד את הערימות ונטענו לצנוב את הנתונים בין הערימות. אנו מתקדמים כעת באופן מהותי לקראת מה שאנו מכנים ארכיטקטורת הנתונים למבדה שמשלבת עיבוד של זרימת נתונים עם ערימות נתונים. כשאתה מעבד למעשה זרם של אירועים שנכנסים כנגד נתונים היסטוריים כזרם נתונים או ערימת נתונים, לזה אני מתכוון באדריכלות למבדה. זה בחיתוליו. זה רק חלק מהתמונה. אם אתה מחשיב משהו מורכב כמו אינטרנט של כל מה שדז הזכיר גם כן, תבינו למעשה שיש כל מיני סוגיות של מיקום נתונים - החלטות לגבי מה עליכם לעבד בזרם.

העניין שאני באמת אומר כאן הוא שכשעבדנו אצווה היינו מעובדים זרמים. פשוט לא יכולנו לעשות זאת בזה אחר זה. אנחנו רק ממתינים עד שיהיה ערימה גדולה של דברים ואז אנו מעבדים את הכל בבת אחת. אנו עוברים למצב בו אנו למעשה יכולים לעבד דברים בזרם. אם אנו יכולים לעבד דברים בזרם, ערימות הנתונים שברשותנו עומדות להיות הנתונים הסטטיים אליהם אנו צריכים להפנות כדי לעבד את הנתונים בזרם.

זה לוקח אותנו לדבר הספציפי הזה. ציינתי את זה בעבר במצגת כלשהי עם האנלוגיה הביולוגית. הדרך בה הייתי רוצה שתחשבו עליה היא כרגע אנו בני אדם. יש לנו שלוש רשתות מובחנות לעיבוד חזוי בזמן אמת. הם נקראים הסומטיים, האוטונומיים והאנמיים. האנטיק הוא הבטן שלך. מערכת העצבים האוטונומית דואגת לריב וטיסות. זה למעשה דואג לתגובות מהירות לסביבה. הסומטי המשגיח על תנועת הגוף. אלה מערכות בזמן אמת. הדבר המעניין בזה - או שאני חושב שהוא די מעניין - הוא חלק ניבא יותר מכפי שהייתם מדמיינים אי פעם. זה כאילו אתה ממש מסתכל על מסך שנמצא בערך 18 סנטימטרים מהפנים שלך. כל מה שאתה יכול לראות בבירור, כל מה שגופך מסוגל לראות בבירור הוא למעשה מלבן 8 × 10. כל מה שחוץ מזה מטושטש מבחינת גופך, אך המוח שלך ממלא את החסר וגורם לו לא להיות מטושטש. אתה לא רואה טשטוש בכלל. אתה רואה את זה בבירור. המוח שלך בעצם עושה שיטת חיזוי של זרם הנתונים כדי שתוכל לראות את הבהירות הזו. זה סוג של סקרן, אבל אתה יכול למעשה לראות את אופן פעולתה של מערכת העצבים ואת הדרך בה אנו מצליחים להתנהל ולהתנהג בצורה סבירה - לפחות חלקנו - בצורה שפויה למדי ולא מתנגשים לדברים כל הזמן.

הכל נעשה על ידי סדרה של סולם ניתוחים עצביים כאן. מה שעומד לקרות הוא שלארגונים יהיה אותו סוג של דבר והם הולכים לבנות את אותו סוג של דברים וזה הולך להיות עיבוד של זרמים כולל הזרמים הפנימיים של הארגון - הדברים שקורים בתוך זה, הדברים שקורים מחוצה לו, התגובות המיידיות שלמעשה צריך להיעשות הם כמובן מאכילים את האדם לקבל החלטות, לגרום לכל אלה לקרות. לכאן אנו הולכים, ככל שאני יכול לראות.

אחד הדברים שכתוצאה מכך הוא שרמת אפליקציית הסטרימינג עוברת כשורה. יהיה הרבה יותר נורא ממה שאנחנו רואים עכשיו. כרגע אנו בוחרים את הפירות הנמוכים לתלייה של הדברים המובנים מאליהם.

אז בכל מקרה זו המסקנה כאן. הזרמת ניתוחים היא פעם נישה אך היא הופכת למיינסטרים והיא בקרוב תאומץ באופן כללי.

עם זה אני אחזיר לרבקה.

רבקה יוז'ויאק: תודה רבה לך, רובין. מצגת נהדרת כרגיל.

אנאנד, אתה קם הבא. הרצפה שלך.

אנאנד ונווגופל: פנטסטי. תודה.

שמי אנאנד Venugopal ואני ראש המוצר של StreamAnalytix. זה מוצר שמציע אימפטוס טכנולוגיות, מלוס גאטוס, קליפורניה.

לחברת אימפטוס היסטוריה נהדרת להיות ספקית של פתרונות נתונים גדולים עבור ארגונים גדולים. אז למעשה ביצענו מספר יישומי ניתוח זרימה כחברת שירותים ולמדנו הרבה שיעורים. בנוסף עברנו מעבר להפוך לחברת מוצרים ולחברה מונעת פתרונות בשנתיים האחרונות וניתוח הזרמים עומד בראש ההתחייבות בהפיכת אימפטוס לחברה מונעת ברובם. ישנם כמה נכסים קריטיים מאוד מאוד חשובים שאותם אימפטוס פינה בזכות החשיפה שלנו לארגונים, ו StreamAnalytix הוא אחד מהם.

אנחנו 20 שנה בעסק ויש שילוב נהדר של מוצרים ושירותים שעושה לנו יתרון עצום. ו- StreamAnalytix נולד מתוך כל הלקחים שנלמדו מחמש או שישה מיישומי הסטרימינג הראשונים שלנו.

אגע בכמה דברים, אבל האנליסטים, דז ורובין, עשו עבודה נפלאה בכיסוי החלל בסך הכל, אז אני הולך לדלג על הרבה תוכן החופף. אני כנראה אלך מהר. אנו רואים מלבד מקרי סטרימינג אמיתיים שמשתמשים בהאצת אצוות פשוטות, שם ישנם פשוט מאוד תהליכי אצווה חשובים בארגונים. כפי שאתה יכול לראות, כל המחזור הזה של חישה של אירוע וניתוח והפעלתו עליו יכול למעשה לקחת שבועות בארגונים גדולים וכולם מנסים לכווץ אותו לדקות ולפעמים שניות ומיליות שניות. אז כל דבר מהיר יותר מכל כל תהליכי האצווה הללו מועמדים לרכישה עסקית וזה בהחלט מציין כי ערך הנתונים יורד באופן דרמטי עם הגיל שלהם, כך שיש יותר ערך בחלק הראשוני בשניות שזה עתה קרה. באופן אידיאלי, אם היית יכול לחזות מה עומד לקרות, זה הערך הגבוה ביותר. עם זאת, הדבר תלוי ברמת הדיוק. הערך הבא הגבוה ביותר הוא כאשר הוא נמצא שם כשזה קורה אתה יכול לנתח אותו ולהגיב. כמובן שהערך יורד באופן דרמטי לאחר מכן, ה- BI המגביל העיקרי בו אנו נמצאים.

זה מעניין. ייתכן שתצפה לאיזו תשובה מדעית דרמטית מדוע הזרמת ניתוחים. עם הרבה מקרים, מה שאנחנו רואים זה בגלל שזה אפשרי עכשיו ומכיוון שכולם יודעים שהצוות הוא ישן, האצווה משעממת והאצווה לא מגניבה. יש מספיק חינוך שלכולם היה עכשיו על העובדה שיש אפשרות לזרום ולכולם יש את Hadoop עכשיו. כעת יש בהפצות Hadoop טכנולוגיית סטרימינג משובצת, בין אם זה סטרימינג או סטרימינג או ניצוץ וכמובן תורים, כמו קפקא וכו '.

חברות שאנו רואים קופצות לתוכן ומתחילות להתנסות במקרים אלו ואנחנו רואים שתי קטגוריות רחבות. לאחד יש קשר לניתוח לקוחות וחוויית לקוח ולאינטיליגנציה התפעולית השנייה. אכנס לחלק מהפרטים על כך מעט אחר כך. כל זווית שירות הלקוחות וחווית הלקוחות ואנחנו ב- Impetus StreamAnalytix עשינו זאת בדרכים רבות ומגוונות. זה באמת עניין של ממש, ממש ללכוד את המעורבות הרב-ערוצית של הצרכן בזמן אמת ולהעניק להם חוויות מאוד מאוד רגישות שאינם שכיחים כיום. אם אתם גולשים באינטרנט, באתר בנק אוף אמריקה, ובחנתם כמה מוצרים ואתם פשוט מתקשרים למוקד הטלפוני. האם הם היו אומרים, "היי ג'ו, אני יודע שאתה חקר כמה מוצרים בנקאיים, האם תרצה שאמלא אותך?" אתה לא מצפה לזה היום, אבל זו סוג החוויה שאפשר באמת עם ניתוח סטרימינג. במקרים רבים זה משנה מאוד, במיוחד אם הלקוח התחיל לחקור דרכים לצאת מהחוזה שלך איתך על ידי בחינת סעיפי סיום מוקדמים או תנאי סיום מוקדם באתר האינטרנט שלך ואז להתקשר ואתה לא יכול ישירות עימם איתם בקשר, אך רק בעקיפין תציע הצעה לגבי קידום כלשהו של קידום מכיוון שהמערכת יודעת שאדם זה בוחן סיום מוקדם ואתה מציע את ההצעה באותה נקודה, אתה יכול מאוד להגן על הלקוח העגום ולהגן על הנכס הזה. .

זו תהיה דוגמה אחת, בנוסף לכך ששירותי לקוחות רבים הם דוגמאות טובות מאוד. אנו מיישמים היום מוריד את העלות במוקד הטלפוני ומספק חוויות לקוחות דרמטיות ומענגות. דז עשה עבודה נהדרת בסיכום חלק ממקרי השימוש. אתה יכול לבהות בתרשים זה למשך מספר דקות. סיווגתי אותו כאנכיות, אופקיות ואזורי קומבו, IoT, אפליקציה סלולרית ומוקד טלפוני. כולם אנכיים ואופקיים. זה תלוי איך מסתכלים על זה. בשורה התחתונה, אנו רואים מידה רבה של שימושים אופקיים הנפוצים למדי בכל אנכי התעשייה ויש מקרי שימוש אנכיים ספציפיים הכוללים שירותים פיננסיים, שירותי בריאות, טלקום, ייצור וכו '. אם אתם באמת שואלים את עצמכם את השאלה או מספרים לעצמכם זה, "אה, אני לא יודע איזה מקרי שימוש יש. אני לא בטוח אם באמת יש ערך עסקי בזרם ניתוחים לחברה שלי או לארגון שלנו, "תחשוב קשה, תחשוב פעמיים. דברו עם אנשים נוספים מכיוון שיש מקרי שימוש שבחברה שלכם רלוונטיים כיום. אבחן בערך העסקי כיצד בדיוק נגזר הערך העסקי.

בתחתית הפירמידה כאן, יש לך תחזוקה חזויה, ביטחון, הגנה מפני חומרה וכו '. מקרי שימוש מסוג זה מהווים הגנה על הכנסות ונכסים. אם Target היה מגן על הפרת האבטחה שלהם שהתרחשה במשך שעות על גבי שבועות, המינהל יכול היה להציל את עבודתו. זה יכול לחסוך עשרות או מאות מיליוני דולרים וכו '. ניתוח ניתוחי הזרמה בזמן אמת באמת יכול לעזור בהגנה על נכסים אלה ובהגנה על הפסדים. זהו ערך מוסף עסקי ישיר ממש שם.

הקטגוריה הבאה הופכת לרווחית יותר, מורידה את העלות שלך ומפיקת הכנסות רבות יותר מפעילות שוטפת. היעילות של הארגון הנוכחי. כל אלה הם קטגוריית מקרי השימוש שאנו מכנים מודיעין תפעולי בזמן אמת, שם אתה מקבל תובנות מעמיקות כיצד מתנהגת הרשת, כיצד מתנהלים פעולות הלקוחות שלך, כיצד התהליך העסקי שלך מתנהג ואתה מצליח לצבוט כל זה בזמן אמת בגלל שאתה מקבל משוב, אתה מקבל התראות. אתה מקבל סטיות, שונות בזמן אמת ותוכל במהירות לפעול ולהפריד בין התהליך היוצא מגבול.

אתה יכול גם לחסוך הרבה כסף בשדרוגי הון יקרים ובדברים שלדעתך נחוצים ואולי לא נחוצים אם ייעל את שירות הרשת. שמענו על מקרה בו טלקו מרכזי דחה שדרוג של 40 מיליון דולר בתשתית הרשת שלהם מכיוון שהם גילו שיש להם מספיק יכולת לנהל את התנועה הנוכחית שלהם, כלומר באמצעות אופטימיזציה וביצוע טוב יותר של הניתוב החכם של התנועה שלהם ודברים כאלה. כל אלה אפשריים רק עם איזה ניתוח ומנגנון פעולה בזמן אמת הפועל על תובנות אלו בזמן אמת.

הרמה הבאה של ערך מוסף היא up-sell, cross-sell כאשר יש הזדמנויות להרוויח יותר הכנסות ורווחים מהנפקות שוטפות. זו דוגמה קלאסית שרבים מאיתנו יודעים עליהן חוו היכן, אתה חושב עליה בחייך בה אתה מוכן לרכוש מוצר בפועל היום שלא מוצע לך. במקרים רבים, רבים, זה קורה. יש לך בראש דברים שאתה אוהב לקנות שאתה יודע שאתה רוצה לקנות, שיש לך רשימת מטלות או משהו, שאשתך אמרה לך או אם אין לך אישה אבל באמת רצית לקנות ואתה יוצא לקניות באתר או שאתה מתקשר בחנות קמעונאית, לחזית החנות פשוט אין את החוטים, אין לך את המודיעין לחשב את מה שאתה צריך. מכאן שהם לא מבטיחים את העסק שלהם. אם ניתן יהיה לפרוס אנליטי סטרימינג בכדי לבצע באמת חיזויים מדויקים ואילו באמת אפשריים לגבי מה שהכי יתאים לתיאום הספציפי הזה, הלקוח הזה בזמן הזה במיקום זה, יש הרבה מכירות ומכירה חוזרות וזה שוב מגיע ניתוח סטרימינג - היכולת לקבל החלטת נטייה לגבי מה הלקוח עשוי לרכוש או להגיב אליו ברגע האמת כשיש הזדמנות. זו הסיבה שאני אוהבת את התמונה הזו שדז הראה עם הדוב בדיוק לקראת אכילת הדג הזה. זה פחות או יותר.

אנו גם חושבים שיש קטגוריה גדולה שם של שינויים דרמטיים וטרנספורמטיביים בארגון של הצעת מוצרים ושירותים חדשים לחלוטין, המבוססים פשוט על התבוננות בהתנהגות הלקוחות, והכל מבוסס על התבוננות בהתנהגות של מפעל אחר. אם, נניח, טלקו או חברת כבלים באמת שומרים על דפוסי השימוש של הלקוחות באיזה פלח שוק הוא צופה, באיזו תוכנית באיזו שעה וכו ', הם בסופו של דבר יוצרים מוצרים ושירותים שכמעט מתחננים כי בדרך כלשהי. אז כל הרעיון של התנהגות מרובת-מסכים כרגע במקום בו אנו כמעט מקבלים את זה כמובן מאליו שנוכל לראות תוכן טלוויזיה או כבלים באפליקציות הניידות שלנו. כמה מהדוגמאות הללו מגיעות מאותם מוצרים ושירותים חדשים המוצעים לנו.

אכנס, "מהם השיקולים בארכיטקטורה של ניתוח זרימה?" בסופו של דבר זה מה שאנחנו מנסים לעשות. זוהי ארכיטקטורת למבדה בה אתה ממזג את הנתונים ההיסטוריים ואת התובנות בזמן אמת ורואה אותם בו זמנית. זה מה שסיגמא מאפשרת. לכולנו יש כיום ארכיטקטורת אצווה ותמונת ארגונית. אנו מסתכלים בערכת BI וערימת ניצול וארכיטקטורת למבה הוסיפה. כשכבת המהירות או הצורך והלמבה עוסקת במיזוג שתי התובנות הללו ולראות זאת בצורה משולבת, בצורה עשירה המשלבת את שתי התובנות.

יש פרדיגמה אחרת בשם ארכיטקטורת קאפה שמוצעת במקום בו ההשערה היא ששכבת המהירות היא מנגנון הקלט היחיד שהולך להתקיים בטווח הארוך יותר. הכל יעבור דרך שכבת המהירות הזו. אפילו לא יהיה מנגנון ETL לא מקוון. כל ETL יקרה. טיהור, ניקוי נתונים, ETL איכותי - כל זה יקרה על הכבל, כי קחו בחשבון שכל הנתונים נולדו בזמן אמת. בשלב מסוים זה היה זמן אמיתי. התרגלנו כל כך לשים את זה על אגמים, על נהרות ואוקיאנוסים ואז עושים את זה בניתוח סטטי ששכחנו שהנתונים נולדו בשלב מסוים בזמן אמת.כל הנתונים נולדים למעשה כאירוע בזמן אמת שהתרחש בנקודת הזמן ורוב הנתונים כיום על האגם רק הועלו על בסיס הנתונים לניתוח מאוחר יותר וכעת יש לנו את היתרון בארכיטקטורת למבה וקאפה של למעשה לראות אותו, לנתח אותו, לעבד אותו מראש ולהגיב אליו כשהוא מגיע. זה מה שמאפשר טכנולוגיות אלה. כשאתה מסתכל על זה כתמונה כוללת, זה נראה כמו משהו כמו איפה שיש Hadoop בפנים, יש MPPs ומחסני נתונים שכבר יש לך.

הסברנו את זה כי חשוב לא רק לדבר על טכנולוגיות חדשות באי. הם צריכים להשתלב. הם חייבים להיות הגיוניים בהתנהלות הארגונית הנוכחית, וכספקי פתרונות המשרתים ארגונים, אנו רגישים מאוד לכך. אנו עוזרים לארגונים לשלב את כל העניין. ישנם מקורות נתונים בצד השמאלי הנכנסים לשכבות מחלקת הדאופ וגם למחסני הנתונים, כמו גם לשכבה בזמן אמת למעלה וכל אחד מהגורמים הללו הם מחשבי מלאי כפי שניתן לראות ושכבת צריכת הנתונים נמצאת בצד ימין צד. יש מאמץ תמידי להעביר את מרבית הציות, הממשל, האבטחה, ניהול מחזור החיים וכו ', הזמינים כיום - כולם הועברו לטכנולוגיה חדשה זו.

אחד הדברים שזרם אנליטיקס מנסה לעשות, אם אתה מסתכל על הנוף כיום, יש המון דברים שקורים בנוף הטכנולוגיה הזורמת ומבחינת לקוח ארגוני, יש כל כך הרבה דברים להבין. יש כל כך הרבה מה להתעדכן. ישנם מנגנוני איסוף נתונים בצד שמאל - NiFi, Logstash, Flume, Sqoop. ברור שהעליתי כתב ויתור שאומר שזה לא ממצה. נכנס לתורים ואז נכנס למנועי הזרימה בקוד הפתוח - סטורם, ספארק סטרימינג, סמזה, פלינק, איפקס, הרון. הרון הוא כנראה עדיין לא קוד פתוח. אני לא בטוח אם זה, מ-. מנועי סטרימינג אלה מובילים או תומכים במרכיב יישומי אנליטי בהתקנה, כגון עיבוד אירועים מורכב, למידת מכונה, ניתוח חזוי, מודול התראה, הזרמת ETL, מסנני פעולות סטטיסטיות העשרה. זה כל מה שאנחנו מכנים כעת מפעילים. הסט של אותם מפעילים כשהם מחוברים יחדיו, יכול להיות שגם מנהג מסוים יסתיים במידה רבה במידת הצורך, ויהפוך ליישום סטרימינג הפועל במנוע סטרימינג.

כחלק מאותה שרשרת רכיבים, עליך גם לאחסן את האינדקס ולאינדקס אותם למסד הנתונים האהוב עליך, לאינדקס המועדף עליך. יתכן שתצטרך להפיץ מטמון ושוב זה מוביל לשכבת הדמיית הנתונים בצד ימין בחלק העליון למוצרים מסחריים או למוצרי קוד פתוח, אך בסופו של דבר אתה זקוק למוצר מסוג כלשהו כדי להמחיש נתונים אלה בזמן אמת. כמו כן, אתה צריך לפעמים להבין יישומים אחרים. כולנו ראינו שהערכים הנגזרים רק מהפעולה שאתה מבצע על התובנה, שפעולה הולכת להיות טריגר מערימה אנליטית לערימת אפליקציות אחרת שאולי שינתה שזה משהו בצד ה- IVR או מפעילה מוקד טלפוני. שיחה יוצאת או משהו כזה. עלינו לשלב מערכות אלה ומנגנון כלשהו עבור אשכול הסטרימינג שלך כדי להפעיל יישומים אחרים של ing ing נתונים במורד הזרם.

זו הערימה הכוללת מהמעבר משמאל לימין. אז יש לך את שכבות השירות, את הניטור הבינוני, את שכבת השירות הכללי של האבטחה וכו '. באים לאילו מוצרים יש בחלל הארגוני שלקוחות רואים כמו הפצות של Hadoop שכולם זרמו כמו שאמרתי ויש מסחרי או יחיד פתרונות תומכים שכמובן נמצאים אצל המתחרים שלנו. יש בנוף עוד רבים שאולי לא הזכרנו כאן.

מה שאתה רואה שם הוא באופן נרחב שמשתמש ארגוני רואה. נוף טכנולוגי מורכב ומתפתח במהירות לעיבוד זרמים, כפי שניתן לראות. עלינו לפשט את הבחירה ואת חוויית המשתמש שלהם. מה שאנחנו חושבים שארגונים באמת צריכים זה ההפשטה הפונקציונלית של כל זה בממשק חד פעמי, ממשק קל לשימוש שמאגד את כל הטכנולוגיות ההן שהופכות את זה ממש פשוט לשימוש ואינו חושף את כל החלקים הנעים ובעיות ההשפלה וסוגיות הביצועים וסוגיות תחזוקת מחזור החיים של הארגון.

הפשטת הפונקציונליות היא אחת. החלק השני הוא הפשטת מנוע הזרם. מנועי הסטרימינג ותחומי הקוד הפתוח מופיעים אחת לשלושה, ארבעה או שישה חודשים. זה היה סטורם הרבה זמן. סמזה עלה ועכשיו זה ניצוץ הניצוצות. פלינק מרים את ראשו ומתחיל לקבל תשומת לב. אפילו מפת הדרכים של סטרימינג ניצוץ, הם עושים דרך לשימוש פוטנציאלי במנוע אחר לעיבוד אירועים טהור מכיוון שהם גם מבינים ש- Spark תוכנן לאצווה והם עושים דרך בחזון האדריכלות שלהם ובמפת הדרכים שלהם לפוטנציאל שיהיה להם אחרת מנוע לעיבוד זרמים בנוסף לתבנית המיקרו אצווה הנוכחית בסטרימינג ניצוץ.

זו מציאות שאתה צריך להתמודד איתה שתהיה הרבה התפתחות. אתה באמת צריך להגן על עצמך מפני שטף הטכנולוגיה ההוא. מכיוון שברירת מחדל, תצטרך לבחור אחד ואז לחיות איתו, וזה לא האופטימלי. אם אתה מסתכל על זה בדרך אחרת, אתה נלחם בין, "בסדר, עלי לקנות פלטפורמה קניינית שאין בה נעילה, אין מנוף של קוד פתוח, יכול להיות בעלות גבוהה מאוד ומוגבלת גמישות מול כל מחסומי הקוד הפתוח האלה שבהם היית צריך לעשות זאת בעצמך. "שוב, כמו שאמרתי, זה הרבה עלויות ועיכוב בהגעה לשוק. מה שאנחנו אומרים הוא StreamAnalytix הוא דוגמא אחת לפלטפורמה נהדרת המאגדת את מחלקת הארגון, ספק אמין, יחיד, שירות מקצועי הנתמך - כל מה שאתה באמת צריך כעסק וכוח הגמישות של המערכת האקולוגית בקוד הפתוח. שם פלטפורמה יחידה מפגישה אותם - Ingest, CEP, אנליטיקה, ויזואליזציה וכל זה.

זה גם עושה דבר מאוד מאוד ייחודי, המאגד הרבה מנועי טכנולוגיה שונים תחת חווית משתמש אחת יחידה. אנחנו באמת חושבים שהעתיד הוא על היכולת להשתמש במנועי סטרימינג מרובים מכיוון שמקרי שימוש שונים באמת דורשים ארכיטקטורות סטרימינג שונות. כמו שרובין אמר, יש קשת שלמה של איחור. אם אתה באמת מדבר על רמת חביון של אלפיות השנייה, עשרות ואף מאות אלפיות השנייה, אתה באמת זקוק לסערה ברגע זה עד שיהיה עוד מוצר בוגר לא פחות לפחות זמן או קלות זמן או מקלים ואחיות של אולי תוך מספר שניות, שלוש, ארבע, חמש שניות, טווח זה, ואז אתה יכול להשתמש בסטרימינג ניצוץ. פוטנציאלית, ישנם מנועים אחרים שיכולים לעשות את שניהם. בשורה התחתונה, בארגון גדול יש מקרי שימוש מכל הסוגים. אתה באמת רוצה שהגישה והכלליות יהיו עם מנועים מרובים עם חווית משתמש אחת וזה מה שאנחנו מנסים לבנות ב StreamAnalytix.

רק מבט מהיר על האדריכלות. אנו הולכים לעבוד על זה מעט, אך למעשה, ישנם מקורות נתונים מרובים שנמצאים בצד שמאל - קפקא, RabbitMQ, Kinesis, ActiveMQ, כל אותם מקורות נתונים ותורים שנכנסים לפלטפורמת עיבוד הזרם שבה אתה להגיע להרכבת אפליקציה, שם אתה מקבל גרירה ושחרור ממפעילים כמו תעודות סל, כל הדברים עליהם דיברנו. מתחת יש מספר מנועים. נכון לעכשיו, יש לנו סטרימינג וסימני ניצוץ כפלטפורמת הזרימה היחידה והראשונה בתעשיות שיש לה תמיכה מרובה במנועים. זהו גמישות ייחודית מאוד שאנו מציעים מלבד כל הגמישות האחרת של לוחות מחוונים בזמן אמת. מוטבע מטח מוטבע. יש לנו את השילוב החלק עם אינדקס Hadoop ו- NoSQL, אינדקסים Solr ו- Apache. אתה יכול לנחות למסד הנתונים המועדף עליך ולא משנה מה זה ולבנות יישומים ממש מהר ולהגיע לשוק ממש מהר ולהישאר הוכחה עתידית. זה כל המנטרה שלנו ב StreamAnalytix.

עם זה, אני חושב שאסיים את דברי. אל תהסס לבוא אלינו לשאלות נוספות. אני רוצה לשמור על הרצפה פתוחה לשאלות ותשובות ודיון בפאנלים.

רבקה, אליך.

רבקה יוז'ויאק: נהדר, בסדר. תודה רבה לך. דז ורובין, יש לך כמה שאלות לפני שאנחנו מוסרים את זה לקהל שאלות ותשובות?

רובין בלור: יש לי שאלה. אני אחזיר את האוזניות כדי שתוכל לשמוע אותי. אחד הדברים המעניינים, אם הייתם יכולים לומר לי זאת בחביבות, הרבה מה שראיתי במרחב הקוד הפתוח נראה מה שהייתי אומר לי בוסר. במובן מסוים כן תוכלו לעשות דברים שונים. אבל נראה שאנחנו מסתכלים על תוכנה במהדורה הראשונה או השנייה שהיא במציאות ופשוט תהיתי עם החוויה שלך כארגון, כמה אתה רואה את חוסר הבגרות של סביבת Hadoop כבעייתי או שזה משהו שלא עושה לא ליצור יותר מדי בעיות?

אנאנד ונווגופל: זו מציאות, רובין. אתה צודק לחלוטין. חוסר הבגרות הוא לאו דווקא בתחום היציבות והפונקציות התפקודיות בלבד, אלא אולי גם במקרים מסוימים. אך חוסר הבגרות הוא יותר במוכנות השימוש. מוצרי הקוד הפתוח עם יציאתם ואפילו כפי שהם מוצעים על ידי הפצת Hadoop, הם כולם הרבה מוצרים בעלי יכולות שונות, רכיבים פשוט טפחו זה לזה. הם אינם פועלים יחד בצורה חלקה ואינם מיועדים לחוויית משתמש חלקה שמתקבלת כמו בנק אוף אמריקה או ורייזון או AT&T, כדי לפרוס יישום ניתוח זרימה תוך מספר שבועות. הם לא מיועדים לזה בוודאות. זו הסיבה שאנחנו נכנסים. אנחנו מפגישים את זה ומקלים על זה באמת קל להבין, לפרוס וכו '.

הבגרות התפקודית שלו, אני חושב במידה רבה, היא שם. ארגונים גדולים רבים משתמשים למשל בסערה כיום. ארגונים גדולים רבים משחקים היום עם Spark Streaming. לכל אחד מהמנועים הללו יש את המגבלות שלהם במה שהם יכולים לעשות וזו הסיבה שחשוב לדעת מה אתה יכול ומה אתה לא יכול לעשות עם כל מנוע ואין טעם לשבור את הראש על הקיר ולהגיד "תראה אני בחרתי ב- Spark Streaming וזה לא עובד לי בענף הספציפי הזה. "זה לא הולך לעבוד. ישנם מקרי שימוש בהם הזרמת ניצוץ תהיה האפשרות הטובה ביותר וישנם מקרי שימוש בהם הזרמת ניצוץ עשויה לא לעבוד כלל עבורך. זו הסיבה שאתה באמת צריך מספר אפשרויות.

רובין בלור: ובכן אתה צריך שיהיו צוותים מומחים על סיפון רוב הדברים. כלומר אני אפילו לא יודע איפה להתחיל עם זה. פעולה משותפת הגיונית של אנשים מיומנים. מעניין אותי איך מעורבות האירוסים ואיך זה קורה. האם זה בגלל שחברה מסוימת היא אחרי יישום ספציפי או שאתה רואה סוג של מה שהייתי מכנה אימוץ אסטרטגי איפה שהם רוצים פלטפורמה שלמה שתעשה הרבה דברים.

אנאנד ונווגופל: אנו רואים דוגמאות לשניהם, רובין. כמה מעשרת המותגים המובילים שכולם מכירים הולכים על זה בצורה אסטרטגית מאוד. הם יודעים שעומדים לרשותם מגוון מקרי שימוש ולכן הם בוחנים פלטפורמות שיתאימו לצורך הזה, שהם מגוון מקרי שימוש שונים באופן רב דיירים שיש לפרוס בארגון. ישנם סיפורי מקרה לשימוש חד-פעמי שמתחילים גם כן. ישנו מקרה שימוש מסוים של פיקוח על פעילויות עסקיות בחברת משכנתאות שאנחנו עובדים עליהן לא הייתם מדמיינים כמקרה לשימוש ראשון, אך זהו הפיתרון או המקרה לשימוש שהם פיתחו ואז חיברנו את הנקודות לזרם . אמרנו, "אתה יודע מה? זה מקרה נהדר לזרמת ניתוחים וככה נוכל ליישם את זה. "כך זה התחיל. ואז, בתהליך זה, הם מתחנכים ואומרים, "הו וואו, אם אנחנו יכולים לעשות את זה ואם זו פלטפורמה גנרית, נוכל להפריד את היישום, לשכבה לפלטפורמה ולבנות הרבה יישומים שונים על זה פלטפורמה. "

רובין בלור: דז, יש לך שאלות?

אנאנד ונווגופל: דז ככל הנראה במצב אילם.

דז בלנשפילד: התנצלות, אילם. פשוט ניהלתי בעצמי שיחה טובה. פשוט עוקב אחר התצפית המקורית על רובין, אתה צודק לחלוטין. אני חושב שהאתגר כעת הוא שלארגונים יש מערכת אקולוגית וסביבה תרבותית והתנהגותית שבה תוכנה בחינם וקוד פתוח היא דבר שידוע להם והם מסוגלים להשתמש בכלים כמו פיירפוקס כדפדפן והיה לה הגון חיים עד שהוא הופך יציב ובטוח. אבל כמה מהפלטפורמות הגדולות מאוד בהן הם משתמשים הן פלטפורמות קנייניות ברמה העסקית. לכן אימוץ מה שאני מחשיב פלטפורמות קוד פתוח אינו תמיד דבר שקל להם להתמודד תרבותית או רגשית. ראיתי את זה רק בגלל אימוץ תוכניות קטנות שהיו פרויקטים מקומיים פשוט לשחק עם נתונים גדולים ואנליטיקה כמושג בסיסי. אני חושב שאחד האתגרים המרכזיים, אני בטוח שראית אותם עכשיו ברחבי הארגונים, הוא הרצון שלהם להשיג את התוצאה אך יחד עם זאת כשהרגל האחת שלהם תקועה בפחית הישנה, ​​שם הם יכולים פשוט לקנות את זה "הכנס מותג גדול" אורקל, יבמ ומיקרוסופט. המותגים החדשים והידועים הללו מגיעים עם פלטפורמות Hadoop ואף יותר מכך. מותגים מרגשים נוספים מגיעים דרכם עם טכנולוגיה מהשורה הראשונה כמו זרם.

מהן סוגי השיחות שניהלת או סוגרים כאלה? אני יודע שיש לנו נוכחות מסיבית הבוקר ודבר אחד שאני בטוח שעומד בראשם של כולם הוא "איך אני חותך את כל השכבה המאתגרת הזו מהלוח למטה לרמת הניהול, הו הקוד הפתוח מדי והקצה המדמם מדי? "איך עוברים שיחות עם לקוחות ואיך חותכים עד לאותה נקודה שבה אתה מעביר את אותם סוגים של פחדים כדי לשקול לאמץ את התוכן של StreamAnalytix?

אנאנד ונווגופל: למעשה, אנו מוצאים את זה די קל למכור את הצעת הערך שלנו מכיוון שלקוחות מתקדמים באופן טבעי לעבר קוד פתוח כאופציה מועדפת. הם לא סתם מוותרים על עצמם ואומרים, "אוקיי, אני עכשיו הולך לקוד פתוח." הם עוברים למעשה הערכה מאוד מחוייבת של מוצר מרכזי, נניח שמדובר ב- IBM או במוצר טיפוסי, כי יש להם מערכות יחסים בין ספקים אלה. הם לא יתייחסו אלינו או אל מנוע הקוד הפתוח כנגד אותו מוצר. הם יעברו שישה עד שמונה עד שתים עשרה שבועות של הערכה. הם ישכנעו את עצמם שיש כאן מידה של ביצועים ויציבות שאני רוצה ואז הם מחליטים ואומרים, "וואו, אתה יודע מה, אני באמת יכול לעשות את זה."

היום לדוגמא, יש לנו טלקו עיקרי אחד שיש בו זרם אנליטי הפועל בייצור על גבי חלק גדול מהערמה והם מעריכים זאת מול ספק מוכר מאוד מאוד גדול מאוד והם היו משוכנעים רק לאחר שהוכחנו את כולם הביצועים, היציבות וכל הדברים האלה. הם לא לוקחים את זה כמובן מאליו. הם גילו כי קוד פתוח הוא מוכשר באמצעות הערכותיהם והם מבינים שבמקרה הגרוע, "אולי יש שני מקרים להשתמש בהם אולי אני לא יכול לעשות, אבל רוב מקרי השימוש בהאצה של העסקים שלי כיום הם אפשריים להפליא עם הקוד הפתוח ואנחנו מאפשרים להשתמש בו. אז זו הנקודה המתוקה הגדולה שם. הם רצו את הקוד הפתוח. הם באמת מחפשים לצאת ממצב הנעילה של הספק אליו הם היו רגילים הרבה שנים רבות. ואז הנה אנו באים ואומרים, "אתה יודע מה, אנו הופכים את הקוד הפתוח להרבה, הרבה יותר קל וידידותי לשימוש עבורך."

דז בלנשפילד: אני חושב שהאתגר הנוסף שהארגונים מוצאים הוא כשהם מכניסים את המכהן המסורתי שהם לרוב דור מאחורי חלק מהקצה המדמם של הדברים המרגשים עליהם אנו מדברים כאן ואני לא מתכוון לזה כקליל שלילי. רק שהמציאות היא שיש להם דור ומסע לעבור כדי לשחרר את מה שהם מחשיבים פלטפורמות יציבות לעבור, פיתוח ישן-בית ספר ומחזורי שילוב UATN ובדיקות ותיעוד, ושיווק ומכירות. בעוד שבסוג שאתה עושה, אני חושב שהדבר שאני מעוניין לחשוב עליו הוא שהסתכלות על כמה מהפרסומים האחרונים שלך אמש שעושים סוג של עבודות מחקר, יש לך את התמהיל הזה איפה שיש לך את יכולת מבחינת ייעוץ מראש וביצוע אך יש לך גם ערימה שתוכל לגלגל בה. לדעתי זה המקום בו המועמדים הולכים להיאבק זמן רב. ראינו רבים מהם כמו שעשיתי בשוק. הם לרוב נמצאים במה שאני מכנה צמתים לתפוסים ואילו ממה שאתה אומר לנו כשאתה בחוץ עושה את השיחות האלה ואתה יוצא לפועל.

האם אתה יכול לתת לנו כמה דוגמאות לכמה מאנכי הגבול שראית אימוץ? לדוגמה, יש באמת סביבה נישה כמו מדע טילים והצבת לוויינים בחלל ואיסוף נתונים ממאדים. יש רק קומץ אנשים שעושים זאת על פני כדור הארץ. אבל יש אנכיים גדולים כמו בריאות, למשל בתחום האווירונאוטיקה, למשלוח ולוגיסטיקה, בייצור והנדסה, מהן כמה דוגמאות לסקטורים גדולים יותר ורחבים יותר מהתעשייה שהיית עד כה שראית ממש טוב אימוץ ב?

אנאנד ונווגופל: Telco הוא דוגמה גדולה.

אני רק הולך לתקן את השקופיות שלי כאן. האם אתה יכול לראות את השקופית כאן, מקרה 4?

זהו מקרה של טלקו גדול שנקלט בנתוני set-top box ועושה איתו דברים מרובים. הם בוחנים מה הלקוחות באמת עושים בזמן אמת. הם בוחנים היכן מתרחשות שגיאות בזמן אמת בתיבות set-top. הם מנסים ליידע את מוקד הטלפון על כך, אם לקוח זה מתקשר ברגע זה, מידע קישור הקודים מתיבת ה- set-top של הלקוח, מידע על כרטיסי תחזוקה מתאם במהירות בין אם לתיבת ה- set-top של לקוח מסוים יש בעיה או אפילו לא לפני כן הלקוח מדבר מילה. כל חברת כבלים, כל טלקו מרכזי מנסה לעשות זאת. הם בולטים את נתוני ה- set-top box, מבצעים ניתוחים בזמן אמת, מבצעים ניתוחים של קמפיינים בכדי שיוכלו להציב את המודעות שלהם. יש מקרה שימוש אדיר.

כאמור, יש חברת המשכנתאות הזו שהיא שוב תבנית גנרית בה מערכות גדולות מעורבות בעיבוד נתונים ממנה. הנתונים הזורמים דרך מערכת A למערכת B למערכת C ואלו עסקים מוסדרים שהכל צריך להיות עקביים.לעיתים קרובות, מערכות אינן מסונכרנות זו עם זו, מערכת אחת אומרת "אני מעבדת מאה הלוואות בשווי כולל של 10 מיליון דולר." המערכת אומרת "לא, אני מעבדת 110 הלוואות של כמה אחרות מספר אחר. "הם צריכים לפתור את זה ממש מהר מכיוון שהם למעשה מעבדים את אותם נתונים ועושים פרשנויות שונות.

בין אם מדובר בכרטיס אשראי, עיבוד הלוואות, הליך עסקי ובין אם מדובר בתהליך עסקי משכנתא או משהו אחר, אנו עוזרים להם לבצע התאמה והתאמה בזמן אמת כדי להבטיח שתהליכים עסקיים אלו יישארו בסינכרון. זהו מקרה שימוש מעניין נוסף. יש קבלן ממשל אמריקני גדול הבוחן את תנועת ה- DNS כדי לבצע איתור חריגות. יש מודל אימונים לא מקוון שהם בנו והם מבצעים את הניקוד על בסיס מודל זה על תנועה בזמן אמת. כמה מאותם מקרי שימוש מעניינים. יש חברת תעופה גדולה שמסתכלת על תורי אבטחה והם מנסים לתת לך את המידע הזה, "היי, זה השער שלך למטוס שלך לטיסה שלך. התור של TSA היום הוא כ 45 דקות לעומת שעתיים לעומת משהו אחר. "אתה מקבל את העדכון הזה מראש. הם עדיין עובדים על זה. מקרה מעניין של IoT מעניין אך מקרה נהדר של הזרמת ניתוחים לכיוון חווית הלקוח.

רבקה יוז'ויאק: זו רבקה. כשאתה נושא מקרי שימוש, יש שאלה נהדרת מחבר הקהל שתהה "האם מחקרי המקרה האלה, האם יוזמות אלה מונעות מהצד האנליטי של מערכות המידע בבית או שמא יותר מונעות מהן העסק שיש לו שאלות או צרכים ספציפיים בראש? "

אנאנד ונווגופל: אני חושב שאנחנו רואים בערך 60 אחוז בערך, 50 אחוז עד 55 אחוז, בעיקר יוזמות טכנולוגיות מאוד נלהבות, נלהבות שבמקרה מכירים, שבמקרה הם די מפותחים ומבינים דרישות עסקיות מסוימות ויש להם כנראה ספונסר אחד שהם זיהו אבל אלה הם צוותי טכנולוגיה שמתכוננים להתקפה של מקרים של שימוש עסקי שעוברים ואז ברגע שהם בונים את היכולת, הם יודעים שהם יכולים לעשות זאת ואז הם עוברים לעסק ומוכרים זאת באגרסיביות. ב- 30% עד 40 אחוז מהמקרים, אנו רואים שלעסק יש כבר מקרה שימוש מסוים שמתחנן ליכולת ניתוח זרימה.

רבקה יוז'ויאק: זה הגיוני. יש לי שאלה קצת יותר טכנית מחבר קהל. הוא תוהה אם מערכות אלו תומכות בזרמי נתונים מובנים וגם ללא מובנים, כמו משקעים של זרמים או פוסטים בזמן אמת, או האם צריך לסנן אותה בתחילה?

אנאנד ונווגופל: המוצרים והטכנולוגיות עליהם אנו מדברים תומכים באופן מיידי הן בנתונים מובנים ובלתי מובנים. הם יכולים להיות מוגדרים. לכל הנתונים יש מבנה כלשהו בין אם זה או XML או משהו בכלל. יש מבנה כלשהו במונחים שיש הזנת חותמת זמן. יש אולי כתם נוסף שצריך לנתח כדי שתוכל להזרים מנתחים לזרם כדי לנתח את מבני הנתונים. אם זה מובנה, אנחנו פשוט אומרים למערכת, "אוקיי, אם יש ערכים מופרדים בפסיקים והראשון הוא מחרוזת, השני הוא תאריך." אז אנחנו יכולים להזריק את ניתוח האינטליגנציה לשכבות המסך-up לעבד בקלות נתונים מובנים וגם לא מובנים.

רבקה יוז'ויאק: יש לי שאלה נוספת מהקהל. אני יודע שעברנו קצת מעבר לשעה. משתתף זה רוצה לדעת, נראה כי יישומי סטרימינג בזמן אמת עשויים לפתח גם צורך וגם הזדמנות לשילוב בחזרה במערכות עסקאות, מערכות למניעת הונאה שהם מביאים למשל. במקרה כזה, האם יש לשנות את מערכות העסקאות כדי להתאים את זה?

אנאנד ונווגופל: זה מיזוג, נכון? זה מיזוג של מערכות עסקאות. הם הופכים לפעמים למקור הנתונים בו אנו מנתחים עסקאות בזמן אמת ובמקרים רבים בהם נניח שיש זרימת אפליקציות וכאן אני מנסה להציג אתר בדיקת נתונים סטטי ואז במקרה שלנו בו זורם כלשהו ואתה מחפש מסד נתונים סטטי כמו HBase או RDBMS כדי להעשיר את נתוני הזרימה ואת הנתונים הסטטיים יחד כדי לקבל החלטה או תובנה אנליטית.

יש עוד מגמה גדולה בתעשייה שאנו רואים גם - ההתכנסות של OLAP ו- OLTP - וזו הסיבה שיש לך מסדי נתונים כמו קודו ומאגרי זיכרון התומכים בעסקאות וגם בעיבוד אנליטי בו זמנית. שכבת עיבוד הזרם תהיה לגמרי בזיכרון ואנחנו נבחן או מתממשק לכמה ממסדי הנתונים העסקיים הללו.

רבקה יוז'ויאק: עומס עבודה מעורב היה אחד המכשולים האחרונים שקפצו, אני חושב. דז, רובין, לשניכם יש עוד שאלות?

דז בלנשפילד: אני הולך לקפוץ לשאלה אחת אחרונה ולהתלבש עם זה אם לא אכפת לך. האתגר הראשון שהארגונים איתם התמודדתי בעשור האחרון בערך מוביל לאתגר המרגש הזה של ניתוח זרמים, הדבר הראשון שהם נוטים להשיב על השולחן כשהתחלנו את השיחה סביב האתגר כולו הוא איפה עושים אנו מקבלים את מיומנות? כיצד ניתן להכשיר מחדש את מערך המיומנות וכיצד אנו משיגים יכולת זו באופן פנימי? לאחר שאימפוז נכנס ונכנס להחזיק אותנו במהלך המסע ואז ליישם כצעד ראשון נהדר וזה הגיוני מאוד לעשות זאת.

אבל עבור ארגון בינוני עד גדול, מהם סוגי הדברים שאתה רואה כרגע כדי להתכונן לזה, לבנות את היכולת הזו באופן פנימי, להשיג כל דבר רק מאוצר מילים בסיסי סביבו ואיזה סוג הם יכולים לעשות עם ארגון סביב המעבר למסגרת מסוג זה ושיגור מחדש את הצוות הטכני הקיים שלהם ממחלקת ה- IT מהמנכ"ל כדי שיוכלו לנהל את זה בעצמם ברגע שתבנה ותיישם אותה? רק בקצרה, איזה סוג של אתגרים ואיך הם פותרים אותם, הלקוחות שאתה מתמודד איתם, סוגי האתגרים שהם מצאו וכיצד הם עוברים על פיתרון החוויה והידע ההתחברות ההוא והכניסה מחדש כדי להתכונן לזה ולהיות מסוגלים להסתובב באופן מבצעי?

אנאנד ונווגופל: לעיתים קרובות, קבוצת האנשים הקטנה שמנסה לצאת לקנות פלטפורמת ניתוח זרימה היא כבר חכמה למדי מכיוון שהם מודעים לחברת Hadoop, הם כבר השיגו את כישורי Hadoop MapReduce שלהם, ומכיוון שהם עובדים בצמוד עם ספק ההפצה של Hadoop, הם מוכרים. הכל מקבל קפקא, למשל. הם עושים עם זה משהו וסטרימינג או סטרימינג או ניצוץ הם בתחום הקוד הפתוח שלהם. בהחלט, אנשים מכירים זאת או בונים כישורים סביבו. אבל זה מתחיל עם קבוצה קטנה של אנשים שהם מספיק מיומנים וחכמים מספיק. הם משתתפים בכנסים. הם לומדים וכי הם שואלים שאלות אינטליגנטיות לספקים ובמקרים מסוימים הם לומדים עם הספקים. כאשר הספקים באים ומציגים בפגישה הראשונה, הם אולי לא יודעים דברים אבל הם קוראים יחד ואז הם מתחילים לשחק עם זה.

אותה קבוצה קטנה של אנשים היא הגרעין ואז הוא מתחיל לצמוח וכולם מבינים כעת שמקרה השימוש הראשון בעסקים הופעל. שם מתחיל גל וראינו בפסגת הספארק בשבוע שעבר היכן שהיה מפעל גדול כמו קפיטל 1 בחוץ ומלוא עוצמתו. הם בחרו בספארק. הם דיברו על זה. הם מחנכים הרבה מאנשיהם בספארק מכיוון שהם תורמים לכך גם במקרים רבים כמשתמש. אנו רואים אותו דבר עם הרבה מאוד הרבה ארגונים גדולים. זה מתחיל עם כמה סדרות קטנות של אנשים חכמים מאוד ואז זה מתחיל גל של השכלה כוללת ואנשים יודעים שפעם סמנכ"ל בכיר או שפעם מנהל בכיר נמצא בשורה והם רוצים להמר על הדבר הזה והמילה מסתובבת ו כולם מתחילים לאסוף את הכישורים האלה.

דז בלנשפילד: אני בטוח שיש לך זמן פנטסטי לבנות את האלופים האלה.

אנאנד ונווגופל: כן. אנו מבצעים חינוך רב כאשר אנו עובדים עם האלופים הראשונים ואנו עורכים קורסים והרבה, רבים עבור הלקוחות הגדולים שלנו חזרנו והיה לנו גלי וגלים של אימונים להביא רבים מהמשתמשים לשלב השימוש במיינסטרים במיוחד באתר Hadoop MapReduce. גילינו שבחברת כרטיסי אשראי גדולה שהיא לקוח משלנו, העברנו לפחות חמש עד שמונה תוכניות הכשרה שונות. יש לנו גם מהדורות קהילתיות בחינם של כל המוצרים הללו כולל שלנו, ארגזי חול שאנשים יכולים להוריד, להתרגל ולחנך את עצמם גם ככה.

דז בלנשפילד: זה כל מה שיש לי הבוקר בשבילך. תודה רבה. אני מעניין להפליא לראות את סוגי הדגמים ואת המקרים להשתמש שיש לך עבורנו היום. תודה.

אנאנד ונווגופל: גדול. תודה רבה אנשים

רבקה יוז'ויאק: תודה לכולם שהצטרפו אלינו לשידור האינטרנט הזה של טכנולוגיות חמות. היה זה מרתק לשמוע מדז בלנשפילד, ד"ר רובין בלור ומטכנולוגיות אימפטוס, אנאנד ונווגופל. תודה מגישים. תודה לרמקולים ותודה לקהל. יש לנו עוד טכנולוגיות חמות בחודש הבא, אז חפש את זה. אתה תמיד יכול למצוא את התוכן שלנו בארכיון באתר Insideanalysis.com. הכנסנו המון תוכן ל- SlideShare וכמה קטעים מעניינים גם ב- YouTube.

זה הכל אנשים. שוב תודה ותהיה יום טוב. ביי ביי.