תוֹכֶן
- אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
- למטה לעסקים
- כיצד קפקא תשנה את ניהול הנתונים
להסיר:
קפקא תעשה למערכות מידע את מה ש- LinkedIn עושה לאנשי עסקים: לשמור אותם מחוברים על פני טווחים רחבים.
על ידי האמונה בלהט במשהו שעדיין לא קיים, אנו יוצרים אותו. לא קיים כל מה שלא רצינו מספיק.~ פרנץ קפקא
ההכרח נותרה אם ההמצאה. כפי שאמר לי פעם יועץ חריף, "אם יש משהו שצריך לקרות בארגון, זה קורה." הנקודה שלו הייתה כפולה: 1) יש אנשים שתמיד ימצאו דרך לעשות דברים; וכן, 2) ההנהלה הבכירה, או אפילו ההנהלה הבינונית, עשויים להיות מודעים לאופן שבו הדברים נעשים בממסד שלהם.
אם נרחיב את המטאפורה הזו לכל היקום של ניהול נתונים, נוכל לראות טרנספורמציה שמתרחשת ברגע זה. הלחץ הגולמי של נתונים גדולים, בשילוב עם ציר הנתונים הזורמים, יוצר לחץ כה גדול עד שמערכות מורשת מתפרקות בקצוות, אם לא קורסות לגמרי. עם זאת, ישנם אינספור אנשי מקצוע שעוסקים בעבודתם ברגע זה, אשר ברובם אינם מודעים למציאות זו.
לארגונים המנוהלים בנתונים יש מושב בשורה קדמית והם מונעים במובנים רבים את השינוי הזה. קחו בחשבון כיצד תחנות כוח כמו יאהו !, ולינקדאין הפכו את תעשיית התוכנה הארגונית לצדדים עם תרומותיהם הגדולות למקור פתוח: Hadoop, קסנדרה ועכשיו קפקא, שכולם רועים על ידי קרן אפאצ'י, עצמה שחקנית מרכזית במטמורפוזה זו. .
מה התוצאה של כל השינוי הזה? מה שהיה עד היום הוא סיווג מחדש וקטגוריה מחדש של ניהול הנתונים עצמם. זה לא אומר שמערכות מדור קודם ישולקו ויוחלפו. כל ותיק בענף יגיד לך כי פירוק הסיטונאי של מערכות מורשת מתרחש באותה תדירות שהקאבס של שיקגו זוכים בסדרת העולמות. זה אירוע נדיר, בלשון המעטה.
מה שקורה באמת זה שמבנה-על נבנה בכל מערכות העולם הישן. קחו למשל את האנלוגיה של כבישים מהירים בין עירוניים, העולים לעיתים קרובות מעל הערים והעיירות שהם משרתים, שנועדו לספק אנשים ומטען למרכזי אוכלוסייה אלה, ולספק מצוקה לכל אחד ולכל דבר שבתוכם. הם לא מחליפים כבישים קיימים עד כדי הגדלתם באלטרנטיבות במהירות גבוהה.
זה בדיוק מה שעושה אפאצ'ה קפקא: הוא מספק נתיבים במהירות גבוהה לתנועת נתונים בין מערכות מידע ובין אלה. כדי לעקוב אחר האנלוגיה של הכבישים, עדיין קיימות חברות רבות המשתמשות בתורים ליניאריים, או בתקן הישן של ETL (עומס-טרנספורמציה-עומס); אך למסלולי תנועה אלה יש מגבלות מהירות נמוכות, ויש הרבה מהמורות; יתר על כן, לעתים קרובות עלויות התחזוקה מופרזות; השילוט גרוע.
קפקא מציעה שיטה אלטרנטיבית למסירת נתונים, כזו הינה בזמן אמת בהחלט, ניתן להרחבה ועמידה. המשמעות היא שקאפקה הוא לא רק רכב לתנועת נתונים, אלא גם משכפל נתונים; ובמידה מסוימת, טכנולוגיית מסד נתונים מבוזרת. עלינו להקפיד לקחת את האנלוגיה רחוק מדי, מכיוון שיש מאפיינים של מסדי נתונים תואמי חומצה שקאפקה עדיין לא משחק. ובכל זאת, השינוי הוא אמיתי.
אלה חדשות נהדרות לנוף המידע, מכיוון שכעת נתונים חופשיים לנוע סביב המדינה - והעולם, לצורך העניין. מה שהיה פעם אילוץ כואב, כלומר פגיעה בחלונות אצווה בתהליכי ETL, מתפוגג כעת ככל שהערפל מפנה את מקומו לשמיים צלולים תחת בוהק של שמש חמה. כאשר העברת נתונים ממערכת למערכת אחרת הופכת לגבולה חלקה, עידן ההזדמנויות החדש עולה.
אין באגים, אין מתח - המדריך השלב אחר צעד שלך ליצירת תוכנה לשינוי חיים מבלי להרוס את חייך
אינך יכול לשפר את כישורי התכנות שלך כאשר לאף אחד לא אכפת מאיכות התוכנה.
בני אדם ככל הנראה ייצגו את החיכוך הרב ביותר בדרך לעתיד חדש. קשה להיפטר מהרגלים ישנים. נשיא CIO מתרגש מדי מביצוע שינויים סיטונאיים במערכות ארגוניות. אמר בכיר מנוסה בכיר בתפקיד: "התכונן להיות בודד." תוך שנה מאותה תגובה הוא היה יועץ. זה לא מסלול קל, מנסה לנהל את העולם המסורבל להפליא של נתונים ארגוניים.
החדשות הטובות הן שקאפקה מספקת כביש לעתיד. מכיוון שהוא משמש כאוטובוס בעל יכולות גבוהות ורב-פנים, הוא יוצר גשרים בין מערכות מדור קודם למקביליהם צופים פני עתיד. כך, ארגונים המאמצים הזדמנות חדשה זו בראש פתוח ותקציב מספיק יוכלו להיכנס לעולם החדש, מבלי להשאיר אחריו את הישן. זה עניין גדול מאוד.
למטה לעסקים
בעוד שאפצ'ה קפקא היא טכנולוגיה עם קוד פתוח, חופשית לכל אחד שניתן להוריד ולהשתמש בה, האנשים שיצרו תוכנה זו עבור לינקדאין, ניתקו יישות נפרדת בשם Confluent, המתמקדת בהקשחת ההצעה לשימוש ארגוני. בדומה לקלודרה, Hortonworks ו- MapR בנו את עסקיהן סביב פרויקט הקוד הפתוח של אפאצ'ה חאופ, כך קונפואלנט מבקש לייצר רווחים מקאפקה.
בראיון ל- InsideAnalysis שנערך לאחרונה, הסביר מנכ"ל Confluent ומייסד משותף ג'יי קרפס את מקורו בלינקדאין:
"ניסינו לפתור שם כמה בעיות שונות. האחת הייתה שיש לנו את כל מערכות הנתונים השונות האלה עם סוגים שונים של נתונים. היו לנו מסדי נתונים והיו לנו קבצי יומן והיו לנו ערכים לגבי שרתים והיה לנו משתמשים לוחצים על דברים. היה קשה מאוד להשיג את כל הנתונים האלה - ככל שהם נהיו גדולים - כוחם של הנתונים היה רק אם הייתם יכולים להשיג אותם ליישומים, או לעיבוד, או למערכות שהיו זקוקות להם. זו הייתה בעיה גדולה.
"הבעיה הנוספת שהייתה לנו הייתה שאימצנו את הדו"ף וזה היה דבר שהייתי מעורב בו. הייתה לנו פלטפורמת העיבוד הלא מקוון הפנטסטית הזו שיכולנו להגדיל ויכולנו להכניס את כל הנתונים שלנו. ל- LinkedIn כל הנתונים שלנו התרחשו באמת היה דור רציף של נתונים. תמיד היה חוסר ההתאמה הזה כשניסינו לבנות למעשה חלקים מרכזיים מהעסק מהנתונים שלנו: בין משהו שרץ פעם ביום, אולי בלילה, והניב תוצאות עד למחרת, וסוג זה של נתונים רציפים - זמני אינטראקציה קצרים - שהיית צריך להדביק אותם. רצינו להיות מסוגלים לעשות משהו שהיה בסביבה באקדמיה במשך זמן מה, אבל לא היה באמת דבר מיינסטרימי, שהוא יכולת התחבר לעיבוד זרמי נתונים כפי שנוצרו, ולא בזמן שהם ישבו. "
ובכן. זה בדיוק מה שקונפלנט מבקש לעשות עכשיו עם נתונים ארגוניים מכל הצורות והגדלים. ההזדמנות במשחק? שדה ירוק. למען האמת, בכל ההיסטוריה של תוכנות ארגוניות, אפשר לטעון שהשוק הניתן לטפל בטכנולוגיה זו בהחלט לוקח את העוגה. אין ארגון גדול אחד, ואפילו עסק קטן וכבד נתונים, שאינו יכול להפיק תועלת אדירה מהטכנולוגיה הזו.
זה נכון במיוחד בגלל ההיבט הנוירולוגי של טכנולוגיה זו; לא רק המוחות המעורבים, אלא האופי של מה שקפקא עושה למערכות מידע. מכיוון שניתן להשתמש בקאפקה לניהול תנועת נתונים בארגון, ניתן לראות בה יותר מסתם שוטר תנועה, אלא את מוח הפעולה עצמה. היו בשלבים הראשונים של אותו חזון, אך סמוך ובטוח, האמיתי שלו.
כיצד קפקא תשנה את ניהול הנתונים
כדי להבין כיצד קפקא תשנה את אופי ניהול הנתונים, רק תחשוב על הדרכים בהן לינקדאין שינתה את הרשתות. מציאת עמיתים הפכה להרבה יותר קלה; להישאר בקשר עם אנשים זה עכשיו צעד מהיר. קפקא תעשה למערכות מידע את מה שמקדמה לינקדאין לאנשי עסקים: לשמור אותם מחוברים בטווחים הרחבים ביותר של כדור הארץ הזה.
שיא קונפובלנט הוא סמלי של דבר שאנו מכנים "החדשנות החדשה", תנועה שמונעת על ידי ניתוק פיתוח תוכנה ומנטליות של מקור סגור, בהדרכת יוצרי טכנולוגיית קוד פתוח, המונעת על ידי כמויות גדולות של הון סיכון, המונקות על ידי רווחים חברות למטרות רווח המבקשות לחולל מהפכה כיצד ארגונים ואנשים יוצרים, אוספים, מנתחים ומנפים נתונים.
אם לצטט את פרנץ קפקא, "מנקודה מסוימת והלאה, כבר אין דרך חזרה. זו הנקודה שצריך להגיע אליה."
עברנו את הרוביקון. אין דרך חזרה כעת.