תוֹכֶן
- הגדרה - מה המשמעות של MapReduce?
- מבוא ל- Microsoft Azure ו- Microsoft Cloud | במהלך מדריך זה תוכלו ללמוד על אודות מיחשוב ענן וכיצד Microsoft Azure יכולה לעזור לכם להעביר ולנהל את העסק שלכם מהענן.
- Techopedia מסביר את MapReduce
הגדרה - מה המשמעות של MapReduce?
MapReduce הוא מודל תכנות שהוצג על ידי גוגל לצורך עיבוד והפקת מערכות נתונים גדולות על אשכולות מחשבים.
גוגל ניסחה לראשונה את המסגרת לצורך הצגת אינדקס דפי האינטרנט של גוגל, והמסגרת החדשה החליפה אלגוריתמי אינדקס קודמים. מפתחים מתחילים מוצאים את מסגרת MapReduce מועילה מכיוון שניתן להשתמש בשגרות ספרייה ליצירת תוכניות מקבילות ללא כל דאגה לגבי תהליכי תקשורת אינסטגרם, ניטור משימות או תהליכי טיפול בכישלונות.
MapReduce פועל על מקבץ גדול של מכונות סחורות וניתן להרחבה ביותר. יש לו כמה צורות יישום המסופקות על ידי שפות תכנות מרובות, כמו Java, C # ו- C ++.
מבוא ל- Microsoft Azure ו- Microsoft Cloud | במהלך מדריך זה תוכלו ללמוד על אודות מיחשוב ענן וכיצד Microsoft Azure יכולה לעזור לכם להעביר ולנהל את העסק שלכם מהענן.
Techopedia מסביר את MapReduce
למסגרת MapReduce שני חלקים:
- פונקציה הנקראת "מפה", המאפשרת לנקודות שונות של האשכול המופץ להפיץ את עבודותיהם
- פונקציה בשם "צמצם", שנועדה לצמצם את הצורה הסופית של תוצאות האשכולות לפלט אחד
היתרון העיקרי של מסגרת MapReduce הוא סובלנות התקלות שלו, בה צפויים דוחות תקופתיים מכל צומת באשכול בסיום העבודה.
משימה מועברת מצומת אחד למשנהו. אם צומת האב מבחינה בכך שצומת שותק במרווח ארוך יותר מהצפוי, הצומת הראשי מבצע את תהליך ההקצאה מחדש למשימה הקפואה / מעוכבת.
מסגרת MapReduce נוצרת בהשראת הפונקציות "Map" ו- "Reduce" המשמשות בתכנות פונקציונליות. עיבוד חישובי מתרחש על נתונים המאוחסנים במערכת קבצים או בתוך מסד נתונים, שלוקח קבוצה של ערכי מפתח קלט ומייצר קבוצה של ערכי מפתח פלט.
בכל יום מבוצעות מספר רב של תוכניות MapReduce ומשרות MapReduce באשכולות של Googles. תוכניות מקבילות אוטומטית ומבוצעות באשכול גדול של מכונות סחורות. מערכת זמן הריצה עוסקת בחלוקה של נתוני הקלט, תזמון ביצוע התוכניות במערך מכונות, טיפול בתקלות במכונה וניהול תקשורת בין מכונות נדרשות. מתכנתים ללא ניסיון במערכות מקבילות ומופצות יכולות להשתמש בקלות במשאבים של מערכת מבוזרת גדולה.
MapReduce משמש בביצוע grep מבוזר, במיון מבוזר, בהיפוך גרפי קישור באינטרנט, בסטטיסטיקות יומן גישה לאינטרנט, אשכול מסמכים, למידת מכונה ותרגום מכונה סטטיסטי.