לאחרונה אני כותב המון על Big Data – הנושא מרתק אותי ואני באמת מאמין שהעולם הזה רק ילך ויתפתח עם הזמן. אם אתם זוכרים, אז כתבתי בעבר שחלק גדול מעולם ה-Big Data לא סובב סביב DBA-ים וניהול המידע אלא יותר סביב אלגוריתמים ופתרונות פיתוחיים לבעיות מורכבות. אחד התפקידים החדשים בעולם הזה הוא "מדען נתונים" – זה מעין תפקיד שנמצא בין DBA, מנתח מערכות, data miner ומפתח קוד שתפקידו לקחת את כמויות המידע האדירות ולראות איך אפשר לנצל אותם בארגון או בכלל.

מסתבר שאני לא לבד בדעה הזו ובשבוע שעבר שמתי לב שגם EMC חושבים כמוני והם מפרסמים המון דברים חדשים על ביג דאטה. הדבר האחרון ששמתי אליו לב והוא תחרות מעניינת שהם יצרו סביב ישום פתרונות לבעיות אמיתיות באמצעות אלגוריתמים ל-Big Data המיועדת למדעני מידע.

מרכז המצוינות של EMC ישראל (שמשתתף בין היתר בפיתוח של GreenPlum) הכריז לפני שבועיים בערך על פתיחת תחרות ה- Big Data הראשונה מסוגה בארץ ל-Data Scientists (מדעני נתונים). התחרות, הנושאת פרס כספי בסך עשרת אלפים דולר, פתוחה לכל קהיליית מדעני הנתונים באמצעות אתר האינטרנט Kaggle.com עד ה-1 בספטמבר 2012. לפי דעתי למרות הקשר הישיר של EMC ל-GreenPlum הם יקבלו פתרונות בכל פלטפורמה.

התחרות פתוחה ליחידים, קבוצות של עד חמישה אנשים וחברות סטארט-אפ ומטרתה היא להגדיל את המודעות לתחום ה- Big Data בכלל ולתחום העיסוק של מדעני הנתונים בפרט. מטרה צדדית נוספת היא  פרסום אלגוריתמים חדשניים במיוחד בכל מה שקשור ל-Machine Learning.

אז איך עובדת התחרות?  המתחרים נכנסים לאתר Kaggle (הנה אתר התחרות) ומקבלים בסיס נתונים אמיתי מתוך קוד מקור פתוח של מאות אלפי קבצים. המטרה היא ליצור אלגוריתם אידיאלי של זיהוי אוטומטי של תכנים בחזרה לפרויקט קוד המקור ממנו הם נלקחו. אני הורדתי את הקבצים וניסיתי את מזלי אבל אני חייב להגיד שזה אתגר קשה לפיצוח שמתאים יותר למתמטיקאים, פיזיקאים וכו' ופחות ל-DBA חובב טכנולוגיה שכמוני.

נו, ומה עם להתעשר אתם שואלים? התחרות נושאת פרסים בסך 10,000 דולר: 6000$ למקום הראשון, 3000$ לשני ו-1000$ לשלישי. אני חושב שזה יכול להיות רעיון טוב ללכת ולהסתכל – יתכן ואפילו יהיה לכם רעיון. אני, כמו שאמרתי, לא מצאתי את הרגליים והידיים שם.. 🙂

הנה הלינק לאתר התחרות באתר Kaggle. שיהיה לכם בהצלחה!