🚀 סיכום שבועי- התקדמות בפיצ'ר "חברים ופעילות"

🛠 מה שיפרנו השבוע

מבנה נתונים חדש ומסודר – יצרנו מודל נתונים ברור שמאפשר לשמור בצורה מסודרת את כל התרומות של החברים – פתיחת משימות (Issues), בקשות משיכה (Pull Requests), תגובות, ועוד.

תהליך עיבוד נתונים אוטומטי – בנינו תהליך שמריץ ניקוי וסידור של הנתונים כדי שנוכל להציג תמונה עדכנית של הפעילות.

קוד נקי יותר – שיפרנו את הקוד, ארגנו מחדש חלקים מסובכים והוספנו הודעות לוג שמקלות עלינו להבין מה קורה.

🔎 מה גילינו בדרך

פשטות מנצחת – במקום לנהל טבלאות מורכבות בבסיס הנתונים, בחרנו בגישה שמחשבת את הנתונים “תוך כדי תנועה”, מה שמאפשר לנו גמישות ושינויים מהירים בלי להעמיס על המערכת.

🧠 שיפור באמינות

אנחנו עובדים על מנגנון חכם שמוודא שגם אם אנחנו שולחים הרבה בקשות ל-GitHub ונגיע למגבלת השימוש, המערכת תדע לעצור ולהמשיך בצורה מבוקרת במקום להיכשל. זה הופך את הכל להרבה יותר יציב.

👩‍💻 מה מצפה לנו בהמשך

בשבוע הקרוב אנחנו מתכננים:

• לסיים את המנגנון החדש שמגן מפני עומס יתר על המערכת: טוקן של גיטהאב מאפשר 5000 קריאות בשעה. המנגנון החדש יבדוק בכל קריאה כמה קריאות נשארו. כשישארו 100 קריאות בלבד המערכת תיכנס למנגנון השהיה של שעה.
• לסיים סידור נכון יותר של החלק הראשון של הקוד
• לפרק את הקוד לסרביסים לפי פונקציונאליות (משיכת PR, משיכת Isuue, משיכת Comments, משיכת Commits) בניגוד לתהליך הנוכחי, בו הraw דאטה נדחף לדאטהבייס ואז נקרא ממנו לצורך הנרמול, אנחנו מתכננים לאפשר את הרצת הבקשות (הרצת שכבת הraw) מתוך שכבת הסילבר (normalized) בכדי לשמור את הנתונים הגולמיים של גיטהאב בDB
• להעביר את הנתונים הנ"ל ישירות לתהליך הנרמול, ללא צורך במשיכה מהDB.
• להשלים את החישובים (אגרגציות הנתונים) שמאפשרים לנו להציג מדדים ברורים של פעילות הקהילה.
• לחשב את השכבה האגרגטיבית (analytics) מתוך השכבה המנורמלת לפי הטבלה הזו:

user_activity: {
user_id, nvarchar       
day, date               
repo_id, nvarchar       
activity_type, nvarchar 
activity_count, int }     

כאשר כל שורה בטבלת user_activity מזוהה באופן ייחודי על-ידי השילוב של השדות user_id, day, repo_id ו-activity_type. כלומר, לכל משתמש יכול להיות לכל יום, לכל מאגר ולכל סוג פעילות רשומה אחת בלבד.

מוזמנים להצטרף לפיתוח הפיצ’ר. לחצו כאן כדי להצטרף לערוץ הדיונים בדיסקורד.

קישור לריפו של הפרוייקט

• ←הקודם
• הבא→