היכרות ובחירת משימות מתאימות

מקרה לתרגול

בשיעור הזה נתרגל בחירת משימה שניתן לבדוק. הסיטואציה הבאה מדומה, ואפשר לבצע את העבודה על מסמך מקומי או בכלי שהארגון אישר לשימוש. כדאי לקרוא את המקרה פעם אחת מתחילתו ועד סופו, ואז לסמן את המידע הדרוש לביצוע לפני שבוחרים כלי.

חברת השירותים הבדיונית אופק. צוות אופק משיב שוב ושוב על שיבוץ הדרכות. יש נוהל מאושר, שאלון דמה ונתוני בסיס של 18 פניות בשבוע.

בתום העבודה נרצה להפיק הודעת הדרכה עם מקור ומועד מאומת. כדי להבין מה ייחשב מספיק טוב, קראו את שלושת נושאי הליבה: יכולות ומגבלות של AI במשימות טקסט · ההבדל בין תשובת מודל לבין מקור מאומת · בחירת משימות לפי תועלת ואפשרות לבדוק תוצאה. בתיק העבודה כתבו ליד כל נושא איזו פעולה בשיעור מדגימה אותו. כאשר אחד הנושאים דורש תיאום בין כמה אנשים, סמנו מי יכול להחליט ומי נדרש לספק מידע.

בדיקת דיוק ושימושיות

יחידת ההשוואה היא הודעה שהתקבלה לפרסום. יש להפריד בין זמן קריאה, זמן ניסוח וזמן בדיקת עובדות, ולמדוד אותם בנפרד.

באיסוף המידע כתבו ממי הגיע המקור ומתי אושר. עברו על כל מועד, שם של צוות והוראת פעולה בעזרת מסמך המקור. אפשר לסמן עובדות בגרסה אחת של התוצר ולנסח לקהל בשלב הבא. לפני מסירה בדקו האם יש פרט מהותי שהופיע רק בתשובה של המודל. יש לתקן אותו בהתאם למקור או לציין שהמידע חסר. בסוף התרגיל העבירו את הנוסח לאדם שלא קרא אותו קודם, ובקשו שיסביר איזו פעולה התוצר מבקש ממנו לבצע.

במקרה הזה דרך העבודה המוצעת היא: השוו טיוטה שממציאה מועד, טיוטה שמעתיקה את הנוהל וטיוטה שמסמנת מועד חסר. לפני שמקדמים טיוטה, כתבו ליד כל נתון אם הגיע ממקור, התווסף כהשערה או נותר פתוח. אם אותו נתון מופיע בכמה גרסאות, רשמו איזה מסמך מעודכן יותר ומי מאשר אותו. החלטה אחת צריכה להיות קלה למעקב גם כשהיא מועברת לאדם שלא השתתף בניסוי.

כשמשווים בין שתי דרכי עבודה, שמרו את אותו קלט ואת אותה הגדרת תוצר לשתיהן. לפני הרצה ציינו מה מותר לשנות ובאיזה שלב מתחילים למדוד. אם הטיוטה עוברת עריכה אנושית, רשמו זמן עריכה לצד זמן הפקה. אם התוצר מבוסס על טענות, ספרו אילו מהן אומתו וכמה עדיין דורשות בדיקה. בצעו את ההשוואה לפי ראיה ישירה שניתן להראות לצוות.

בדיקת תוצאה וטיפול בחריגים

מקרה בדיקה טוב כולל נוהל קודם מול נוהל בתוקף. בקשו מהכותב לסמן את גרסת המקור ולשאול לגבי שעת ההדרכה כשזו חסרה.

הכשל שכדאי לחפש תחילה הוא הצגת מועד שהמודל המציא כמועד רשמי. בתיק הבדיקה תארו מתי הוא עלול להתרחש, מה היה קורה בעקבותיו וכיצד תזהו אותו בלי לראות את כל שיחת ההכנה. למדו אותו מול הדוגמה המתוקנת. אפשר להתחיל בטיוטות הודעה. בעל הנוהל בודק תאריך, קהל וקישור לפני פרסום.

בבדיקה ראשונה השתמשו בנתון אחד שנוח לאמת. בבדיקה חוזרת החליפו אותו בנתון חסר או סותר, והשאירו את יתר התנאים קבועים. כתבו זמן התחלה וסיום, הפלט שקיבלתם, אילו חלקים תוקנו והאם נשארה שאלה לבעל מקצוע. לפני ריצה נוספת שמרו את שתי הגרסאות באותו תיק. אם משנים כמה דברים יחד, קשה להסביר איזה שינוי מנע את הטעות. אפשר לכן לבודד שינוי אחד ולהפעיל שוב את אותו תרחיש.

כשאדם שני בודק את התוצר, כדאי למסור לו את התוצאה ואת מקור הבדיקה עם שאלה אחת. למשל, בקשו שיסמן את המקום שבו היה עוצר לפני מסירה, ואת הראיה שהיה מבקש. אם אתם לומדים לבד, הסתירו את הטיוטה הראשונה, בדקו שוב מול המקור לאחר הפסקה קצרה והשוו את ההערות. תגובה שמציינת את הסיבה ואת השינוי הנדרש ניתנת ליישום בבדיקה הבאה.

תרגול אישי ותוצר

המשתתפים משווים שלוש תשובות לאותה בקשת HR, מסמנים עובדות חסרות ובוחרים משימה אחת לביצוע ידני שישמש מדידת פתיחה.

בחרו בשלב ראשון הודעות עם פורמט חוזר ומקור ברור. בקשות להחלטה חריגה משאירים לבעל התפקיד ומתעדים את הסיבה.

1. פתחו עותק נקי של תיק העבודה. רשמו מה אתם מבקשים לקבל, למי מיועד התוצר ואיזה פרט חייב להגיע ממקור מאושר.
2. השוו טיוטה שממציאה מועד, טיוטה שמעתיקה את הנוהל וטיוטה שמסמנת מועד חסר. שמרו עותק עם תאריך ותיאור קצר של מה שכללתם.
3. הכניסו לתרגיל פרט אחד חסר או מצב חריג הדומה לבעיה שלמדנו. תעדו את תגובת הכלי ואת הפעולה שבה בחרתם בעקבותיה.
4. בדקו את התוצאה מול המקור ובחרו מקום אחד לתיקון. שמרו נוסח מתוקן עם סיבה קונקרטית לשינוי ותנאי לשימוש חוזר.

מטרה: בחירת משימה שניתן לבדוק
קלט לדוגמה: צוות אופק משיב שוב ושוב על שיבוץ הדרכות. יש נוהל מאושר, שאלון דמה ונתוני בסיס של 18 פניות בשבוע.
תוצר רצוי: הודעת הדרכה עם מקור ומועד מאומת
ראיה לבדיקה: [מסמך, מצב, מקור או תצפית]
מי בודק ומתי: [תפקיד ומועד]
טעות לחיפוש: הצגת מועד שהמודל המציא כמועד רשמי
תיקון אפשרי: אפשר להתחיל בטיוטות הודעה. בעל הנוהל בודק תאריך, קהל וקישור לפני פרסום.
התוצאה בפועל והפעולה הבאה: […]

תוצר השיעור לפי הסילבוס: מפת חמישה שימושים אפשריים ותיעוד ראשוני של זמן הביצוע, איכות התוצאה וקשיים במשימה שנבחרה. כדאי לשמור גרסה ראשונה גם אם היא חלקית. בגרסה הסופית סמנו איזה שינוי בוצע, איזה רגע הצריך הפעלת שיקול דעת ומי יקבל את התוצר לשלב הבא. צרפו לפחות מקרה בדיקה אחד שהפעולה בו הייתה ברורה ומקרה נוסף שבו נדרשו הבהרה או מסירה.

אם הזמן קצר, התחילו במסלול הרגיל וסיימו את התוצר כשהוא ראוי למסירה. לאחר מכן נסו מקרה חריג אחד בלבד ותעדו את הגבול שבחרתם. לפרויקט הגמר אפשר לצרף את המקרה הראשון כדוגמת ביצוע ואת השני כדוגמת בקרה, עם הסבר קצר כיצד הם משלימים זה את זה. כשחוזרים לתרגיל בהמשך הקורס, השתמשו בעותק המקורי כדי למדוד אם השתפרו ההבנה, האיכות או הזמן הכולל.

בדיקה עצמית וקריאה נוספת

בסיכום כתבו לעצמכם שלוש שורות: מה הושלם, איזו ראיה גרמה לכם לתקן פרט משמעותי ומה דורש המשך בדיקה. בחרו משפט אחד שאפשר להכניס ישירות לתיק הפרויקט. כדאי שהמשפט יתאר החלטה שניתן לשחזר, למשל איך זיהיתם טעות, מה היה מקור האימות ואיזה בעל תפקיד נדרש להמשך. כך אפשר לחזור אל הדוגמה גם אחרי שהפרטים מהתרגיל כבר אינם טריים.

• CIPD · שימוש בבינה מלאכותית לאנשי HR ↗
• NIST · מסגרת ניהול סיכוני AI ↗