כיצד מתבצע זיהוי קולי של דוברים מתוך שיחה

לאחרונה נתבקשתי לבצע זיהוי קולי לדוברים בשיחה ונמסרו לי כמה חלקי הקלטות של שיחות שהתקיימו בהשתתפות אדם מסוים בשני תאריכים שונים במקומות שונים. בהקלטות אלו נשמע קולו של אדם מסוים (להלן “המטרה") המספק מידע קריטי לתיק המשפטי, קולו עורבל לפי בקשתו.

נתבקשתי ע"י עורך הדין לבצע זיהוי קולי ולהוכיח כי ה”מטרה” הינה אדם מסוים. למזלנו אותה “מטרה” מופיעה תדירות בערוצי התקשורת השונים (תוכניות טלוויזיה, רדיו וערוצי יו-טיוב) ועל כן קיימים בידינו מקורות קוליים רבים של אותה פרסונה. לצורך העניין נסמן את אותו אדם המופיע תדירות בערוצי התקשורת כ”מקור”.

מהלך הניתוח לצורך זיהוי קולי

קיבלתי לידי מספר קטעי הקלטות שונות של ה”מקור” בתוכניות טלוויזיה וראיונות רדיו. העליתי את כל ההקלטות למערכת במחלקה להנדסה באוניברסיטת אוקספורד בקבוצת הגאומטריה החזותית (בתוקף היותי מומחה בתחום זיהוי קולי אני מקבל בזכות גישה למערכת זאת). מערכת זו מבוססת על רשת נוירונים מלאכותית (אינטליגנציה מלאכותית) הקולטת דיבור כקלט (המקביל לתמונת פנים במערכת לזיהוי פנים) ומייצרת חתימה קולית (המקבילה לחתימת פנים) – אוסף של מספרים המייצגים קול מסוים. לא ניכנס כרגע לפרטים המתמטיים. היפה במערכת זאת שהיא לומדת, מתקנת ומשפרת את ביצועיה בכל הרצה. כיצד המערכת עובדת?

יצירת פרופיל קולי ל”מקור”

לאחר העלאת קבצי האודיו של ה”מקור” המערכת מעבדת את ההקלטות ומייצרת חתימת קול ברמת דיוק מאוד גבוהה. כמה גבוה? מספיק כדי להיות קבילה בבית המשפט. הדיוק הזה נקרא קורלציה – התאמת חתימת הקול בין ההקלטות השונות. כך יצרתי למעשה ל”מקור” פרופיל בדיוק מובהק גבוה. רמת מובהקות זאת מקובלת ע"י בית המשפט.

יצירת פרופיל קולי ל”מטרה”

בעזרת תוכנות סאונד מתקדמות וידע טכני נרחב הצלחתי להסיר את הערבול מקולה של ה”מטרה”. השלב הבא של תהליך זיהוי קולי הוא להעלות את הקול ללא ערבול למערכת של אוניברסיטת אוקספורד על מנת ליצור לה פרופיל קולי.

השוואה בין פרופיל הקולות

בשלב הבא המערכת מבצעת השוואה בין שני הפרופילים ומייצרת בעצם מקדם התאמה – מקדם זה מצביע על זהות מתמטית וסטטיסטית בין שני הפרופילים – ה”מקור” וה”מטרה”. והפלא ופלא – מצאנו התאמה עם סטייה של 0.0000000000431877% של שני הפרופילים. המסקנה החד משמעית ממכלול הבדיקות שבוצעו במערכת זיהוי קולי (בנוסף לבדיקה השמיעתית) היא כי קולו של "המקור" הוא קולה של ה”מטרה”. בית המשפט קיבל את הדוח.