המודלים ומדדי הביצוע
RebbeHub קורא סריקות ושומע הקלטות במודלים משלו. כאן כתוב מה כל אחד עושה, איזה מהם בשימוש, ואיך הוא הצליח במבחן שלא למד ממנו. המודלים הם של RebbeHub ואינם משוחררים; רק התיאורים והציונים מתפרסמים.
כל מה שמודל כותב מסומן באתר כפלט מכונה עד שאדם בודק אותו, יהיה הציון טוב ככל שיהיה.
קורא לקוטי שיחות (OCR)
קורא כל שורה בעמוד סרוק של לקוטי שיחות לטקסט. ״אותיות״ ו״מילים״: כמה נקראו נכון; ״שורות מושלמות״: שורות שנקראו כולן בלי טעות אחת; ״גוף״ ו״הערות״: ציון האותיות בפנים ובהערות; ״אותיות דומות״: החלפות של ב/כ, ת/ח, ז/ן/ו.
- rebbehub-kraken-ls-v1קורא את לקוטי שיחות מהסריקות; קורא עכשיו את חלקים טו-כהבשימוש
- rebbehub-kraken-v1קורא את המפתחות; לא נבדק כאןבשימוש
עיקר התוצאות
4,500 שורות מלקוטי שיחות חלק לט שאף מודל לא למד מהן. מפתח התשובות הוא הטקסט המוקלד, מתוקן מול הסריקה, ועוד 35 מקפים ו״. . .״ בקצות שורות שחסרו בו ומופיעים בסריקה.
| מודל | אותיות | מילים | שורות מושלמות |
|---|---|---|---|
| PP-OCRv6, כמו שהוא נקודת ההתחלה | 96.45% | 86.39% | כ-44% |
| מועמד קודם (הטוב שלפניו) הוחלף | 99.82% | 99.41% | 96.1% |
| rebbehub-kraken-ls-v1 בשימוש | 99.91% | 99.68% | 97.7% |
| + בדיקת המילים אחרי הקריאה בשימוש | 99.88%* | 99.60%* | 97.3%* |
| מועמד מאוחר (הטוב שבו) לא בשימוש | 99.87% | 99.51% | 97.0% |
* נבדק מול מפתח מחמיר יותר (בלי 35 הסימנים שנוספו), ולכן אינו נמוך מהשורה שמעליו: מול אותו מפתח בדיקת המילים רק מתקנת. היא תיקנה 15 מתוך 16 השורות עם טעות באותיות דומות, ולא קלקלה אף שורה.
כל המועמדים על 4,500 השורות
4,500 שורות מלקוטי שיחות חלק לט שאף מודל לא למד מהן. מפתח התשובות הוא הטקסט המוקלד, מתוקן מול הסריקה, ועוד 35 מקפים ו״. . .״ בקצות שורות שחסרו בו ומופיעים בסריקה.
| מודל או מועמד | אותיות | מילים | שורות מושלמות | גוף | הערות | טעויות | אותיות דומות | מקף נשמט / נוסף | נקודות נשמטו / נוספו |
|---|---|---|---|---|---|---|---|---|---|
| recover start | 99.65 | 98.38 | 88.9 | 99.70 | 99.33 | 699 | 74 | 15 / 10 | 15 / 2 |
| 00-0.9985 | 99.81 | 99.41 | 96.2 | 99.82 | 99.79 | 372 | 24 | 57 / 1 | 43 / 0 |
| 00-0.9986 | 99.83 | 99.37 | 96.0 | 99.85 | 99.73 | 338 | 19 | 41 / 6 | 26 / 1 |
| 00-0.9984 | 99.83 | 99.36 | 95.9 | 99.84 | 99.74 | 346 | 14 | 33 / 1 | 34 / 2 |
| 00-0.9986-v1 | 99.80 | 99.30 | 95.6 | 99.82 | 99.70 | 399 | 18 | 57 / 0 | 47 / 0 |
| 01-0.9986 | 99.82 | 99.36 | 95.8 | 99.85 | 99.65 | 366 | 20 | 55 / 1 | 27 / 2 |
| 01-0.9986-v1 | 99.83 | 99.40 | 96.0 | 99.85 | 99.68 | 347 | 17 | 49 / 0 | 33 / 0 |
| 01-0.9987 | 99.82 | 99.38 | 96.0 | 99.84 | 99.69 | 361 | 17 | 49 / 0 | 41 / 0 |
| 01-0.9987-v1 הוחלף | 99.82 | 99.41 | 96.1 | 99.84 | 99.69 | 357 | 18 | 51 / 0 | 42 / 0 |
| rebbehub-kraken-ls-v1 בשימוש | 99.91 | 99.68 | 97.7 | 99.93 | 99.81 | 179 | 18 | 4 / 0 | 6 / 1 |
בלי 35 הסימנים שנוספו הוא עדיין מנצח: 99.87% אותיות ו-97.0% שורות מושלמות, מול 99.84% ו-96.3%. הוא חצה את הטעויות (357 ל-179), כמעט כולן סימנים: מקפים שנשמטו מ-51 ל-4, נקודות מ-42 ל-6. באותיות הדומות לא השתנה דבר (18 ל-18).
המועמדים המאוחרים
אותן 4,500 שורות, ומפתח של הטקסט המוקלד ועוד 24 סימנים בקצות שורות; rebbehub-kraken-ls-v1 נקרא שוב באותה דרך להשוואה.
| מודל או מועמד | אותיות | מילים | שורות מושלמות | גוף | הערות | טעויות | אותיות דומות | מקף נשמט / נוסף | נקודות נשמטו / נוספו |
|---|---|---|---|---|---|---|---|---|---|
| rebbehub-kraken-ls-v1 בשימוש | 99.90 | 99.63 | 97.5 | 99.91 | 99.80 | 206 | 20 | 4 / 1 | 0 / 10 |
| r3-00-0.9982-2347 | 99.83 | 99.38 | 95.8 | 99.84 | 99.74 | 348 | 59 | 38 / 0 | 10 / 3 |
| r3-00-0.9983-0003 | 99.83 | 99.35 | 95.8 | 99.85 | 99.74 | 337 | 41 | 37 / 0 | 6 / 5 |
| r3-00-0.9984-0019 לא בשימוש | 99.87 | 99.51 | 97.0 | 99.88 | 99.81 | 258 | 22 | 21 / 0 | 10 / 2 |
| r3-00-0.9986-0035 | 99.83 | 99.43 | 96.5 | 99.83 | 99.83 | 338 | 18 | 39 / 1 | 11 / 1 |
| r3-01-0.9984-0050 | 99.83 | 99.47 | 96.5 | 99.84 | 99.79 | 339 | 21 | 51 / 0 | 11 / 1 |
| r3-01-0.9984-v1-0105 | 99.84 | 99.48 | 96.6 | 99.84 | 99.82 | 323 | 21 | 47 / 0 | 11 / 1 |
| r3-01-0.9984-v2-0137 | 99.84 | 99.48 | 96.6 | 99.84 | 99.81 | 327 | 21 | 44 / 0 | 11 / 1 |
| r3-01-0.9985-0120 | 99.84 | 99.49 | 96.8 | 99.85 | 99.81 | 318 | 23 | 42 / 0 | 11 / 2 |
| r3-final-ppm_best | 99.83 | 99.43 | 96.5 | 99.83 | 99.83 | 338 | 18 | 39 / 1 | 11 / 1 |
אף אחד מהם אינו טוב ממנו; הפער כמעט כולו מקפים שנשמטו בפתיחת שורה.
300 שורות בדוקות מחלק לט
מבחן מוקדם וקטן יותר: 300 שורות מחלק לט שמפתח התשובות שלהן נבדק שורה שורה מול הסריקה. ההבדלים בין המועמדים כאן הם 1 עד 6 טעויות ב-300 שורות, בגבולות הרעש, ולכן 4,500 השורות מכריעות.
| מודל או מועמד | אותיות | מילים | שורות מושלמות | גוף | הערות | טעויות |
|---|---|---|---|---|---|---|
| PP-OCRv6, כמו שהוא נקודת ההתחלה | 96.48% | 86.07% | 44.3% | 96.41% | 96.95% | 459 |
| s2-00-0.9953 | 99.82% | 99.24% | 94.7% | 99.8% | 99.94% | 24 |
| s2-00-0.9982 | 99.9% | 99.64% | 97.7% | 99.89% | 100.0% | 13 |
| s2-00-0.9981 | 99.92% | 99.64% | 97.7% | 99.93% | 99.88% | 10 |
| s2-abort | 99.92% | 99.64% | 97.3% | 99.93% | 99.82% | 11 |
| s2-00-0.9986 | 99.95% | 99.68% | 98.0% | 99.94% | 100.0% | 7 |
| s2-00-0.9982-v1 | 99.95% | 99.72% | 98.0% | 99.94% | 100.0% | 7 |
| s2-00-0.9984 | 99.89% | 99.52% | 96.7% | 99.89% | 99.82% | 15 |
| s2-00-0.9980 | 99.9% | 99.56% | 97.0% | 99.92% | 99.77% | 13 |
| s2-01-0.9982 | 99.92% | 99.6% | 97.0% | 99.95% | 99.77% | 10 |
| s2-01-0.9979 | 99.92% | 99.52% | 97.3% | 99.92% | 99.88% | 11 |
| s2-00-0.9985 | 99.92% | 99.68% | 98.0% | 99.91% | 100.0% | 10 |
ספקות הקורא בחלקים טו-יז
החלקים הראשונים שקרא (182 שיחות, 725 אלף מילים), רובם ביידיש: 157 שיחות מול 25 בלשון הקודש. אין להם טקסט מוקלד להשוות אליו, ולכן אלה ספקות הקורא עצמו, הערכה ולא ציון שנמדד.
| טקסט | מילים | ביטחון מתחת ל-0.9 | מתחת ל-0.6 |
|---|---|---|---|
| שיחות בלשון הקודש, גוף | 43,178 | 1.24% | 0.33% |
| שיחות ביידיש, גוף | 402,534 | 2.81% | 0.64% |
| שיחות בלשון הקודש, הערות | 7,548 | 2.04% | 0.46% |
| שיחות ביידיש, הערות (רובן בלשון הקודש) | 189,563 | 1.85% | 0.49% |
נקודות חולשה
- יידיש: בגוף הטקסט ביידיש הקורא מסופק בערך פי שניים מאשר בלשון הקודש. זה הפער הגדול ביותר.
- אותיות דומות: ב/כ, ת/ח, ז/ן (כ-18 ב-4,500 השורות; בדיקת המילים מתקנת את רובן).
- פ ו-ט נקראות ס באות הקטנה של ההערות (פירוש כ״סירוש״, הבעש״ט כ״הבעש״ס״).
- הנקודה שמתחת לאל״ף ביידיש נשמטת לפעמים.
- כוכבית ״*״ לבדה אינה נקראת בידי הקורא; היא נלקחת מהדיו.
הבא: סבב ליידיש, ואחריו אותה בדיקה שוב, לראות שהפער נסגר.
גלאי המירם (מודגש)
בשיחות הרבי אותיות מירם מסמנות את המילים המודגשות, ו-RebbeHub מציג אותן מודגשות. הגלאי אומר, מילה במילה, אילו מילים בעמוד הן במירם.
- rebbehub-facenet-v2מוצא אילו מילים בעמוד הן במירםבשימוש
- rebbehub-facenet-v1מוצא אילו מילים בעמוד הן במירםהוחלף
חמישה עמודים שנבדקו בעין
חמישה עמודי שיחה רגילים (לח:מ, לד:מב, לא:צג, לו:נ, לג:ע), 1,832 מילים, 82 מהן במירם, כל מילה נבדקה בעין.
| מודל | מילים שמסכימות עם העין |
|---|---|
| כללי עובי, בלי מודל הוחלף | מילים חלקיות; מחמיץ הערות מירם שלמות |
| rebbehub-facenet-v1 הוחלף | 1,832 / 1,832 |
| rebbehub-facenet-v2 בשימוש | 1,832 / 1,832 |
סבב הבדיקה הראשון (2026-10-02) מצא 12 מילות מירם שהוחמצו, כולן בעמודים שנבנו לפני ש-rebbehub-facenet-v2 רץ. חמישה עמודים הם מבחן קטן; כל עמוד שנבדק בכלי הבדיקה מוסיף לו.
נקודות חולשה
- המבחן קטן: חמישה עמודים.
קול הרבי לטקסט (Whisper)
שומע הקלטה של הרבי ביידיש וכותב אותה, כל מילה עם הזמן שלה. הציונים הם מילים שגויות / אותיות שגויות (WER / CER); נמוך יותר טוב יותר.
- rebbehub-whisper-v3שומע את היידיש של הרבי וכותב אותהבשימוש
- rebbehub-whisper-v2שומע את היידיש של הרבי וכותב אותההוחלף
- rebbehub-whisper-v1שומע את היידיש של הרבי וכותב אותההוחלף
התוועדויות שלא נלמדו
התוועדויות שאף גרסה לא למדה מהן, בכתיב החוברות.
| נבדק על | ivrit.ai Yiddish (נקודת ההתחלה) | v1 | v2 | v3 (בשימוש) |
|---|---|---|---|---|
| שלוש התוועדויות תשמ״ב, 395 קטעים | 11.8% / 5.7% | 10.1% / 5.2% | ||
| י״ז תמוז תשמ״ב, 109 קטעים | 10.8% / 4.6% | 8.2% / 3.8% | ||
| י״א ניסן תשל״ג (תקופה מוקדמת), 344 קטעים | 13.7% / 5.2% | 13.7% / 5.1% | ||
| י״ז תמוז תשמ״ב, כל 29 הדקות | 58% / 28% | 13.0% / 5.9% | 11.9% / 5.3% | 11.5% / 5.5% |
כפי שכל גרסה נבדקה כשהייתה חדשה
הציון של v3 על תשמ״ב הוא בכתיב החוברות והקודמים לא, ולכן הטבלה שלמעלה היא זו שמשווים לפיה.
| מודל | התוועדויות תשמ״ב | י״א ניסן תשל״ג | כל י״ז תמוז תשמ״ב (29 דקות) |
|---|---|---|---|
| ivrit.ai Yiddish נקודת ההתחלה | כ-60% | ||
| rebbehub-whisper-v1 הוחלף | 12% / 6% | 22.5% / 9.0% | 13.0% / 5.9% |
| rebbehub-whisper-v2 הוחלף | 9.5% / 4.8% | 13.8% / 5.2% | 11.9% / 5.3% |
| rebbehub-whisper-v3 בשימוש | 10.1% / 5.2% | 13.7% / - | 11.5% / 5.5% |
נקודות חולשה
- מילים נדירות (״תנות״ במקום ״תענית״).
- השנים המוקדמות (י״א ניסן תשל״ג למעלה).
הבא: v4, שייבדק על אותן התוועדויות ויוכנס לשימוש רק אם יהיה טוב יותר.
תיאורי המודלים ומדדי הביצוע: CC BY-NC-ND 4.0. המודלים עצמם אינם משוחררים; כל הזכויות שמורות.