הכנס הבינלאומי השמיני (PM8): מדידת ביצועים בספריות ומרכזי מידע, 17-20 אוגוסט 2009, פירנצה. כנס לווין של IFLA 
ד"ר לין פורת


מבט לפירנצה

LibQUAL+®  - מפגש שיתוף חוויות
יום שני 17 אוגוסט 2009 - 9:00-13:00

המפגש נפתח עם המצגת של StephenTown מאוניברסיטת יורק בבריטניה (לשעבר מאוניברסיטת קראנפילד),אשר דנה בשימוש ב LibQUAL+® ברחבי העולם ותיארה תוצאות ספציפיות שיושמו בספריות בבריטניה כתוצאה ישירה מ LibQUAL+® - כגון קבלת מימון נוסף עבור פיתוח אתרי אינטרנט, עבור שעות פתיחה מוגברות ועבור שיפוץ מקיף לספריה.

Jim Self מאוניברסיטת וירג'יניה בארה"ב הציג מצגת מרתקת המראה כיצד שאלה אחת ב LibQUAL+® הדנה בשביעות רצון של הסגל מאוסף כתבי-העת האלקטרוניים מהווה אינדיקציה אמינה על שביעות הרצון הכללית מהספריה.

הוא סיפר שמעל 40 ספריות ARL (Association of Research Libraries)קיבלו ציונים שליליים על שאלה זו (ציון שביעות הרצון הקיים היה מתחת למינימום) באופן עקבי.
ג'ים המליץ על ביצוע ראיונות טלפוניים של כ-5 דקות על ידי בן-אדם ניטראלי, על מנת לברר בעיות ספציפיות שהועלו על ידי LibQUAL + ® בראיון רצוי לשאול שאלות כמו "כיצד אנו יכולים לשפר את אוסף כתבי העת האלקטרוניים בשבילך?"
לאחר ההפסקה העברתי מצגת על LITE LibQUAL+® בעברית, אשר זכתה לתשומת לב רבה בשל העובדה שאנחנו אחת הספריות הראשונות בעולם להפעיל את LibQUAL+® בפרוטוקול הלייט המורכב מ-8 שאלות במקום 22.

כצפוי, שיעורי ההיענות היו גבוהים יותר וזמני מילוי השאלון היו מהירים יותר מאשר בגרסת ה - LONG. הזכרתי גם את רעיון "המחשבים הניידים המשוטטים" לפיו ארבעה עובדים ארעיים הסתובבו ברחבי הקמפוס עם מחשבים ניידים כדי לעודד סטודנטים למלא את הסקר.
לאחר-מכן,MarjaHjelt וSaija-Nieminen, מאוניברסיטת הלסינקי לטכנולוגיה בפינלנד, וHammesMonica מאוניברסיטת פרטוריה בדרום אפריקה, דיווחו על חוויותיהם עם LibQUAL+®.

מצגות אלה היו מאוד מעניינות לא רק בגלל התוצאות ושיעורי תגובה הדומים לשלנו, אלא בגלל פעילויות השיווק שלהם שכללו משלוח הודעות SMS, חלוקת סימניות והדבקת מדבקות על רצפות וגן בשל הדרך בה הם ערבו את סגל הספריה בתהליך על ידי מתן עדכונים יומיומיים בדוא"ל על שיעורי התגובה לסקר והערות מעניינות.
לאחר ההפסקה השניה Brinley-Franklin מאוניברסיטת קונטיקט בארה"ב והנשיא הנבחר של ARL דיבר על החשיבות של מעורבות כל צוות הספריה בתהליך ההערכה.
הוא המליץ על השימוש במומחים חיצוניים להסביר את התוצאות של סקרי LibQUAL+® וסקרים אחרים כדי להגיע להקשבה טובה יותר ולחולל שינוי.
Colleen-Cook מאוניברסיטת טקסס M&A בארה"ב הראתה לנו את המגמות החיוביות בתוצאות ה LibQUAL+® של האוניברסיטה שלה בעשר השנים האחרונות וממליצה על ביצוע הסקר פעם בשנה.
Stephen-Town נתן מצגת מעניינת במיוחד, שבה השווה את התוצאות המעולות של אוניברסיטת קראנפילד מול התוצאות הגרועות של אוניברסיטת יורק. הוא תיאר את הניסיונות לשפר את התוצאות ביורק באמצעות צוות הספריה ועידוד ההזדהות איתה.
Martha-Kyrillidou מנהלת בכירה של סטטיסטיקה ותוכניות איכות השירות ב ARL, נעלה את הישיבה בהבעת תודה על המצגות האינפורמטיביות והמעניינות ובהבעת הנאה על ההיכרות עם כל המשתתפים.
לעיונכם: התייחסות נוספת למפגש וקישור למצגות דרך: Libraryassessment.info

כנס Northumbria בינלאומי על מדידת ביצועים בספריות


משתתפי הכנס

 יום שני 17 אוגוסט 2009 - 14:00-18:00

במצגת המרכזית Robert-Hayes מאוניברסיטת קליפורניה בלוס אנג'לס דן בשימוש במודל תמחיר (ACM) כדי להסביר את תפקידן של ספריות בכלכלות הלאומיות.Moll Michiel מןTechnology Peninsular-University-of- Cape בדרום אפריקה דיבר על הנוסחה שפיתח לחישוב מספר העובדים הדרושים בספריות ענף קטנות.
ההרצאה הבאה של Colin Darch ו Karin de Jager אוניברסיטת קייפטאון בדרום אפריקה הייתה מעניינת במיוחד.
הם סיפרו על הצלחת "מגרש המחקר" שלהם אשר מספק מרחב נוח ומזמין לכתיבת עבודות עבור סטודנטים לתארים מתקדמים.
הרעיון מבוסס על הצורך של סטודנטים לתארים מתקדמים ליצור, כאשר"מגרש הלמידה/מידע" מיועד לסטודנטים לתואר ראשון לחפש מידע.
בסוף John-Bertotאוניברסיטת מרילנד בארה"ב (ועורך כתב העת Library-Quarterly) דן בשימוש הגובר של סקרים מבוססי ווב בספריות ציבוריות.

 יום שלישי 18 אוגוסט 2009 - 9:15-18:15

Brinley-Branklin פתח את היום עם סקירה מעניינת מאוד של הדיון המתמשך בספרות על המשתמשים "הנוטשים" את הספריה.
הוא בדק את הראיות מול הנתונים ב- ARL והגיע למסקנה כי על אף המספרים המתמעטים בהשאלות ויעץ, הסטודנטים עדיין משתמשים בספריות כמו בעבר, אבל כשטח ללמידה ולאו דווקא כמקור למשאבים חיוניים.
הוא דן גם על תוצאות של הסקרMINES for LibrariesTM (Measuring the Impact of Networked Electronic Services) שהוא "סקר מקוון, מבוסס-העסקה שאוסף נתונים על מטרת השימוש במשאבים אלקטרוניים ונתונים דמוגרפיים של משתמשים".
Brinley דיווח כי הרוב המכריע של הסטודנטים משתמש במשאבים האלקטרוניים של הספריה מחוץ לספריה - אבל בתוך הקמפוס.
ההרצאה הבאה מPors-Niels מבית הספר המלכותי לספרנות ומידענות בדנמרק התמקדה בהתמודדות הספריות הציבוריות בדנמרק עם התפקידים המשתנים שלהם לנוכח הירידה במשאבים ובשימוש.
Elizabeth-Curach מאוניברסיטת מערב סידני באוסטרליה דיברה על כישורי הניהול והמנהיגות שהפכו את הספריה שלה מאחת הגרועות ביותר בדירוג שביעות הרצון הלאומי של CAUL בשנת 1999 (על-סמך סקר Rodski/InSync) לאחת הטובות ביותר בשנת 2008.
אחת הדרכים הייתה פיטורי עובדים ועידוד פרישה מוקדמת ובכך להביא את החלק של המשכורות בתקציב הספריה לרמה דומה לספריות אחרות באוסטרליה ולהשתמש בכסף שנחסך בכוח אדם לשיפור השירותים.
StephenTown דיווח על סקר שבדק את פעילויות ההערכה בכ- 108ספריות מחקר בבריטניה.
התוצאות הראו כי למרות שרוב הספריות מבצעות פעילויות הערכה, רק באחת מהן יש אחראי צוות הערכה במשרה מלאה, ואילו ב25% מהן יש ועדת הערכה ו ב- 25% מהן יש רכז הערכה במשרה חלקית.
אף אחד מהאנשים המעורבים בהערכה לא עבר הכשרה מתאימה.
כמעט כל הספריות העריכו את הפעילויות הבאות: שירותי יעץ, משאבים אלקטרוניים, השאלה, רכישות, השב"ס, אתר אינטרנט, אוריינות מידע ואת הקטלוג המקוון.
נפוץ ביותר היה השימוש בסטטיסטיקות, תיבות ההצעה, כריית נתונים (Data mining), הערכת תוצאות(Outcomes evaluation) , השוואות עמיתים (Benchmarking) KPIs Key Performance Indicators).
מעטים השתמשו בהחזר על ההשקעה (ROI (Return-on-investment),הערכת ההשפעה(Impact assessment) Balanced Scorecard, אוריינטציה פיזית, הקונה הסודי.
השיפורים הנפוצים ביותר כתוצאה מפעילויות ההערכה היו: יותר שעות פתיחה, אתרי אינטרנט משופרים, יותר שירותי תמיכה טכנולוגית, שיפור תהליך של החזרת פריטים למדף, יותר משאבים אלקטרוניים, ארגון טוב יותר של חלל הספרייה ושינויים במבנה הארגוני.
Stephen נתן מצגת על תוכנית "Effective, Sustainable, and Practical Assessment" (ESP) של ARL שניתנה על ידי Steve Hiller, Jim Self and MarthaKyrillidou, אשר לאחרונה התרחבה מצפון אמריקה לישראל, דרום אפריקה ובריטניה. לדברי סטיבן, היתרונות של התוכנית כוללים: ראיה רחבה חיצונית ממומחים אשר מעודדת תרבות של הערכה בארגון, קבלת המלצות ספציפיות מחוץ לאזורי הנוחות, וקבלת דו"ח תמציתי ומשכנע אשר מתאר את המצב ההערכה הנוכחי והאופטימאלי במוסד.

ההרצאה האחרונה הייתה של Poll Roswithaמאוניברסיטת מונסטר-בגרמניה שדיברה על מדידה איכותית וכמותית של ביצועי הצוות. היא דיברה על שימוש בשיטות רכות כמו שאלון משתמשים, עמיתים, ממונים ואפילו הערכה עצמית וגם על אמצעים כגון בדיקת דיוק העבודה, עדכניות עלויות וזמן.

 יום רביעי 19 אוגוסט 2009

היום התחיל עם מצגת מאוד מעניינת שניתנה על ידי Isabella-Trahan מאוניברסיטת נניאנג טכנולוגית (NTU) בסינגפור (לשעבר מאוניברסיטת ניו סאות 'ויילס (NSW) באוסטרליה). היא דנה בנושא הקושי למצוא שותפים באזור להשוואות עמיתים ותיארה את החשיבות של מציאת שותפים בעלי רקע תרבותי דומה.
היא ציטטה ספרות המראה את הנטיות התרבותיות של האסיאתים במילוי שאלונים, כגון הימנעות מקיצוניות, שמרנות, הימנעות מביקורת שלילית או מתלונות ישירות. לכן כדאי שספריות ברחבי העולם ישתמשו בציון DM כדי לקזז את הטיות תרבותיות הקיימות ב LibQUAL+®. לטענתה ציון ה- DM מבוסס על שילוב של כל התוצאות (המינימום, הנתפס והרצוי) כדי לקבל ציוני ציון משוקלל אחד מתוך 100 עבור כל שאלה.
חישוב ציון זה צריך להיות חלק אוטומטי של LibQUAL+®Analytics ® וכי סטנדרטיזציה של ביצועים טובים בספריות אקדמיות נדרשת כדי שספריות יוכלו למדוד את עצמם מול ספריות אחרות. בנוסף,הסברת תוצאות ה LibQUAL+® לבעלי העניין תהיה הרבה יותר קלה אם כל הספריות ישתמשו בציון DM במקום תרשימי רדאר.
StephenTown נתן מצגת עיונית ומעשית בנושא החשיבות של הגדרה והפצת ערכים לצוות הספריה.
באופן ספציפי, הוא דיבר על תפקידה של מנהיגות בהקניית ערכי של הספריה לסגל ולמשתמשים.
יש להתחיל עם שתי שאלות מפתח לסגל: "האם אתה מכיר את הצהרת הכוונות שלנו?" ו "האם הצהרת הכוונות שלנו מלמדת או משפיעה על היום עבודה שלך?"
לאחר מכן הוא תיאר את "Competing Values Framework" (CVF) כבסיס להגדרת התרבות הספריה: 1. תרבות ה- Clan המתמקדת בשירותי לקוחות כמו "country club חסרת אחריות", 2. תרבות ה- Adhocracy אשר מתמקדת בפיתוח ספריה דיגיטלית והיא כמו "אנרכיה סוערת", 3. תרבות ה- Hierarchy המתמקדת בניהול תוכן והיא כמו "ביורוקרטיה חונקת", ו 4. תרבות ה- Market המתמקדת בקשר האקדמי והיא כמו "מפעל יזע מדכא".
Stephen ביקש מהצוות שלו להגיב על התרבות השולטת במוסד שלהם. הוא גם יצר בלוג שנקרא "דיון ערכי" וביקש מהעובדים להגיב על שני ההצהרות הבאות: "אנו מתמקדים במשתמשים וקשובים לצרכים שלהם" ו"אנחנו מוסיפים ערך ותורמים תוצאות חינוכיות".
בנוסף, הוא לקח את הצוות ליום גיבוש בנושא הערכים כדי לשמוע מהעובדים מה הם הערכים של הספריה.
Steve-Hiller מאוניברסיטת וושינגטון-בסיאטל, ואנוכי העברנו מצגת על "סקר שימוש בספרייה" (ILU) אשר בוצע שלוש פעמים בוושינגטון ופעם אחת בחיפה (בעברית).
הסקר נועד לגלות מי משתמש בספריה ומה הם עושים שם. בנוסף, הוא בודק את החשיבות של שירותי ספריה וכיצד הם מדרגים אותם.
הממצא העיקרי היה כי תלמידי תואר ראשון נוטים להשתמש בספריה כשטח למידה ולא לצורך שימוש באוספים או עזרה מהצוות ואילו תלמידים לתארים מתקדמים וחברי סגל בקושי משתמשים בספרייה הפיזית.
סטודנטים במדעים משתמשים בספריה לעבודה בקבוצות ואילו תלמידי מדעי הרוח משתמשים בספריה ללימוד עצמי.
הבדל מעניין בין וושינגטון לבין חיפה היה כי תלמידי חיפה משתמשים באוספים ומבקשים סיוע רב מהצוות יותר מאשר בוושינגטון, ככל הנראה בשל ההבדלים תרבותיים כגון: חוסר היכרות עם ספריות בארץ והצורך בקריאת טקסטים באנגלית (שאינה שפת אמם)-גם סטיב וגם אני הדגשנו את החשיבות של שימוש הערות לזהות עניינים מעשיים.
לאחר מכן היה פאנל על מדידת תוצאות עם Stephen Town, Steve Hiller, Roswitha Poll וJohn Bertot.
סטיבן דן בפרויקט VAMP של SONUL אשר מספק ערכת כלים למנהלי ספריות כדי להראות את הערך של שירותי ספריה בעלי העניין עם שימת דגש על: ערך תמורת כסף (VFM) וההשפעה הכלכלית, השפעה על למידה והוראה, ואת השפעתה על המחקר.
בנוסף, ציין סטיבן את קבוצת WGPI (קבוצת העבודה על שיפורי ביצועים) של SCONUL ופורטל הביצועים ואתר ה Wiki כמקורות מידע על פעילויות הערכה והמדידה באנגליה.
אחר הצהריים הסתיים עם סדנא מעולה: "מנחים צוות הספריה לפעול על פי תוצאות סקרי המשתמשים" שהועברה על ידי Bowlby Raynnaו Martha Kyrillidou מ ARL,
Raynna פתח בשאלה "כמה מכם מרגישים שאתם האדם בספריה שתמיד שואל בפגישות: "אבל איפה הנתונים?" ולאחר מכן עמיתיך עונים 'אנחנו לא צריכים נתונים, אנחנו יודעים מה המשתמשים שלנו צריכים''" - מצב שמוכר לי מאוד.
Raynna ומרתה הציעו לקחת ארבע או חמש שאלות LibQUAL+® ולהציג אותן לצוות במחלקות קטנות.
וזאת כדי להזכיר להם את השאלות וכדי להראות להם כי הם הקשר האישי של הבעיות שעלו.
בנוסף, כדאי להתמקד באחד או שני נושאים שקיבלו ציונים גבוהים שיכולים להיחשב כעובדים היטב, אחד או שני נושאים שדרושים שיפור ואחד או שני נושאים שכבר בתהליך של שיפור.
הצוות מתבקש להגדיר יעדים (SMART (Specific, Measureable Attainable, Relevant and Time-bound - ספציפי, מדיד, בר השגה, רלוונטי ומוגדר בזמן) עבור כל בעיה.
לדוגמא: אם יש בעיה בהחזרת פריטים למדף, היעד יכול להיות "לקרוא את המדף פעם בשנה עבור חמשת האזורים הנמצאים בשימוש הרב ביותר בהתבסס על נתוני השאלה" או אם התאורה היא בעיה יעד יכול להיות: " להוסיף תאורה ב 45% מהשולחנות עד סוף השנה" או "לשפר הציון עבור כתבי עת אלקטרוניים מ 7.02 ל 7.70 בשנת 2010".
היה מעניין מאוד לשמוע בסדנה זו כמה מעט תומכים בספרני הערכה בספריות אחרות - הן ע"י מהמנהלים והן ע"י העמיתים - מצב שונה מאוד מהמצב באוניברסיטת חיפה, שבה יש ספרן הערכה במשרה חלקית ושמונה עובדים באופן חלקי בצוות ההערכה.
Raynna הראה אתר אינטרנט מעניין לניתוח הערות במהירותwordle.net- למי שאין לו atlas.ti הוא מאפשר למשתמש להעתיק ולהדביק את כל ההערות ולקבל תצוגה גרפית של המילים המופיעות בתדירות הגבוהה ביותר.
ביצעתי זאת עבור חיפה ומצאתי כי המילה "תלונה" הופיע בתדירות הגבוהה ביותר.

 יום חמישי 20 אוגוסט 2009

היום נפתח עם Bruce-Thompsonמאוניברסיטת טקסס M & A בהצגת פרוטוקול הלייט של LibQUAL+®, המבוסס על תוצאותיה של אוניברסיטת חיפה.
הממצאים מראים כי לא היו הבדלים משמעותיים בין תוצאות פרוטוקול הלייט לבין תוצאות השאלון הארוך, רק שיעור היענות היה גבוה יותר וזמן מילוי השאלון היה קצר יותר בלייט. עם זאת, התוצאות במימד ה-IC (שליטה על המידע)ו ה- LP (הספרייה כמקום) היו מעט גבוהות בגרסת ה - Long.
לאחר מכן, Hammes Monica- מאוניברסיטת פרטוריה בדרום אפריקה דיברה על הדור השלישי של ה- Balanced Scorecard ככלי לניהול אסטרטגי, ו Charles Lowryמ ARL הציג את ה- ClimateQUALTM אשר נועד להעריך את העמדות והתפיסות של הצוות לגבי האקלים והתרבות הארגונית. הרעיון הוא ששינוי עמדות הצוות יביא לשינוי ארגוני.
הכנס נסגר בהרצאה שלSerraiAlfredo- מאוניברסיטת רומא על החובה האתית, המדעית והתרבותית לשמור על ספריות בעידן של שינויים.

בסוף הכנס זכיתי לטוס מפירנצה לרומא עםMartha Kyrillidou . במהלך הזמן שבילינו יחד היא סיפרה לי על Aaron Cohen Associates חברה אמריקאית שערכה ביקורת חזותית (Visual audit)של השטח של ספריית Gumberg באוניברסיטת Duquesne בעקבות תוצאות לא טובות במימד ה-LP ("הספרייה כמקום") ב-LibQUAL+®. לאחר הביקורת וביצוע שינויים, התוצאות השתפרו. היא גם סיפרה לי על TICER (מרכז טילבורג לחדשנות במשאבים אלקטרוניים) חברה הולנדית שמציעה ייעוץ לספריות דיגיטליות בתשתית ה-IT ומארגנת קורסים וסמינרים בנושא.

הכנס היה מהנה מאוד הן מבחינה אישית והן מבחינה מקצועית. פגשתי את האנשים המובילים בתחום הערכה בעולם והיה לי העונג להשתתף באירועים הפורמלים והבלתי פורמליים במהלכו.

לעיונכם: קישור למצגות הכנס דרך: Library Plus Blog