אָפּטימיזעלי ינטעלליגענסע קלאָוד: ווי צו נוצן סטאַץ מאָטאָר צו אַ/ב פּרובירן סמאַרטער און פאַסטער

אָפּטימיזעלי סטאַץ מאָטאָר און א/ב טעסטינג סטראַטעגיעס

אויב איר זוכט צו לויפן אַן עקספּערימענטאַטיאָן פּראָגראַם צו העלפן דיין געשעפט פּרובירן און לערנען, עס איז מסתּמא אַז איר נוצן אָפּטימיזעלי ינטעלליגענסע קלאָוד - אָדער איר האָט לפּחות געקוקט אויף עס. אָפּטימיזעלי איז איינער פון די מערסט שטאַרק מכשירים אין די שפּיל, אָבער ווי קיין אַזאַ געצייַג, איר קען נוצן עס פאַלש אויב איר טאָן ניט פֿאַרשטיין ווי דאָס אַרבעט. 

וואָס מאכט אָפּטימיזעלי אַזוי שטאַרק? אין די האַרץ פון זיין שטריך שטעלן די מערסט ינפאָרמד און ינטואַטיוו סטאַטיסטיק מאָטאָר אין אַ דריט טיילווייַז געצייַג, וואָס אַלאַוז איר צו פאָקוס מער אויף באַקומען וויכטיק טעסץ לעבן-אָן זאָרג אַז איר פאַלש ינטערפּרעטינג דיין רעזולטאַטן. 

פיל ווי אַ בעקאַבאָלעדיק בלינד לערנען אין מעדיצין, א / בייטן טעסטינג וועט ראַנדאַמלי ווייַזן אַנדערש טריטמאַנץ פון דיין פּלאַץ צו פאַרשידענע יוזערז און דאַן פאַרגלייכן די יפעקטיוונאַס פון יעדער באַהאַנדלונג. 

דערנאָך סטאַטיסטיק העלפּס אונדז צו מאַכן ינפעראַנסאַז וועגן ווי עפעקטיוו די באַהאַנדלונג קען זיין אויף די לאַנג טערמין. 

רובֿ אַ/ב טעסטינג מכשירים פאַרלאָזנ זיך איינער פון צוויי טייפּס פון סטאַטיסטיש ינפעראַנס: פרעקווענטיסט אָדער בייעסיאַן סטאַץ. יעדער שולע האט פאַרשידן פּראָס און קאָנס - אָפטקייַט סטאַטיסטיק ריקווייערז אַ מוסטער גרייס איידער איר עקספּערימענט, און בייעסיאַן סטאַטיסטיק דער הויפּט זאָרגן וועגן גוטע דירעקטיאָנאַל דיסיזשאַנז, אלא ווי צו ספּעציפיצירן אַ איין ציפער פֿאַר פּראַל. די סופּערפּאָווער פון Optimizely איז אַז עס איז דער בלויז געצייַג אויף דעם מאַרק הייַנט צו נעמען אַ בעסטער פון ביידע וועלטן צוגאַנג.

דער סוף רעזולטאַט? אָפּטימיזעלי אַלאַוז ניצערס צו לויפן יקספּעראַמאַנץ פאַסטער, מער רילייאַבלי און ינטואַטיוולי.

כּדי צו נוצן דאָס גאָר, עס איז וויכטיק צו פֿאַרשטיין וואָס כאַפּאַנז הינטער די סינז. דאָ זענען 5 ינסייץ און סטראַטעגיעס וואָס העלפֿן איר מיט אָפּטימיזעלי ס קייפּאַבילאַטיז ווי אַ פּראָ.

סטראַטעגיע #1: פאַרשטיין אַז ניט אַלע מעטריקס זענען גלייך באשאפן

אין רובֿ טעסטינג מכשירים, אַ קאַמאַנלי אָוווערלוקט אַרויסגעבן איז אַז די מער מעטריקס איר לייגן און שפּור ווי אַ טייל פון דיין פּראָבע, די מער מסתּמא איר וועט זען פאַלש קאַנקלוזשאַנז רעכט צו טראַפ - שאַנס (אין סטאַטיסטיק, דאָס איז גערופֿן "קייפל טעסטינג פּראָבלעם "). כּדי צו האַלטן די רעזולטאַטן פאַרלאָזלעך, Optimizely ניצט אַ סעריע פון ​​קאָנטראָלס און קערעקשאַנז צו האַלטן די שאַנסן אַז דאָס כאַפּאַנז ווי נידעריק ווי מעגלעך. 

די קאָנטראָלס און קערעקשאַנז האָבן צוויי ימפּלאַקיישאַנז ווען איר שטעלן זיך טעסץ אין אָפּטימיזעלי. ערשטער, די מעטריק איר דעזיגנייט ווי דיין ערשטיק מעטריק וועט דערגרייכן סטאַטיסטיש באַטייַט פאַסטאַסט, אַלע אנדערע טינגז קעסיידערדיק. צווייטנס, די מער מעטריקס איר לייגן צו אַן עקספּערימענט, די מער דיין שפּעטער מעטריקס וועט נעמען מער צו דערגרייכן סטאַטיסטיש באַטייַט.

ווען פּלאַנירונג אַן עקספּערימענט, מאַכן זיכער אַז איר וויסן וואָס מעטריק איז דיין אמת צפון אין דיין באַשלוס-מאכן פּראָצעס, מאַכן דיין ערשטיק מעטריק. האַלטן די רעשט פון דיין מעטריקס רשימה דאַר דורך רימוווינג עפּעס וואָס איז צו יבעריק אָדער טאַנגענטיאַל.

סטראַטעגיע #2: בויען דיין אייגענע קאַסטאַמייזד אַטריביוץ

אָפּטימיזעלי איז גרויס צו געבן איר עטלעכע טשיקאַווע און נוציק וועגן צו אָפּשניט דיין עקספּערימענט רעזולטאַטן. למשל, איר קענען ונטערזוכן צי זיכער טריטמאַנץ פאָרשטעלונג בעסער אויף דעסקטאַפּ ווס רירעוודיק, אָדער אָבסערווירן דיפעראַנסיז צווישן פאַרקער קוואלן. ווען דיין עקספּערימענטאַטיאָן פּראָגראַם איז דערוואַקסן, איר וועט געשווינד ווינטשן נייַ סעגמאַנץ-דאָס קען זיין ספּעציפיש פֿאַר דיין נוצן, אַזאַ ווי סעגמאַנץ פֿאַר פּערטשאַסאַז פֿאַר איין מאָל אָדער אַבאָנעמענט, אָדער ווי "נייַ ווס. אומגעקערט וויזיטערז" (וואָס, פראַנגקלי, מיר נאָך קענען נישט געפֿינען וואָס דאָס איז נישט צוגעשטעלט אויס פון די קעסטל).

די גוטע נייַעס איז אַז דורך Optimizely ס Project Javascript פעלד, ענדזשאַנירז באַקאַנט מיט Optimizely קענען בויען אַ נומער פון טשיקאַווע מנהג אַטריביוץ וואָס וויזיטערז קענען זיין אַסיינד און סעגמענטעד דורך. ביי Cro Metrics, מיר האָבן געבויט אַ נומער פון לאַגער מאַדזשולז (ווי "נייַ ווס. אומגעקערט וויזיטערז") וואָס מיר ינסטאַלירן פֿאַר אַלע אונדזער קלייאַנץ דורך זייער Project Javascript. די נוצן פון דעם פיייקייט איז אַ שליסל דיפערענשיייטער צווישן דערוואַקסן טימז וואָס האָבן די רעכט טעכניש רעסורסן צו העלפֿן זיי דורכפירן און טימז וואָס סטראַגאַלינג צו פאַרשטיין די פול פּאָטענציעל פון יקספּעראַמאַנטיישאַן.

סטראַטעגיע #3: ויספאָרשן די סטאַטיס אַקסעלעראַטאָר פון Optimizely

איין אָפט-אָוווערכייווד טעסטינג געצייַג שטריך איז די פיייקייט צו נוצן "מאַלטי-אַרמד באַנדאַץ", אַ טיפּ פון אַלגערידאַם פֿאַר מאַשין לערנען וואָס דינאַמיקאַללי ענדערונגען די אָרט פון דיין פאַרקער בעשאַס אַן עקספּערימענט, צו שיקן ווי פילע וויזיטערז צו די "ווינינג" ווערייישאַן ווי מעגלעך. די פּראָבלעם מיט מאַלטי-אַרמד באַנדאַץ איז אַז זייער רעזולטאַטן זענען נישט פאַרלאָזלעך ינדאַקייטערז פון לאַנג-טערמין פאָרשטעלונג, אַזוי די נוצן פון דעם טיפּ פון יקספּעראַמאַנץ איז לימיטעד צו צייט-שפּירעוודיק קאַסעס ווי פארקויפונג פּערמאָושאַנז.

אָפּטימיזעד, אָבער, האט אַ אַנדערש טיפּ פון באַנדיט אַלגערידאַם בארעכטיגט פֿאַר יוזערז אויף העכער פּלאַנז - סטאַץ אַקסעלעראַטאָר (איצט באַוווסט ווי די "אַקסעלערייט לערן" אָפּציע אין באַנדאַץ). אין דעם סעטאַפּ, אַנשטאָט פון טריינג צו דינאַמיש אַלאַקייט פאַרקער צו די ווערייישאַן מיט די מערסט פּערפאָרמינג אָפּטימיזעלי דינאַמיקאַללי אַלאַקייץ פאַרקער צו די ווערייישאַנז וואָס זענען רובֿ מסתּמא צו דערגרייכן די סטאַטיסטיש באַטייַט. אין דעם וועג, איר קענען לערנען פאַסטער און האַלטן די רעפּליקאַביליטי פון טראדיציאנעלן A/B פּרובירן רעזולטאַטן.

סטראַטעגיע #4: לייג עמאָדזשיס צו דיין מעטריק נעמען

אין ערשטער בליק, דעם געדאַנק מיסטאָמע סאָונדס פֿון אָרט, אפילו מעשוגע. אָבער, אַ וויכטיק אַספּעקט פון מאַכן זיכער אַז איר לייענען די רעכט עקספּערימענט רעזולטאַטן איז צו מאַכן זיכער אַז דיין וילעם קען פֿאַרשטיין די קשיא. 

טראָץ אונדזער בעסטער השתדלות, מעטריק נעמען קענען ווערן קאַנפיוזינג (וואַרטן - צי דער מעטריק איז פייערד ווען די סדר איז אנגענומען, אָדער דער באַניצער היץ די דאַנקען איר בלאַט?), אָדער אַן עקספּערימענט האט אַזוי פילע מעטריקס אַז סקראָללינג אַרויף און אַראָפּ די רעזולטאַטן בלאַט פירט צו גאַנץ קאַגניטיוו אָווערלאָאַד.

אַדדינג עמאָדזשיס צו דיין מעטריקס נעמען (טאַרגאַץ, גרין טשעקמאַרקס, אפילו די גרויס געלט זעקל קען אַרבעט) קענען פירן צו פיל מער סקאַנאַבלע בלעטער. 

צוטרוי אונדז - לייענען רעזולטאַטן וועט פילן פיל גרינגער.

סטראַטעגיע #5: באַטראַכטן דיין סטאַטיסטיש באַטייַט מדרגה ווידער

רעזולטאַטן זענען דימד קאַנקלוסיוו אין דעם קאָנטעקסט פון אַן אָפּטימיזעלי עקספּערימענט ווען זיי ריטשט סטאַטיסטיש באַטייַט. סטאַטיסטיש באַטייַט איז אַ האַרט מאַטאַמאַטיקאַל טערמין, אָבער עס איז בייסיקלי די מאַשמאָעס אַז דיין אַבזערוויישאַנז זענען דער רעזולטאַט פון אַ פאַקטיש חילוק צווישן צוויי פּאַפּיאַליישאַנז, און ניט נאָר טראַפ - שאַנס. 

די סטאַטיסטיש באַטייַט לעוועלס פון אָפּטימיזעלי זענען "שטענדיק גילטיק" דאַנק צו אַ מאַטאַמאַטיקאַל באַגריף גערופֿן סאַקווענטשאַל טעסטינג - דאָס מאכט זיי פאקטיש פיל מער פאַרלאָזלעך ווי די פון אנדערע טעסטינג מכשירים, וואָס זענען פּראָנע צו אַלע סאָרץ פון "פּיקינג" ישוז אויב איר לייענען זיי צו באַלד.

עס איז כּדאַי צו באַטראַכטן די הייך פון סטאַטיסטיש באַטייַט וואָס איר באַטראַכטן וויכטיק פֿאַר דיין טעסטינג פּראָגראַם. כאָטש 95% איז די קאַנווענשאַן אין די וויסנשאפטלעכע קהל, מיר פּרובירן טעסץ אויף וועבזייטל, נישט וואַקסינז. אן אנדער פּראָסט ברירה אין די יקספּערמענאַל וועלט: 90%. אָבער ביסט איר גרייט צו אָננעמען אַ ביסל מער אַנסערטאַנטי צו לויפן יקספּעראַמאַנץ פאַסטער און פּרובירן מער יידיאַז? קען איר נוצן 85% אָדער אפילו 80% סטאַטיסטיש באַטייַט? זיין ינטענשאַנאַל וועגן דיין ריזיקירן-באַלוינונג וואָג קענען צאָלן עקספּאָונענשאַל דיווידענדז איבער צייַט, אַזוי טראַכטן דאָס קערפאַלי.

לייענען מער וועגן אָפּטימיזעלי ינטעלליגענסע קלאָוד

די פינף שנעל פּרינסאַפּאַלז און ינסייץ וועט זיין ינקרעדאַבלי נוציק צו האַלטן אין זינען ווען איר נוצן Optimizely. ווי מיט קיין געצייַג, עס איז צו מאַכן זיכער אַז איר האָבן אַ גוטע פארשטאנד פון אַלע די קוסטאָמיזאַטיאָנס הינטער די סינז, אַזוי איר קענען מאַכן זיכער אַז איר נוצן דעם געצייַג יפישאַנטלי און יפעקטיוולי. מיט די שכל, איר קענען באַקומען די פאַרלאָזלעך רעזולטאַטן איר זוכט פֿאַר ווען איר דאַרפֿן זיי. 

וואָס טאָן איר טראַכטן?

דעם פּלאַץ ניצט אַקיסמעט צו רעדוצירן ספּאַם. לערן ווי דיין קאָמענטאַר דאַטע איז פּראַסעסט.