Несовпаѓање на односот на примерокот
Во дизајнот на експериментите, неусогласеноста на односот на примерокот ( SRM ) е статистички значајна разлика помеѓу очекуваните и вистинските соодноси на големините на групите за третман и контрола во експериментот. Неусогласеноста на односот на примерокот, исто така познато како неурамнотежено земање примероци [1] често се случувало во онлајн контролираните експерименти поради неуспеси во рандомизацијата и инструментацијата .[2]
Неусогласеноста на односот на примерокот може да се открие со помош на хи-квадрат тест .[3] Користењето методи за откривање на SRM може да им помогне на неекспертите да избегнат дискусии користејќи пристрасни податоци.[4] Ако големината на примерокот е доволно голема, дури и мало несовпаѓање помеѓу набљудуваните и очекуваните големини на групата може да ги поништи резултатите од експериментот.[5][6]
Несовпаѓањето на соодносот на примерокот е експериментален недостаток каде што очекуваната распределба на сообраќај не се вклопува со набљудуваниот број на посетители за секоја варијација на тестирање.
Со други зборови, СРМ е доказ дека нешто тргнало наопаку.
Несовпаѓањето на односот на примерокот е од клучно значење за да се знае при А/Б тестирањето.
Сега кога ја имате основната идеја, ајде да го разложиме овој концепт дел по дел.
Пример[уреди | уреди извор]
Да претпоставиме дека извршиме A/B тест во кој по случаен избор доделуваме 1000 корисници на групи за третман и контрола со еднаква големина (поделба од 50-50). Очекуваната големина на секоја група е 500. Сепак, реалните големини на групите за третман и контрола се 600 и 400.
Користејќи го Пирсоновиот хи-квадрат добрина на тестот, наоѓаме несовпаѓање на односот на примерокот со p -вредност од 2,54 × 10-10 . Со други зборови, ако доделувањето на корисниците било навистина случајно, веројатноста дека овие големини на третмани и контролни групи ќе се појават случајно е 2,54 × 10-10 .[7]
Наводи[уреди | уреди извор]
- ↑ Esteller-Cucala, Maria; Fernandez, Vicenc; Villuendas, Diego (2019-06-06). „Experimentation Pitfalls to Avoid in A/B Testing for Online Personalization“. Adjunct Publication of the 27th Conference on User Modeling, Adaptation and Personalization (англиски). ACM: 153–159. doi:10.1145/3314183.3323853. ISBN 978-1-4503-6711-0.
- ↑ Fabijan, Aleksander; Gupchup, Jayant; Gupta, Somit; Omhover, Jeff; Qin, Wen; Vermeer, Lukas; Dmitriev, Pavel (2019-07-25). „Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners“. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (англиски). ACM: 2156–2164. doi:10.1145/3292500.3330722. ISBN 978-1-4503-6201-6.
- ↑ Nie, Keyu; Zhang, Zezhong; Xu, Bingquan; Yuan, Tao (2022-10-17). „Ensure A/B Test Quality at Scale with Automated Randomization Validation and Sample Ratio Mismatch Detection“. Proceedings of the 31st ACM International Conference on Information & Knowledge Management (англиски). ACM: 3391–3399. arXiv:2208.07766. doi:10.1145/3511808.3557087. ISBN 978-1-4503-9236-5.
- ↑ Vermeer, Lukas; Anderson, Kevin; Acebal, Mauricio (2022-06-13). „Automated Sample Ratio Mismatch (SRM) detection and analysis“. Proceedings of the International Conference on Evaluation and Assessment in Software Engineering 2022 (англиски). ACM: 268–269. doi:10.1145/3530019.3534982. ISBN 978-1-4503-9613-4.
- ↑ Fabijan, Aleksander; Gupchup, Jayant; Gupta, Somit; Omhover, Jeff; Qin, Wen; Vermeer, Lukas; Dmitriev, Pavel. „Diagnosing Sample Ratio Mismatch in Online Controlled Experiments: A Taxonomy and Rules of Thumb for Practitioners“ (PDF). Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '19). doi:10.1145/3292500.3330722.
- ↑ Kohavi, Ron; Thomke, Stefan (2017-09-01). „The Surprising Power of Online Experiments“. Harvard Business Review. ISSN 0017-8012. Посетено на 2023-05-19.
- ↑ Vermeer, Lukas. „Frequently Asked Questions“. SRM Checker. Посетено на 2022-09-15.