Koncept vrstev – Trisigma

Při spouštění více experimentů současně existuje riziko, že se vzájemně ovlivní metriky v reportu a především uživatelský zážitek.

Systém vrstvení umožňuje souběžné spuštění více konfliktních experimentů, čímž se minimalizuje riziko negativního dopadu na uživatelský zážitek.

Vrstvy a experimenty na nich umístěné si můžete prohlédnout na TODO.

Příklad protichůdných experimentů

Uveďme klasický příklad:

• Experiment A: Testování přidání modrého pozadí ke konkrétnímu tlačítku v rozhraní
• Experiment B: testuje změnu barvy textu na modrou pro stejné tlačítko.

Uživatel, který je současně vystaven oběma experimentům, narazí na modré tlačítko bez viditelného modrého textu.

Experimenty zahrnující stejné části systému mohou být nekompatibilní, nebo jinými slovy, mohou mít konflikty.

Popis systému

Vrstva – nástroj pro provádění A/B testování, reprezentující část funkcionality systému, ve kterém jsou testy prováděny. Vrstvy umožňují seskupování a provádění konfliktních experimentů současně bez rizika vzniku dopravních průniků. Technicky vzato je vrstva reprezentací uživatelského provozu dopadajícího na určitou část systému.

Například vrstva košíku může představovat funkcionalitu dostupnou uživateli při práci s nákupním košíkem. Při provádění experimentů taková vrstva představuje provoz spojený s akcemi uživatele v „nákupním košíku“.

Hlavním úkolem vrstvy je vytvořit komprimovanou reprezentaci uživatelského provozu vhodnou pro vytváření pravidel pro sdílení provozu v experimentech.

Každá vrstva se skládá ze sady sloty, což představuje stejné a nedělitelné podíly provozu. Počet slotů je hlavním parametrem vrstvy. Vrstva se obvykle skládá z 200 slotů. Minimální podíl provozu na takové vrstvě je 0.5 %.

Jako spojovací prvek mezi umisťovanými objekty a vrstvami, umístěníUmístění popisují sadu slotů přiřazených umístěnému objektu a také obsahují nastavení používaná k detekci konfliktů.

Aby se předešlo nežádoucím konfliktům, musí být každý experiment přiřazen k určité vrstvě.

Systém používá sadu slotů jako interní reprezentaci provozu. Slot je nedělitelná jednotka a představuje podíl provozu nepřímo úměrný počtu slotů na vrstvě.

Každá vrstva se skládá ze sady slotů, jejichž počet je určen při vytváření. Sloty ve vrstvě mají stejný podíl a dohromady tvoří plných 100 % provozu. Počet slotů určuje granularitu provozu ve vrstvě. Například vrstva se 100 sloty pracuje s podílem provozu 1 % a experimenty na takové vrstvě mohou zahrnovat objem provozu, který je násobkem 1 %.

Každá jednotka provozu je náhodně a reprodukovatelně promítnuta do jednoho ze slotů vrstvy podle následujícího pravidla:

slotNum = hash(str(trafficUnitId) + layerSalt) % layerSlotsCount 

ID trafficUnitId může být libovolný identifikátor, na základě kterého je experiment prováděn.

Náhodnost a reprodukovatelnost projekce je zajištěna hašovacím mechanismem a layerSalt umožňuje dodatečné míchání provozu na vrstvě. Salt, jedinečný pro každou vrstvu, poskytuje různé výsledky projekce na různých vrstvách a také umožňuje měnit projekci (míchání provozu) na vrstvě v průběhu času (například po dokončení všech experimentů na vrstvě, aby se zbavil tzv. „paměťového efektu“).

Dalším parametrem vrstvy je „kapacita» sloty vrstev. Tento parametr lze použít k nastavení horního limitu počtu umístění, která mohou slot současně používat. Lze jej použít k jednotnějšímu využití slotů vrstev a také k omezení pravděpodobnosti konfliktů mezi umístěními (čím méně umístění může slot současně používat, tím nižší je pravděpodobnost konfliktů mezi nimi). Tento parametr se v současné době nepoužívá a pravděpodobně vyžaduje určité vylepšení, protože vůbec nezohledňuje hranice umístění.

Umístění definují vztah mezi objektem umístěným na vrstvě (např. experiment) a sadou slotů. Obsahují také informace o přítomnosti a povaze konfliktů s jinými umístěními.

Účast v experimentu umístěném na vrstvě je určena umístěním projekce dopravní jednotky do určité sady slotů.

Jak vrstvy pomáhají vyřešit problém souběžného provádění konfliktních experimentů?

Vezměme si z příkladu dva experimenty: A a B. Je známo, že jsou prováděny na stejném tlačítku a jsou považovány za konfliktní.

Uživatel v příkladu by se neměl dostat do experimentu A s přidáním modrého pozadí k tlačítku a zároveň do experimentu B se změnou barvy textu na modrou. Zároveň se uživatel může zúčastnit jednoho z experimentů nebo se nezúčastnit žádného z nich.

Hlavní princip Řešením tohoto problému je, že konfliktní experimenty nemohou sdílet stejnou návštěvnost ve stejnou dobu.

K implementaci tohoto principu se používá projekce návštěvnosti na sloty a také umístění, jejichž vlastnosti popisují vztahy mezi umístěními a přístup ke sdílení slotů. Základní pravidlo V systému pro řešení konfliktů to zní takto: umístění, která spolu kolidují, nemohou současně obsazovat stejné sloty na vrstvě.

Abyste toto pravidlo aplikovali v praxi, musíte umístit oba experimenty na stejnou vrstvu, například vrstvu tlačítek, a poté označit, že tato umístění vzájemně kolidují. Systém pak při spuštění experimentů automaticky zkontroluje, zda pravidlo není porušeno, a pokud se po spuštění ukáže, že pravidlo porušeno je, nepovolí spuštění experimentu.

Umístění a konfliktní prostředí

Umístění ukládají nejen vztah mezi umístěným objektem a sloty vrstev, ale také metainformace o objektu a nastavení pro správu systému.

Metainformace o objektu v umístění obsahují:

• typ umístěného objektu
• rozsah působnosti (typ účastníka, soubor platforem a odpovídající minimální verze)

Rozsah umístěného objektu se používá k určení možnosti konfliktů. U objektů s nepřekrývajícími se rozsahy se předpokládá, že ke konfliktům nemůže dojít.

Umístění tedy hrají roli hlavního nástroje pro konfiguraci logiky detekce konfliktů v systému. Parametry umístění umožňují řídit kontrolu konfliktů a chování při změně složení slotů / situace na vrstvě.

Mechanika výběru slotu#

V současné době jsou implementovány dva mechanismy pro výběr pozic pro umístění: automatické и Ruka.

Automatický výběr slotů umožňuje specifikovat požadovaný podíl provozu na vrstvě a výběr slotu ponechat na systému. Tato mechanika výběru umožňuje systému automaticky upravit výběr slotů před zahájením experimentu, pokud původně vybrané sloty z nějakého důvodu nejsou k dispozici.

Ruční výběr slotů může být v některých případech nutný, když je nutné opravit sadu slotů pro použití v umístění. Takové mechanismy jsou například potřebné k provádění reklamních experimentů, ve kterých má číslo slotu na vrstvě další hodnotu produktu. Systém nemůže automaticky upravovat ručně vybrané sloty, takže spuštění experimentu bude spíše zakázáno z důvodu nedostupnosti vybraných slotů.

Ve většině případů se doporučuje použít automatický výběr slotů.

Přístup ke sdílení slotů#

K dispozici jsou dva přístupy k použití:tolerantní„A“zakazující„Hlavní rozdíl mezi přístupy spočívá v logice určování konfliktů mezi umístěními.“

Permisivní přístup implementuje logiku: „ostatní umístění vrstev nejsou považována za konfliktní, dokud je uživatel jako konfliktní neoznačí“. Tento přístup se na platformě používá ve většině případů.

Prohibitivní přístup implementuje jinou logiku: „ostatní umístění ve vrstvách jsou považována za konfliktní, dokud uživatel neoznačí absenci konfliktů.“ Tento přístup může být vyžadován pro experimenty, které mění významnou část funkcionality, protože u nich je pravděpodobnost konfliktů s jinými experimenty na vrstvě vyšší. Tento přístup může být také užitečný pro provádění reklamních experimentů, u kterých je současné použití slotu na vrstvě několika experimenty zakázáno.

Doporučuje se používat permisivní přístup ve všech případech s výjimkou těch, kde je vyžadována obzvláště pečlivá kontrola absence konfliktů.

Umístěný objekt č.

Jsou implementovány dva typy umístěných objektů: experimenty и Experimentální možnosti.

Umístění experimentálních variant je povoleno ve zvláštních případech, v ostatních případech by se mělo použít umístění experimentů.

Zvláštním případem jsou například reklamní experimenty, u kterých je nutné pro experimentální varianty fixně nastavit čísla slotů na vrstvě z důvodu přítomnosti produktového významu přiřazeného k číslu slotu.

Stavy příspěvků#

Každé umístění může být v jednom ze tří stavů:

• «Plánováno„– umístění vrstvy bylo vytvořeno, ale nepoužívá se pro dopravní značení. Konflikty v tomto stavu nejsou kontrolovány, jakékoli změny parametrů jsou možné.“
• «Aktivně„– umístění se aktuálně používá pro značení provozu. K přechodu do tohoto stavu dochází například při spuštění experimentu po kontrole absence konfliktů. V tomto stavu lze pro umístění změnit nastavení podílu provozu a konfliktů. Změny se projeví pouze v případě, že nevzniknou žádné nové konflikty. Přechod do stavu „Aktivní“ je možný pouze na aktivních vrstvách. Vrstvy lze „zmrazit“ – aktivace nových umístění bude zakázána.
• «V archivu» – umístění se nepoužívá pro značení dopravy, kontroly konfliktů jsou zakázány, změny jsou zakázány. Umístění v tomto stavu jsou uložena v systému pro historii a nelze je dále používat. K přechodu do tohoto stavu dochází například při zastavení experimentu.

Umístění seskupená podle stavu se zobrazují ve vrstvě „karta“ na stránce vrstev. Pro snazší orientaci jsou umístění se stavem „Archivováno“ ze zobrazení vyloučena.

Kde se konfigurují systémové parametry?

Parametry vrstev se nastavují při vytváření/úpravě vrstvy. Je žádoucí mít v systému dostatečný, ale ne nadměrný počet vrstev, protože to umožňuje vyhnout se nejasnostem při výběru vrstvy k umístění a také snižuje riziko konfliktů mezi experimenty na různých vrstvách.

Nastavení umístění bylo přesunuto do rozhraní experimentu a je přístupné kliknutím na tlačítko „Spustit nastavení“ na stránce experimentu.

V nastavení spuštění experimentu můžete vybrat vrstvu pro umístění, nastavit požadovaný podíl návštěvnosti a označit konflikty s ostatními experimenty na vrstvě. Konflikty lze označit jak pro existující experimenty, tak pro ty, které jsou teprve plánovány.

Volba vrstvy závisí na funkcionalitě ovlivněné experimentem.

Provoz dostupný na vrstvě závisí na výběru konfliktů a pro přehlednost se zobrazuje samostatně podle platforem. Po spuštění bude podíl provozu dopadajícího na platformy uvedené v experimentu stejný. Pro odhad maximálního dostupného podílu provozu k použití se můžete zaměřit na minimální procento provozu podle platforem v bloku „Volné místo“.

Pokud experiment ještě nespustil a požadovaný podíl provozu překročí maximum dostupného provozu, bude po spuštění experimentu zařazen do fronty a bude čekat, dokud nebude k dispozici požadované množství provozu.

U spuštěných experimentů můžete při úpravě nastavení spuštění zvýšit podíl provozu pouze na částku, která nepřesahuje dostupné maximum.

Příklad rozhraní nastavení spuštění

Nastavení spouštění je vázáno na konkrétní vrstvu a změna vrstvy při zachování ostatních parametrů nedává smysl. Pokud tedy potřebujete vrstvu změnit, je třeba resetovat aktuální nastavení spouštění a poté nastavit nová.

Úprava „nastavení spuštění“ zůstává dostupná i po spuštění experimentu. V případě potřeby tedy můžete změnit podíl provozu v probíhajícím experimentu nebo označit nové / upravit zadané konflikty.

Systémová omezení#

Systém vrstev má v současné době následující omezení:

1. Není implementována možnost specifikovat konflikty mezi vrstvami. Tato možnost může být vyžadována, pokud experiment ovlivňuje různé části funkcionality a je nutné zajistit absenci konfliktů s experimenty na různých vrstvách. Vzhledem k tomu, že projekce provozu na sloty pro různé vrstvy se bude lišit v důsledku rozdílu v solích, implementace konfliktů mezi vrstvami povede k blokování spuštění experimentů z jiných vrstev specifikovaných jako konfliktní při spuštění jedné z nich po spuštění.
2. Neexistuje způsob, jak specifikovat experimenty s různými hranicemi vlivu mezi konflikty. Může například vzniknout požadavek na specifikaci experimentů s různými typy účastníků mezi konflikty.