Badania

Pytanie badawcze

Etyczny projekt informacji

Metoda

Badanie teoretyczne · n/a · DOI 10.1257/aer.101.6.2590

Założenia

• Perswazja bayesowska: Model teoretyczny, w którym nadawca zobowiązuje się do struktury informacji przed działaniem racjonalnego odbiorcy.
• Nadawca i odbiorca: Strony projektujące sygnał i działające po jego zaobserwowaniu.
• Projektowanie informacji: Celowe i prawdziwe ułożenie tego, jakie informacje są ujawniane i kiedy.
• Zobowiązanie: Założenie, że polityka informacji jest ustalona przed poznaniem wyniku.

Co wspierają dowody

Porządkuj prawdziwe dowody, niepewność i wykluczenia wokół decyzji; nie twórz manipulacyjnego wyniku z perswazji bayesowskiej.

Ograniczenia i przenoszenie

Połącz twierdzenia z dowodami, niepewnością, alternatywami i uczciwym dopasowaniem bez oceny perswazji. Pomaga planować i ujawniać; nie dowodzi zmiany zachowania przez tekst.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Pomaga planować i ujawniać; nie dowodzi zmiany zachowania przez tekst.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Pozycjonowanie konkurencyjne

Metoda

Badanie teoretyczne · n/a · DOI 10.1093/restud/rdw052

Założenia

• Nadawca i odbiorca: Strony projektujące sygnał i działające po jego zaobserwowaniu.
• Projektowanie informacji: Celowe i prawdziwe ułożenie tego, jakie informacje są ujawniane i kiedy.
• Zobowiązanie: Założenie, że polityka informacji jest ustalona przed poznaniem wyniku.

Co wspierają dowody

Porównuj prawdziwe alternatywy na wspólnej podstawie. Konkurencja może zwiększać lub zmniejszać ujawnianie i nie tworzy automatycznie prawdy.

Ograniczenia i przenoszenie

Połącz twierdzenia z dowodami, niepewnością, alternatywami i uczciwym dopasowaniem bez oceny perswazji. Pomaga planować i ujawniać; nie dowodzi zmiany zachowania przez tekst.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Pomaga planować i ujawniać; nie dowodzi zmiany zachowania przez tekst.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Racjonalna uwaga i tarcie

Metoda

Eksperyment kontrolowany · 12 · n=238 · DOI 10.1007/s10683-024-09843-z

Założenia

• Racjonalna nieuwaga: Modele równoważące wartość informacji z kosztem uwagi lub przetwarzania.

Co wspierają dowody

Oceń stawkę, znajomość, niepewność, odwracalność i koszt informacji. Eksperyment kupujący-sprzedawca nie daje uniwersalnego indeksu.

Ograniczenia i przenoszenie

Oceń decyzję w kontekście bez założenia, że mniej opcji zawsze znaczy lepiej. Wynik to obserwacje i hipotezy, nie ocena konwersji.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Wynik to obserwacje i hipotezy, nie ocena konwersji.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Otwarty dostęp CC BY 4.0

Pytanie badawcze

Wpływ i dystrybucja

Metoda

Badanie algorytmiczne · Independent Cascade; Linear Threshold; (1−1/e−ε); DOI 10.1145/956750.956769

Założenia

• Maksymalizacja wpływu: Wybór węzłów startowych maksymalizujących oczekiwaną dyfuzję w określonym modelu grafu.
• Submodularność: Własność malejącego zwrotu przy dodawaniu tego samego ziarna do większego zbioru.

Co wspierają dowody

Modeluj prawdziwy graf z parametrami i niepewnością. Zachłanne przybliżenie przy submodularności nie prognozuje wiralności.

Ograniczenia i przenoszenie

Porównaj zachłanny Monte Carlo z bazą stopnia przy jawnych założeniach dyfuzji. Zasięg zależy od grafu, parametrów i modelu; nie jest prognozą wiralności.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Zasięg zależy od grafu, parametrów i modelu; nie jest prognozą wiralności.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Dowody wiarygodności

Metoda

Historyczne dowody behawioralne · 1999 · n=1,410 · US/FI · 51 · DOI 10.1145/365024.365037

Założenia

Sprawdź widoczną tożsamość, autorów, źródła, zasady, użyteczność i bezpieczeństwo bez prognozy konwersji.

Co wspierają dowody

Pokaż tożsamość, autorów, źródła, zasady, daty, bezpieczeństwo i dostępność. Historyczna percepcja to nie badanie konwersji lub rankingu.

Ograniczenia i przenoszenie

Sprawdź widoczną tożsamość, autorów, źródła, zasady, użyteczność i bezpieczeństwo bez prognozy konwersji. Automat nie potwierdza wiedzy, prawdy, pełnej dostępności ani ludzkiej percepcji.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Automat nie potwierdza wiedzy, prawdy, pełnej dostępności ani ludzkiej percepcji.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Architektura wyboru

Metoda

Metaanaliza · 63 · 50 · N=5,036 · d=.02 · 95% CI −.09… .12 · I²=68% · DOI 10.1086/651235

Założenia

• Przeciążenie wyborem: Kontekstowa możliwość, że większy wybór zaszkodzi decyzji; nie reguła uniwersalna.

Co wspierają dowody

Kategoryzuj i ujawniaj stopniowo, gdy pomaga, ale testuj kontekst. Meta-analiza miała średni efekt bliski zeru i dużą heterogeniczność.

Ograniczenia i przenoszenie

Oceń decyzję w kontekście bez założenia, że mniej opcji zawsze znaczy lepiej. Wynik to obserwacje i hipotezy, nie ocena konwersji.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Wynik to obserwacje i hipotezy, nie ocena konwersji.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Eksperymenty kontrolowane

Metoda

Operacyjne wytyczne eksperymentalne · DOI 10.1007/s10618-008-0114-1

Założenia

• Ogólne Kryterium Oceny: Główna metryka zdefiniowana przed eksperymentem do oceny całości.
• Metryka ochronna: Metryka, która może zablokować wdrożenie, gdy chroniony wynik się pogarsza.

Co wspierają dowody

Zdefiniuj OEC, guardrails, moc, przydział, wdrożenie i stop przed wynikami. Graniczny p-value nie wybiera zwycięzcy.

Ograniczenia i przenoszenie

Dokumentuj hipotezę, metrykę, próbę i obserwowany efekt za pomocą jawnych obliczeń. Istotność nie oznacza wartości biznesowej, a porównanie przed-po nie dowodzi przyczynowości.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Istotność nie oznacza wartości biznesowej, a porównanie przed-po nie dowodzi przyczynowości.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Wydawca podaje otwarty dostęp; licencję ponownego użycia trzeba potwierdzić

Pytanie badawcze

Błędy interpretacji

Metoda

Operacyjne wytyczne eksperymentalne · 12 · Microsoft · DOI 10.1145/3097983.3098024

Założenia

• Niezgodność proporcji próby: Mało prawdopodobna różnica między zaobserwowanym i planowanym przydziałem.
• Efekty nowości i pierwszeństwa: Tymczasowe reakcje na nowość albo uczenie się i adaptację w czasie.
• Paradoks Simpsona: Odwrócenie wzorca zbiorczego i podgrup przez różne wagi lub zakłócenie.
• Prawo Twymana: Ostrzeżenie, że wyjątkowo zaskakujący wynik wymaga dodatkowej kontroli.

Co wspierają dowody

Sprawdź SRM, współczynniki, telemetrię, moc, wielokrotność, segmenty, odstające, nowość, lejek, Simpsona i prawo Twymana.

Ograniczenia i przenoszenie

Dokumentuj hipotezę, metrykę, próbę i obserwowany efekt za pomocą jawnych obliczeń. Istotność nie oznacza wartości biznesowej, a porównanie przed-po nie dowodzi przyczynowości.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Istotność nie oznacza wartości biznesowej, a porównanie przed-po nie dowodzi przyczynowości.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link

Pytanie badawcze

Satysfakcja poza kliknięciami

Metoda

Historyczne dowody behawioralne · ≈6,000 · 7,628 · n=218 · DOI 10.1145/2505515.2505682

Założenia

• Przeformułowanie zapytania: Kolejne zapytanie zmieniające słowa, zakres lub terminy podczas zadania wyszukiwania.

Co wspierają dowody

Szybkie podobne przeformułowania mogą wspierać hipotezę sesji. Klik to nie sukces, cisza to nie satysfakcja, GSC agregat to nie sesja.

Ograniczenia i przenoszenie

Bada anonimowe przeformułowania sesji jako hipotezy; zapytania zostają lokalnie. Kliknięcie nie dowodzi sukcesu, a brak kolejnego zapytania — satysfakcji.

Czego to nie dowodzi

Nie obliczamy uniwersalnej oceny · Kliknięcie nie dowodzi sukcesu, a brak kolejnego zapytania — satysfakcji.

Czego NAVINES świadomie nie zbudował

Nie obliczamy uniwersalnej oceny

Źródła pierwotne

Copyright wydawcy; tylko streszczenie i oficjalny link