O metodologicznych dylematach w badaniach nad uchodźcami wojennymi

Wczoraj opublikowaliśmy metodologiczny komentarz do naszych badań i ogólnie badań nad uchodźcami. Dzisiaj publikujemy odpowiedź kierownika zespołu badawczego dr hab. Piotra Długosza, prof. UKEN.

Dziękujemy za zwrócenie uwagi na kilka kwestii w badaniach uchodźców wojennych. Zacznę od podstawowej kwestii czyli od tego, że media rządzą się swoimi prawami i publikują to co chcą, podkreślają rzeczy, które są dla nich ważne i najczęściej poszukują sensacji.

Nasze badania są w pełni opisane w przygotowywanej publikacji, gdzie jest pokazany wielowymiarowy obraz badanego przedmiotu.  Same badania „obiektu”, który jest w stanie ciągłej zmiany, gdyż jedni wyjeżdżają, inni przyjeżdżają do Polski jest niezmiernie trudne.

Nasze badania zostały przeprowadzone za pomocą sondażu online CAWI (Computer Assisted Web Interview) wśród uchodźczyń wojennych z Ukrainy. Sondaż był realizowany w październiku i listopadzie 2023 r. Próba do badań była dobierana na podstawie dostępności badanych (Babbie 2003, s. 204). Taki nieprobabilistyczny dobór próby jest często stosowany, kiedy nie możemy losowo pobierać próby badawczej.

Sondaż został wykonany za pomocą bezpłatnego narzędzia do prowadzenia badań online LimeSurvey. Kwestionariusz ankiety był dostępny w języku ukraińskim. Ankietę dla respondentek rozsyłano do uczestniczek kursów językowych, zamieszczono także na stronie czasopisma „Sestry” adresowanego do ukraińskich uchodźczyń w Polsce oraz lokowano w serwisach społecznościowych dla Ukraińców w Polsce, jak np. „Ukraińcy w Rzeszowie”, Warszawie, Słupsku itp. Korzystano też z pomocy różnych organizacji i stowarzyszeń, które zajmowały się pomocą na rzecz uchodźców z Ukrainy. Ostatecznie do opracowania zostało zakwalifikowanych 466 ankiet.

Mimo zastosowania wielu metod dotarcia do ukraińskich uchodźczyń wojennych zdajemy sobie sprawę z obciążeń (trafność zewnętrzna) wynikających z nielosowego doboru próby. Mamy świadomość ograniczeń w zakresie wnioskowania. Wyniki z badanej zbiorowości mogą być obciążone błędami przy przenoszeniu ich na całą populację ukraińskich uchodźczyń wojennych będących w okresie badań w Polsce.

Należy pamiętać, iż badanie uchodźców nie należy do łatwych przedsięwzięć, gdyż jest to zbiorowość dynamiczna zmieniając swoją liczebność. Latem 2023 r. wedle ukraińskich badaczy najwięcej uchodźców wracało na Ukrainę z Polski (40%) (Ukrainians Abroad… 2023).

W związku z tym, iż mamy do czynienia niejako ze zbiorowością, która jest w ruchu badacze prowadzą badania dynamiczne aby móc uchwycić zachodzące zmiany wśród uchodźców będących w Polsce dłuższy czas. Większość z tych badań to badania trendów (Babbie 2003, s.122).

Polscy badacze są skazani na prowadzenie badań z pomocą nielosowego doboru próby. Znane badania Narodowego Banku Polskiego (pierwsza jak i druga fala) były realizowane za pomocą sondażu (ankieta papierowa), gdzie próba była celowa (Sytuacja życiowa… 2023).

Badania realizowane przez Centrum Badań nad Migracjami UW opierały się na  dwóch pomiarach wśród uchodźców wojennych z Ukrainy. W sondażu zastosowano nielosowy dobór próby pozyskując respondentów głównie za pomocą sieci społecznościowych, gdzie respondenci wypełniali ankiety internetowe (Górny 2023).

Owszem powyższe badania miały większe próby badawcze. Badania NBP zrealizowano na próbie n=3658. Badania OBM były realizowane na próbie n=7617 oraz  n=1034.

Jednakże o trafności zewnętrznej gównie decyduje losowy dobór próby. Innymi słowy, każdy uchodźca powinien mieć jednakowe prawo trafienia do próby. Wiemy, że ta zasada nie była spełniona w żadnym znanym nam badaniu w Polsce czy też na Ukrainie.

Autorzy zastrzegają się, że starali się tak konstruować próbę, aby była ona zbliżona swoimi cechami do parametrów populacji generalnej. Analogicznie postępowaliśmy w naszych badaniach zważając na wykształcenie, wiek, miejsce zamieszkania przed wybuchem wojny.

Warto też wspomnieć o metodologii badań stosowanej przez ukraińskich badaczy. Wydawałoby się, że on będzie bardziej precyzyjna i będzie zwiększać trafność zewnętrzną. Jednakże tak nie jest.

W badaniach sondażowych Factum Group (dwie fale) korzystano z panelu ukraińskich obywateli (350 tys.). Ostatecznie do próby kwalifikowano osoby, które były w wieku 18-55 lat oraz zamieszkiwały (przed wybuchem wojny) w miastach powyżej 50 tyś. mieszkańców. Samo badanie prowadzono za pomocą CAWI (Ukrainians Abroad … 2023).

Z kolei badania Info Sapiens były również prowadzone za pomocą metodologii CAWI. Próbę dobierano z abonentów sieci operatora Київстар. W pierwszej fali sondażu próba liczyła 1003 respondentów (tutaj są respondenci, którzy schronili się w Polsce jak też innych państwach), w drugiej fali odpowiedzi udzieliło 404 respondentów, w tym tylko 213 z nich uczestniczyło w pierwszym sondażu (Біженці з України… 2023, s. 9).

Powyższy przegląd podejść metodologicznych do badań uchodźców wskazuje, że nie ma idealnej metody, którą stosuje się w praktyce. Jeśli jest duża próba, to ma ona charakter nielosowy, a jeśli ktoś ma możliwość losowania, to dokonuje go z niekompletnego operatu lub korzysta z badań na zbyt małej próbie. W związku z tym, każde badanie jest obciążone większymi lub mniejszymi błędami.

Chcemy podkreślić, iż mamy świadomość ułomności i niedoskonałości metodologii naszych badań. Dobór próby ma charakter nielosowy, co znacznie ogranicza możliwość formułowania twierdzeń o szerszym zasięgu. W badaniach CAWI mamy do czynienia z badanymi ochotników, gdyż jednostki same decydują się odpowiedzieć i wypełnić ankietę.

Psychologowie twierdzą, iż te jednostki zazwyczaj mają wyższy poziom wykształcenia, wyższy status społeczny, wyższy poziom inteligencji, większe zsocjalizowanie, wyższy poziom aprobaty społecznej (Brzeziński 1996, s. 232).

Jednakże za zastosowaniem metody sondażu CAWI przemawia kilka argumentów.

Po pierwsze, badana zbiorowość jest rozproszona na terenie całego kraju, co sprawia, że najlepszą metodą dotarcia do badanych jest ankieta online. Respondenci udzielający odpowiedzi w niniejszych badaniach pochodzą z 68 miejscowości w Polsce, co pozwala uniknąć zarzutu na temat stronniczości terytorialnej próby.

Po drugie, ankiety online mają swoje zalety i pozwalają na ujawnienie informacji drażliwych, mogących w negatywnym świetle stawiać respondenta. Dają większe poczucie anonimowości i pozwalają na wypełnienie ankiety w dowolnie wybranym przez respondenta momencie, zapewniając mu komfort i poczucie bezpieczeństwa (Batorski, Olcoń-Kubicka 2006, s. 99–132).

Po trzecie, nasza próba badawcza stanowi niejako ,,model” populacji badanej (Nowak 2007, s. 301). Przebadaną próbę porównujemy z  wynikami badań uzyskanymi za pomocą innych metod doboru próby. W ostatnio wydanym raporcie Narodowego Banku Polskiego na temat uchodźców wojennych możemy się dowiedzieć, iż większość uchodźców wojennych to kobiety (80%), w wieku od 27 do 44 lat (48%), z wykształceniem wyższym (48%), przybyłych do Polski z dziećmi (26%) (Sytuacja życiowa… 2023). Dokładna struktura populacji ukraińskich uchodźców wojennych zbliżona do tej uzyskanej podczas naszych badań jest opisana przez Factum Group w projekcie Ukrainians Abroad, na który składają się trzy fale sondaży (Ukrainians Abroad… 2023).

Po czwarte, w prowadzonych badaniach wychodzimy poza sam opis zbiorowości. Naszym celem jest też weryfikacja hipotez np. czy znajomość języka, poziom wykształcenia, prężność psychologiczna mają wpływ na poziom integracji uchodźczyń.

Jeśli weryfikujemy hipotezę o stałym łącznym występowaniu pewnych  cech lub zachowań albo o bezwarunkowym związku funkcyjnym dwóch zmiennych, to reprezentatywność próby pod względem rozkładu zmiennej niezależnej (a w konsekwencji rozkładu zmiennej zależnej) jest sprawą obojętną. Wystarczy aby próba była reprezentatywna w sposób typologiczny (Nowak 2007, s. 303).

Dodatkowym celem drugiego pomiaru zrealizowanego wśród uchodźców jest też replikacja, czyli powtórzenie badań w celu sprawdzenia ich rzetelności. W badaniach realizowanych w kwietniu i maju 2022 r. za pomocą metodologii CAWI, z próbą dobieraną w identyczny sposób jak w niniejszych badaniach (metoda dostępności badanych), przebadano 737 respondentów, którymi byli uchodźcy wojenni z Ukrainy.

Biorąc pod uwagę wszystkie za i przeciw warto prowadzić badania, by poszerzać granicę znanego. A jedynym wyjściem z tego metodologicznego impasu jest metaanaliza.

Bibliografia:

Babbie, E. (2023). Badania społeczne w praktyce. Warszawa: PWN.

Batorski, D., Olcoń-Kubicka, M. (2006). Prowadzenie badań przez internet – podstawowe zagadnienia metodologiczne. Studia Socjologiczne, 3, 99–132.

Brzeziński, J. (1997). Metodologia badań psychologicznych. Warszawa: PWN

Górny A. (2023) Potrzeby osób doświadczających przymusowej migracji z Ukrainy, CMR Spotlight 12(57).

Nowak, S. (2007). Metodologia badań społecznych. Warszawa: PWN.

Sytuacja życiowa i ekonomiczna migrantów z Ukrainy w Polsce w 2023 roku. (2023).

Ukrainians Abroad. YOUkraina by Factum Group. (2023).

Біженці з України: хто вони, скільки їх та як їх повернути? Фінальний звіт. (2023).