Abstract
The same dataset can be analysed in different justifiable ways to answer the same research question, potentially challenging the robustness of empirical science1-3. In this crowd initiative, we investigated the degree to which research findings in the social and behavioural sciences are contingent on analysts' choices. We examined a stratified random sample of 100 studies published between 2009 and 2018, in which, for one claim per study, at least five reanalysts independently reanalysed the original data. The statistical appropriateness of the reanalyses was assessed in peer evaluations, and the robustness indicators were inspected along a range of research characteristics and study designs. We found that 34% of the independent reanalyses yielded the same result (within a tolerance region of ±0.05 Cohen's d) as the original report; with a four times broader tolerance region, this indicator increased to 57%. Of the reanalyses conducted, 74% reached the same conclusion as the original investigation, 24% yielded no effects or inconclusive results and 2% reported the opposite effect. This exploratory study indicates that the common single-path analyses in social and behavioural research should not be simply assumed to be robust to alternative analyses4. Therefore, we recommend the development and use of practices to explore and communicate this neglected source of uncertainty.
| Original language | English |
|---|---|
| Pages (from-to) | 135-142 |
| Number of pages | 8 |
| Journal | Nature |
| Volume | 652 |
| Issue number | 8108 |
| Early online date | 1 Apr 2026 |
| DOIs | |
| Publication status | Published - 2 Apr 2026 |
Bibliographical note
This accepted manuscript is licensed under a Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/).Data Access Statement
Study data and materials are available on the project OSF (https://osf.io/q5h2c/) and GitHub repositories (https://github.com/marton-balazs-kovacs/multi100/). Archived data include the original datasets or a description of how to gain access to them. Our shared materials include all the survey questions and the general communication texts and instructions that we sent to the reanalysts and peer evaluators. We excluded from our data files the email addresses of the reanalysts and the records of those analysts who did not comply with the instructions and did not submit all the required analyses by the deadline. For further details about our exclusion criteria and procedure, see the Supplementary Information at https://doi.org/10.1038/s41586-025-09844-9Access to Document
- B Aczel et al_AAM_Investigating the analytical robustness of the social and behavioural sciences
This accepted manuscript is licensed under a Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/).
Accepted author manuscript, 1.43 MBLicence: CC BY 4.0
Other files and links
Fingerprint
Dive into the research topics of 'Investigating the analytical robustness of the social and behavioural sciences'. Together they form a unique fingerprint.Cite this
- APA
- Author
- BIBTEX
- Harvard
- Standard
- RIS
- Vancouver
}
In: Nature, Vol. 652, No. 8108, 02.04.2026, p. 135-142.
Research output: Contribution to journal › Article › peer-review
TY - JOUR
T1 - Investigating the analytical robustness of the social and behavioural sciences
AU - Aczel, Balazs
AU - Szaszi, Barnabas
AU - Clelland, Harry T.
AU - Kovacs, Marton
AU - Holzmeister, Felix
AU - van Ravenzwaaij, Don
AU - Schulz-Kümpel, Hannah
AU - Hoffmann, Sabine
AU - Nilsonne, Gustav
AU - Kosa, Livia
AU - Torma, Zoltan A.
AU - Abdelfatah, Yousuf
AU - Aberson, Christopher L.
AU - Acar, Oguz A.
AU - Acem, Ensar
AU - Adamkovic, Matus
AU - Adamovich, Timofey
AU - Adiasto, Krisna
AU - Ahnström, Love
AU - Akil, Atakan M.
AU - Al-Busaidi, Adil S.
AU - Al-Hoorie, Ali H.
AU - Albers, Casper J.
AU - Allen, Peter J.
AU - Alsalti, Taym
AU - Altman, Micah
AU - Alzahawi, Shilaan
AU - Ambrosini, Ettore
AU - Anafinova, Saule
AU - Anand, Rahul
AU - Angerer, Martin
AU - Angulo-Brunet, Ariadna
AU - Antonietti, Alberto
AU - Arato, Jozsef
AU - Arenas, Andreu
AU - Aviña, Marco M.
AU - Azevedo, Flavio
AU - Bachl, Marko
AU - Bago, Bence
AU - Bahník, Štěpán
AU - Baker, Bradley J.
AU - Balayan, Elza
AU - Baldwin, Cassandra L.
AU - Banai, Benjamin
AU - Banas, Kasia
AU - Bartoš, František
AU - Baskin, Ernest
AU - Bastiaansen, Jojanneke A.
AU - Bault, Nadège
AU - Bauman, Christopher W.
AU - Beazer, Quintin H.
AU - Behnke, Maciej
AU - Bendixen, Theiss
AU - Berger, Sebastian
AU - Bernard, Anna
AU - Bernardic, Ursa
AU - Bloom, Paul A.
AU - Boldt, Annika
AU - Bosch-Rosa, Ciril
AU - Botvinik-Nezer, Rotem
AU - Bouyamourn, Adam
AU - Bozkurt, Ozge
AU - Brehm, Laurel
AU - Breuer, Johannes
AU - Briggs, Ryan
AU - Brohmer, Hilmar
AU - Buchanan, Erin
AU - Buckenmaier, Johannes
AU - Buckley, Jeffrey
AU - Buczny, Jacek
AU - Burghart, Matthias
AU - Butt, Bilal H.
AU - Byrd, Nick
AU - Cafarelli, Valentina
AU - Callahan, Patrick
AU - Capitán, Tabaré
AU - Carriere, Kevin
AU - Cataldo, Andrea M.
AU - Cepaluni, Gabriel
AU - Chan, Eugene
AU - Chandler, Jesse J.
AU - Chang, Chia Chen
AU - Chen, Xi
AU - Chen, Shirley Shuo
AU - Chen, Fadong
AU - Chen, Hao
AU - Chirkov, Valerii
AU - Cialfi, Daniela
AU - Clarke, Beth
AU - Coelho, Sophie G.
AU - Cohen, Clara
AU - Collins, Jason
AU - Cook, Susan W.
AU - Corlazzoli, Gaia
AU - Cummins, Jamie
AU - Czymara, Christian
AU - D'hondt, Jonathan
AU - Rosa, Anna Dalla
AU - Davis, Abi M.B.
AU - Davis, Charles P.
AU - Day, Martin V.
AU - De Keyzer, Freya
AU - de Leeuw, Joshua R.
AU - de Vries, Tjeerd Rudmer
AU - Debnath, Ramit
AU - Dechterenko, Filip
AU - Demiral, Elif E.
AU - Desgroseilliers, Marc
AU - Dianovics, Dominik
AU - Diveica, Veronica
AU - Dochow-Sondershaus, Stephan
AU - Dohle, Simone
AU - Dong, Li Chen
AU - Dora, Jonas
AU - Dorrough, Angela R.
AU - Dreber, Anna
AU - Du, Hongfei
AU - Edlund, John E.
AU - Eerland, Anita
AU - Efendić, Emir
AU - Elder, Jacob
AU - Elsherif, Mahmoud M.
AU - Ernst, Mareike
AU - Estrada, Eduardo
AU - Eudave, Luis
AU - Evans, Thomas R.
AU - Farrera, Arodi
AU - Ferrouhi, El Mehdi
AU - Fiala, Lenka
AU - Fialho, Fabrício M.
AU - Fiechter, Joshua L.
AU - Fišar, Miloš
AU - Flores-Kanter, Pablo Ezequiel
AU - Folwarczny, Michał
AU - Fossum, Jessica L.
AU - Franco, Vithor R.
AU - Freichel, René
AU - Freire, Danilo
AU - Frese, Joris
AU - Furnas, Alexander C.
AU - Gaebler, Johann D.
AU - Gajary, Lisa C.
AU - Galang, Carl Michael
AU - Ganschow, Benjamin
AU - Garrison, S. Mason
AU - Gasiorowska, Agata
AU - Ponne, Bruno Gasparotto
AU - Gauriot, Romain
AU - Geminiani, Alice
AU - Geraldes, Diogo
AU - Gernsbacher, Morton Ann
AU - Giani, Cinzia
AU - Glerean, Enrico
AU - Gligorić, Vukašin
AU - Gnambs, Timo
AU - Godefroidt, Amélie
AU - González-Bustamante, Bastián
AU - Goreis, Andreas
AU - Graf-Vlachy, Lorenz
AU - Grieder, Manuel
AU - Grigoryev, Dmitry
AU - Grinschgl, Sandra
AU - Grüning, David J.
AU - Guassi Moreira, João F.
AU - Guichet, Clément
AU - Gurgand, Lilas
AU - Habibnia, Hooman
AU - Hafenbrack, Andrew C.
AU - Hafenbrädl, Sebastian
AU - Häffner, Carolin
AU - Hagemeister, Felix
AU - Haigh, Matthew
AU - Hajdu, Nandor
AU - Hajimoladarvish, Narges
AU - Hall, Jonathan D.
AU - Hamjediers, Maik
AU - Hardwick, Robert M.
AU - Harma, Mehmet
AU - Harp, Nicholas R.
AU - Hartvig, Áron D.
AU - Heiberger, Raphael H.
AU - Heim, Arthur
AU - Hernæs, Øystein
AU - Hernaus, Dennis
AU - Heyman, Tom
AU - Hicks, Joshua
AU - Hogeveen, Jeremy
AU - Höpler, Julia
AU - Houlihan, Sean Dae
AU - Huber, Christoph
AU - Hughes, Conor
AU - Hummler, Teresa
AU - Huth, Karoline
AU - Ingendahl, Moritz
AU - Ishii, Tatsunori
AU - Isler, Ozan
AU - Izydorczak, Kamil
AU - Jackson, Iain R.
AU - Jahn, Andrew
AU - Jain, Maitri
AU - Jakubow, Alexander
AU - Jang, Daisung
AU - Jang, Jun Hyeok
AU - Jekel, Marc
AU - Jia, Fanli
AU - Jiménez-Leal, William
AU - Johnson, Rebecca
AU - Jones, Alex
AU - Jungkunz, Sebastian
AU - Kačmár, Pavol
AU - Kaiser, Caspar
AU - Kalaycı, Yağmur
AU - Kantorowicz, Jaroslaw
AU - Karabulut, Anıl
AU - Karch, Julian D.
AU - Karimi-Rouzbahani, Hamid
AU - Karl, Johannes A.
AU - Kažemekaitytė, Austėja
AU - Kazlou, Aliaksandr
AU - Kekecs, Zoltan
AU - Kim, Jin
AU - Kirchler, Michael H.
AU - Kiss-Dobronyi, Bence
AU - Klasmeier, Kai N.
AU - Klein, Jack W.
AU - Koba, Cemal
AU - Kołczyńska, Marta
AU - Kolias, Pavlos
AU - Kolouch Grabovský, Matěj
AU - Korbmacher, Max
AU - Korda, Živa
AU - Kowal, Marta
AU - Kretzschmar, André
AU - Krivoshchekov, Vladislav
AU - Krypotos, Angelos Miltiadis
AU - Kubsch, Marcus
AU - Kunisato, Yoshihiko
AU - Lacko, David
AU - Landwehr, Jan R.
AU - Lange, Martin
AU - Lee, Hongmi
AU - Lee, Daniel
AU - Lee, Sangil
AU - Lemay, Edward P.
AU - Lempert, Daniel
AU - Leo, Andrea
AU - Lesage, Elise
AU - Levin, Joel M.
AU - Li, Peng
AU - Lin, Jing
AU - Lindsay, Luke
AU - Lisovoj, Daria
AU - Liu, Meng
AU - Liu, Sihong
AU - Liu, Tingshu
AU - Iacono, Sergio Lo
AU - Lodder, Paul
AU - López-Bueno, Rubén
AU - Lopez-Nicolas, Ruben
AU - Loter, Katharina
AU - Lou, Nigel Mantou
AU - Lovakov, Andrey
AU - Lu, Jackson G.
AU - Ludwig, Jonas
AU - Luebber, Finn
AU - Lukavský, Jiří
AU - Luo, Charles Q.
AU - Lyu, Xuanyu
AU - Maassen, Esther
AU - Máčel, Martin
AU - Mack, Michael L.
AU - Madan, Christopher R.
AU - Mädebach, Andreas
AU - Maffly-Kipp, Joseph
AU - Mallinson, Daniel J.
AU - Marchetti, Igor
AU - Marghetis, Tyler
AU - Marini, Matteo M.
AU - Fages, Diego Marino
AU - Martínez, Mayte
AU - Martinoli, Mario
AU - Masiliunas, Aidas
AU - Massoni, Sébastien
AU - Mathieu, Kaleb C.
AU - Mayer, Stefan
AU - Mayer, Duncan J.
AU - Mayer, Maren
AU - McCormick, Ethan M.
AU - McDonough, Ian M.
AU - McGowan, Amanda L.
AU - McIntyre, Miranda M.
AU - McKee, Paul
AU - Meier, Armando N.
AU - Meier, Pascal F.
AU - Melero, Helena
AU - Merkle, Christoph
AU - Merz, Raphael
AU - Michaelides, Michalis P.
AU - Michaelsen, Patrik
AU - Mikolajczak, Gosia
AU - Mill, Wladislaw
AU - Millroth, Philip
AU - Miroshnik, Kirill G.
AU - Misiak, Michal
AU - Mora, Youri L.
AU - Moreau, David
AU - Moreh, Chris
AU - Morvinski, Coby
AU - Mushtaq, Faisal
AU - Nagy, Tamás
AU - Nater, Christa
AU - Naumann, Elias
AU - Navarrete, Gorka
AU - Nebe, Stephan
AU - Nedderhoff, Andre
AU - Nennstiel, Richard
AU - Neugebauer, Martin
AU - Nicolaisen-Sobesky, Eliana
AU - Nielsen, Yngwie A.
AU - Niso, Guiomar
AU - Nowak, Benjamin
AU - Okan, Mehmet
AU - Ong, Kenneth
AU - Onicas, Adrian I.
AU - Oswald, Christian
AU - Otten, Kasper
AU - Pandey, Shubham
AU - Pantazi, Myrto
AU - Papale, Paolo
AU - Pärnamets, Philip
AU - Pauer, Shiva
AU - Pavlov, Yuri G.
AU - Pawel, Samuel
AU - Peelle, Jonathan E.
AU - Peetz, Hannah K.
AU - Peez, Anton
AU - Pesciarelli, Francesca
AU - Peterson, Brenton D.
AU - Petruželka, Benjamin
AU - Petter, Jonas
AU - Pfänder, Jan
AU - Pfuhl, Gerit
AU - Phillips, Joseph
AU - Pietryka, Matthew T.
AU - Pirrone, Angelo
AU - Pit, Ilse L.
AU - Plachti, Anna
AU - Plank, Irene Sophia
AU - Ploner, Matteo
AU - Poldrack, Russell A.
AU - Pollmann, Monique M.H.
AU - Porcher, Simon
AU - Präg, Patrick
AU - Pua, Andrew Adrian Y.
AU - Pugel, Jessica
AU - Puri, Rohan
AU - Püski, Marcell
AU - Radkani, Setayesh
AU - Raes, Louis
AU - Rafaï, Ismaël
AU - Raiber, Klara
AU - Rathje, Steve
AU - Rehms, Raphael
AU - Reshetnikov, Mikhail
AU - Reynolds, Caleb J.
AU - Reynolds, James P.
AU - Rigaud, Kévin
AU - Rioux, Charlie
AU - Rivera, Sebastian
AU - Robertson, Olly
AU - Román-Caballero, Rafael
AU - Ropovik, Ivan
AU - Röseler, Lukas
AU - Ross, Robert M.
AU - Rotella, Amanda
AU - Rüffer, Franziska F.
AU - Rusche, Felix
AU - Rusconi, Massimo
AU - Russo, Irene
AU - Sahm, Alexander H.J.
AU - Salamon, Janos
AU - Samahita, Margaret
AU - Sanaei, Ali
AU - Sangchooli, Arshiya
AU - Sarafoglou, Alexandra
AU - Scandola, Michele
AU - Schaak, Henning
AU - Schaerer, Michael
AU - Schares, Eric
AU - Schilling, Hayden T.
AU - Schmalz, Xenia
AU - Schmidt, Kathleen
AU - Schonberg, Tom
AU - Schreiner, Marcel R.
AU - Schröder, Joris M.
AU - Schubert, Anna Lena
AU - Schuetze, Brendan
AU - Schultz, Douglas H.
AU - Schulze, Lars
AU - Schwartz, Shawn T.
AU - Schwitter, Nicole
AU - Scoggins, Bermond
AU - Seetahul, Yashvin
AU - Seri, Raffaello
AU - Shanks, David R.
AU - Shaw, Stacy T.
AU - Shaw, Joseph
AU - Shen, Qiang
AU - Siemroth, Christoph
AU - Sladekova, Martina
AU - Somo, Angela
AU - Sondhi, Arjun
AU - Sonmez, Burak
AU - Spantig, Lisa
AU - Speekenbrink, Maarten
AU - Stamos, Angelos
AU - Stasielowicz, Lukasz
AU - Steckermeier, Leonie C.
AU - Steinkamp, Simon R.
AU - Stoevenbelt, Andrea H.
AU - Street, Chris N.H.
AU - Suchow, Jordan W.
AU - Sunde, Hans Fredrik
AU - Sundquist, James
AU - Suschevskiy, Vsevolod
AU - Swain, Scott D.
AU - Szecsi, Peter
AU - Szekely-Copîndean, Raluca D.
AU - Szumowska, Ewa
AU - Tacconelli, Alessandro
AU - Talbert, Eli
AU - Tang, John P.
AU - Tendeiro, Jorge N.
AU - Testori, Martina
AU - Toffalini, Enrico
AU - Tomašević, Aleksandar
AU - Topel, Selin
AU - Torkkeli, Lasse
AU - Tozzi, Leonardo
AU - Traczyk, Jakub
AU - Trinidad, Alexander
AU - Trübutschek, Darinka
AU - Turek, Konrad
AU - Uhlich, Maximiliane
AU - Uhlmann, Eric L.
AU - Urbanska, Karolina
AU - Van Assche, Jasper
AU - van Assen, Marcel A.L.M.
AU - van Dongen, Noah N.N.
AU - van Lieshout, Kenny
AU - van Veldhuizen, Roel
AU - Varga, Marton A.
AU - Vaughn, Leigh Ann
AU - Venczel, Fruzsina
AU - Vezzoli, Michela
AU - Vierus, Paul
AU - Visalli, Antonino
AU - Voldal, Emily
AU - Votta, Fabio
AU - Wagenmakers, Eric Jan
AU - Waldendorf, Anica
AU - Walker, Matthew J.
AU - Wall, Matthew B.
AU - Wallen, Henri
AU - Wang, Ke
AU - Wang, Iris
AU - Wang, Y. Andre
AU - Weinmann, Markus
AU - Weiß, Martin
AU - Westheide, Christian
AU - Wichman, Aaron
AU - Wilcke, Juliane C.
AU - Williams, Benedict J.
AU - Wisniewski, David
AU - Woiczyk, Thomas K.A.
AU - Woźniak, Mateusz
AU - Wright, Joshua D.
AU - Youyou, Wu
AU - Wulff, Jesper N.
AU - Yang, Tao
AU - Yeung, Siu Kit
AU - Yuen, Kenneth S.L.
AU - Zawistowski, Michał
AU - Zein, Rizqy A.
AU - Zhao, Xian
AU - Zheng, Zefan
AU - Zhou, Steven
AU - Ziller, Conrad
AU - Zimmerman, David
AU - Zogmaister, Cristina
AU - Zultan, Ro'i
AU - Fox, Nicholas
AU - Errington, Timothy M.
AU - Nosek, Brian A.
N1 - This accepted manuscript is licensed under a Creative Commons Attribution 4.0 International License (https://creativecommons.org/licenses/by/4.0/).
PY - 2026/4/2
Y1 - 2026/4/2
N2 - The same dataset can be analysed in different justifiable ways to answer the same research question, potentially challenging the robustness of empirical science1-3. In this crowd initiative, we investigated the degree to which research findings in the social and behavioural sciences are contingent on analysts' choices. We examined a stratified random sample of 100 studies published between 2009 and 2018, in which, for one claim per study, at least five reanalysts independently reanalysed the original data. The statistical appropriateness of the reanalyses was assessed in peer evaluations, and the robustness indicators were inspected along a range of research characteristics and study designs. We found that 34% of the independent reanalyses yielded the same result (within a tolerance region of ±0.05 Cohen's d) as the original report; with a four times broader tolerance region, this indicator increased to 57%. Of the reanalyses conducted, 74% reached the same conclusion as the original investigation, 24% yielded no effects or inconclusive results and 2% reported the opposite effect. This exploratory study indicates that the common single-path analyses in social and behavioural research should not be simply assumed to be robust to alternative analyses4. Therefore, we recommend the development and use of practices to explore and communicate this neglected source of uncertainty.
AB - The same dataset can be analysed in different justifiable ways to answer the same research question, potentially challenging the robustness of empirical science1-3. In this crowd initiative, we investigated the degree to which research findings in the social and behavioural sciences are contingent on analysts' choices. We examined a stratified random sample of 100 studies published between 2009 and 2018, in which, for one claim per study, at least five reanalysts independently reanalysed the original data. The statistical appropriateness of the reanalyses was assessed in peer evaluations, and the robustness indicators were inspected along a range of research characteristics and study designs. We found that 34% of the independent reanalyses yielded the same result (within a tolerance region of ±0.05 Cohen's d) as the original report; with a four times broader tolerance region, this indicator increased to 57%. Of the reanalyses conducted, 74% reached the same conclusion as the original investigation, 24% yielded no effects or inconclusive results and 2% reported the opposite effect. This exploratory study indicates that the common single-path analyses in social and behavioural research should not be simply assumed to be robust to alternative analyses4. Therefore, we recommend the development and use of practices to explore and communicate this neglected source of uncertainty.
UR - https://www.nature.com/articles/s41586-025-09844-9
UR - https://www.scopus.com/pages/publications/105034817513
U2 - 10.1038/s41586-025-09844-9
DO - 10.1038/s41586-025-09844-9
M3 - Article
C2 - 41922703
AN - SCOPUS:105034817513
SN - 0028-0836
VL - 652
SP - 135
EP - 142
JO - Nature
JF - Nature
IS - 8108
ER -