Wzięty do niewoli w Libii Avey napisał, że był więziony przez Niemców w obozie dla jeńców wojennych (E715) w pobliżu Auschwitz i z narażeniem życia dwa razy wymienił się miejscami z żydowskim więźniem, by na własne oczy zobaczyć, co się tam działo i dać świadectwo potomności. Miał trafić do jednego z podobozów, tzw. Auschwitz III, zwanego też Auschwitz-Buna lub Monowitz. Twierdzi, że uratował życie jednego z więźniów Ernsta Lobethala, dając mu papierosy, za które ten naprawił buty, dzięki czemu wytrzymał tzw. marsz śmierci. Wśród osób podających w wątpliwość świadectwo Aveya jest m.in. dr Piotr Setkiewicz, kierownik działu naukowego muzeum Auschwitz-Birkenau. Cytowany przez "Daily Mail" polski historyk wyraził obawy, że osoby podważające Holokaust wykażą nieścisłości w relacji Anglika i dostaną do ręki amunicję do zakwestionowania zbrodni. Zauważył ponadto, że wyczyn, który przypisuje sobie Avey, wymagałby współpracy wielu ludzi i musiałby być bardzo ryzykowny. Avey twierdzi, że z więźniami zetknął się pracując w miejscowych zakładach chemicznych. Setkiewicz uwypukla również nieścisłości i błędy w relacji Aveya. Autor np. twierdzi, że przeszedł pod słynnym znakiem Arbeit Macht Frei, ale znak ten jest u wejścia do obozu Auschwitz I odległego o 9 km od Auschwitz III. Inne nieścisłości wypunktowało dwóch byłych więźniów. Zastrzeżenia ma też córka Ernsta Lobethala - Ingrid. Według osób podważających świadectwo Aveya, zastanawiający jest fakt, że Avey nagrał swoje wojenne relacje dla Imperial War Museum w 2001 r., ale o przedostaniu się na teren Auschwitz po raz pierwszy powiedział dopiero w 2009 r. w wywiadzie dla BBC. Dziennikarz BBC pomógł mu napisać książkę. Światowy Kongres Żydów zaapelował do wydawcy książki (ang. "The Man Who Broke Into Auschwitz"), by zweryfikował historyczne fakty w celu ustalenia, czy autor nie wyolbrzymia lub nie konfabuluje. Instytut Yad Vashem uznał, że nie uhonoruje Aveya, ponieważ jego twierdzeń nie dało się potwierdzić. Premier Wielkiej Brytanii Gordon Brown w ubiegłym roku uhonorował Aveya odznaczeniem Bohatera Holokaustu i urządził dla niego specjalny bankiet na Downing Street.