(1)

Niezależne audyty są ważnym narzędziem nadzoru nad wypełnianiem przez dostawców bardzo dużych platform internetowych i bardzo dużych wyszukiwarek internetowych ich obowiązków wynikających z rozporządzenia (UE) 2022/2065. Chociaż w rozporządzeniu tym przewidziane są inne narzędzia rozliczalności, m.in. w postaci skuteczniejszej kontroli publicznej sprawozdań z przejrzystości i innych wymogów dotyczących ujawniania danych, niezależne organizacje audytowe odgrywają szczególną rolę we wczesnej ocenie przestrzegania tego rozporządzenia przez takich dostawców. Wnioski i ustalenia z takich niezależnych audytów i zawarte w nich zalecenia mogą stanowić istotny wkład w nadzór regulacyjny. Jednocześnie niezależne audyty stanowią jedno z szeregu źródeł informacji i analiz, z których organy regulacyjne mogą korzystać w ramach swojej roli nadzorczej i związanej z egzekwowaniem prawa.

(2)

W celu zapewnienia, aby niezależne audyty przeprowadzano w sposób skuteczny, wydajny, terminowy i porównywalny od daty rozpoczęcia stosowania rozporządzenia (UE) 2022/2065, określonej w jego art. 92 i 93, Komisja powinna ustanowić przepisy dotyczące przeprowadzania audytów, w szczególności w odniesieniu do obowiązków prawnych audytowanych dostawców oraz etapów procedury służących zapewnieniu, aby organizacje przeprowadzające audyty spełniały warunki niezależności, braku konfliktu interesów, dysponowania wiedzą ekspercką i stosowania zasad etyki zawodowej określone w art. 37 ust. 3 rozporządzenia (UE) 2022/2065.

(3)

Aby ułatwić odpowiednie przeprowadzanie audytów przy wysokim poziomie wiedzy eksperckiej oraz aby zapobiec niezamierzonym konsekwencjom na rynku usług audytowych, należy doprecyzować, że audyty przeprowadzane zgodnie z art. 37 rozporządzenia (UE) 2022/2065 może przeprowadzać kilku audytorów. W stosownych przypadkach, na przykład ze względu na potrzebę posiadania konkretnej wiedzy eksperckiej w zakresie audytu określonych obowiązków lub zobowiązań, takich jak obowiązki lub zobowiązania związane z projektowaniem i funkcjonowaniem systemów algorytmicznych, zrozumieniem ryzyka dla praw podstawowych lub rozpowszechnianiem nielegalnych treści, audytowany dostawca może zlecić przeprowadzenie audytu różnym organizacjom audytowym lub konsorcjum organizacji. Organizacje audytowe mogą również korzystać z usług podwykonawców, by uzyskać niezbędną wiedzę ekspercką, pod warunkiem że zarówno organizacja audytowa, jak i podwykonawcy spełniają niezbędne warunki dotyczące niezależności, braku konfliktu interesów, stosowania potwierdzonych zasad obiektywizmu i etyki zawodowej oraz że wspólnie spełniają warunki dotyczące technicznej wiedzy eksperckiej. W takich przypadkach audytowany dostawca powinien nadal zapewniać, aby audyt wypełniania wszystkich obowiązków i zobowiązań, o których mowa w art. 37 ust. 1 rozporządzenia (UE) 2022/2065, przeprowadzano co najmniej raz w roku.

(4)

Organizacje audytowe powinny poświadczać opinie audytowe, o których mowa w art. 37 ust. 4 lit. g) rozporządzenia (UE) 2022/2065, z wystarczającym poziomem pewności. Aby osiągnąć wystarczający poziom pewności, organizacja audytowa powinna mieć wysoki - ale nie absolutny - poziom pewności, że nie wystąpiły zniekształcenia, takie jak pominięcie, podanie wprowadzających w błąd lub błędnych danych, których to zniekształceń nie wykryto podczas audytu. Aby zapewnić ten poziom pewności, organizacja audytowa powinna między innymi uzyskiwać wystarczające dowody i stosować w swojej ocenie odpowiednie metodyki audytowe.

(5)

Zgodnie z art. 37 ust. 1 rozporządzenia (UE) 2022/2065 niezależne audyty należy przeprowadzać co najmniej raz w roku, przy dostosowaniu do rocznego cyklu ocen ryzyka, o których mowa w art. 34 tego rozporządzenia. W niektórych przypadkach konieczne mogą być jednak częstsze audyty. Następowanie po sobie audytów powinno zapewnić ciągłość nadzoru nad przestrzeganiem przez audytowanych dostawców przepisów rozporządzenia (UE) 2022/2065 oraz odpowiednich kodeksów postępowania i protokołów kryzysowych. Audytowany dostawca powinien zapewnić, aby okres, w odniesieniu do którego w danym audycie ocenia się wypełnianie obowiązków i zobowiązań będących przedmiotem audytu, uzupełniał okres objęty poprzednim audytem wypełniania tych obowiązków i zobowiązań przez dostawcę i rozpoczynał się najpóźniej w momencie zakończenia okresu objętego poprzednim audytem. Ponieważ wnioski z audytu obejmują zarówno ocenę przeprowadzoną przez organizację audytową, jak i sporządzenie sprawozdania z audytu, audytowani dostawcy powinni zapewnić, aby czas trwania audytu umożliwiał zakończenie audytów co najmniej raz w roku, a przekazanie sprawozdań z audytu Komisji i koordynatorowi ds. usług cyfrowych nastąpiło bez zbędnej zwłoki, zgodnie z art. 42 ust. 4 rozporządzenia (UE) 2022/2065.

(6)

Chociaż audytowani dostawcy nie powinni w żadnym wypadku ingerować w przeprowadzanie audytu i jego wnioski, powinni oni wypełniać swoje obowiązki wynikające z art. 37 rozporządzenia (UE) 2022/2065, w tym przez uzgodnienie warunków umownych z organizacją audytową oraz sprawdzenie przed wyborem organizacji audytowej, czy organizacja ta spełnia warunki określone w art. 37 ust. 3 rozporządzenia (UE) 2022/2065.

(7)

Audytowany dostawca powinien na przykład ocenić umowy, które wcześniej zawarł z organizacją audytową, lub umowy zawarte między organizacją audytową a osobami prawnymi związanymi z tym dostawcą. Audytowany dostawca powinien również zawrzeć w umowach z organizacjami audytowymi klauzule gwarantujące przestrzeganie warunków określonych w art. 37 ust. 3 rozporządzenia (UE) 2022/2065. W przypadku gdy organizacja audytowa składa się z kilku podmiotów, audytowany dostawca powinien upewnić się, że te warunki spełniają wszystkie te podmioty, w tym, w stosownych przypadkach, wszelcy podwykonawcy zatrudnieni przez organizację audytową w celu wsparcia w jakikolwiek sposób przeprowadzania audytu. Podczas gdy każdy podmiot przeprowadzający audyt powinien indywidualnie spełniać wymogi niezależności i braku konfliktu interesów, podmioty te powinny wspólnie spełniać wymogi związane z kompetencjami, wiedzą ekspercką lub zasobami technicznymi, co tym samym umożliwia różnym podmiotom przeprowadzanie różnych części audytu i wnoszenie wkładu w postaci zdolności, kompetencji i wiedzy eksperckiej niezbędnych do przeprowadzenia audytu. W sprawozdaniu z audytu należy określić odpowiedzialność każdego z tych podmiotów za odpowiednie części audytu.

(8)

Zgodnie z art. 37 ust. 3 lit. a) pkt (i) rozporządzenia (UE) 2022/2065 audytowany dostawca powinien zwrócić szczególną uwagę na to, aby uniknąć sytuacji, w której organizacja audytowa świadczy na jego rzecz usługi niezwiązane z audytem, gdy dostawca ten sprawdza, czy organizacja audytowa spełnia wymogi niezależności i braku konfliktu interesów. Audytowany dostawca powinien na przykład ocenić, czy świadczono usługi, takie jak usługi związane z jakimkolwiek systemem, oprogramowaniem lub procesem wykorzystywanym w kwestiach istotnych dla obowiązku lub zobowiązania będącego przedmiotem audytu, np. usługi doradcze w zakresie oceny skuteczności działania, zarządzania i oprogramowania, usługi szkoleniowe, opracowanie lub utrzymanie systemów lub podwykonawstwo moderowania treści. Usługi takie obejmują również usługi świadczone na rzecz audytowanego dostawcy, które polegają na doradztwie w zakresie kontroli wewnętrznych, rozwijaniu takich kontroli lub ocenie, do celów wewnętrznych, przestrzegania przez audytowanego dostawcę przepisów rozporządzenia (UE) 2022/2065 lub kodeksów postępowania i protokołów kryzysowych, w tym w przypadku, gdy jest to ograniczone do testów punktowych, takich jak przeprowadzane przez osoby trzecie testy skuteczności działania systemów moderowania treści. Nie powinno to wykluczać organizacji audytowych, które przeprowadzają ustawowe badania finansowe.

(9)

Z uwagi na złożoność i szczególny charakter audytów przestrzegania rozporządzenia (UE) 2022/2065 wiedza ekspercka organizacji audytowej na temat przedmiotu audytu ma kluczowe znaczenie dla przeprowadzania audytów przy wystarczającym poziomie pewności oraz dla stosowania osądu zawodowego i sceptycyzmu, dzięki czemu organizacja ta wie na przykład, jakich informacji potrzebuje do przeprowadzenia procedur audytu lub zakwestionowania sprzecznych informacji. Audytowany dostawca powinien zatem sprawdzić, czy organizacja audytowa dysponuje taką wiedzę ekspercką, w tym w obszarze zarządzania ryzykiem, zarówno w odniesieniu do ryzyka audytu, jak i przedmiotu rozporządzenia (UE) 2022/2065, a w szczególności systemowych zagrożeń społecznych, o których mowa w art. 34 tego rozporządzenia. Audytowany dostawca powinien ponadto zweryfikować techniczne kompetencje i zdolności organizacji audytowej w odniesieniu do konkretnej usługi będącej przedmiotem audytu, w tym wiedzę ekspercką organizacji na temat przedmiotu audytu, na przykład w odniesieniu do funkcjonowania i skutków systemów algorytmicznych, takich jak systemy rekomendacji i inne systemy socjotechniczne, które utrzymuje dostawca. Organizacja audytowa powinna mieć możliwość zlecania podwykonawstwa lub uzyskiwania i wykorzystywania w inny sposób niezbędnej wiedzy eksperckiej i zdolności, a audytowany dostawca powinien zweryfikować, czy organizacja audytowa jest w stanie zdobyć tę wiedzę i te zdolności w czasie umożliwiającym przeprowadzenie audytu, oraz zapewnić, by tak się stało.

(10)

Przy weryfikacji, czy organizacje audytowe spełniają warunki określone w art. 37 ust. 3 rozporządzenia (UE) 2022/2065, audytowany dostawca powinien ocenić istotne dowody, w tym, w stosownych przypadkach, certyfikaty, deklaracje i sprawozdania z audytu, które wydała organizacja audytowa. Potwierdzeniem odpowiedniej wiedzy eksperckiej może być na przykład praktyczne doświadczenie w zakresie oceny ryzyka i zarządzania nim, a także działalność akademicka, publikacje naukowe i doświadczenie związane z odpowiednimi audytami. Sprawozdania z audytu powinny zawierać wszystkie istotne dokumenty potwierdzające, że organizacja audytowa spełnia niezbędne warunki.

(11)

Zgodnie z art. 37 ust. 2 rozporządzenia (UE) 2022/2065 audytowany dostawca ma zapewnić organizacji audytowej wszelką współpracę i pomoc niezbędną do przeprowadzenia audytu w sposób skuteczny, wydajny i terminowy, a także ma powstrzymać się od ingerencji w jakikolwiek sposób w niezależne decyzje organizacji audytowej. Na przykład audytowany dostawca nie powinien niczego narzucać organizacji audytowej, udzielać jej wytycznych ani w inny sposób wpływać na nią przez jakiekolwiek ograniczenia lub zachęty umowne lub innego rodzaju ograniczenia lub zachęty w zakresie wyboru i wykonywania procedur audytu, metodyki, gromadzenia i przetwarzania informacji i dowodów audytowych, analizy, testów, opinii audytowej lub opracowywania wniosków z audytu.

(12)

Aby zagwarantować niezbędną współpracę i pomoc podczas audytu, audytowany dostawca powinien zapewnić organizacji audytowej dostęp do wszystkich informacji niezbędnych do przeprowadzenia audytu. Audytowany dostawca powinien przesłać wszystkie niezbędne dokumenty i wyjaśnienia jak najszybciej, a w każdym razie zanim organizacja audytowa zacznie przeprowadzać procedury audytu. Na przykład zgodnie z art. 41 ust. 3 lit. d) i e) rozporządzenia (UE) 2022/2065 zadaniem komórki nadzoru przestrzegania tego rozporządzenia przez audytowanego dostawcę jest monitorowanie wypełniania wszystkich obowiązków i zobowiązań będących przedmiotem audytu, co powinno doprowadzić do opracowania kontroli wewnętrznych. Organizacja audytowa powinna zatem uzyskać dostęp do wszystkich informacji związanych z takimi kontrolami oraz do wszelkich innych informacji określających strategię audytowanego dostawcy w celu zapewnienia przestrzegania przepisów. W szczególności audytowany dostawca powinien udostępnić organizacji audytowej punkty odniesienia, na których opiera się, aby zapewnić przestrzeganie przepisów rozporządzenia (UE) 2022/2065, tak aby organizacja audytowa mogła oprzeć kryteria audytu na tych informacjach. Organizacja audytowa powinna mieć ponadto dostęp do wszelkich analiz, które audytowany dostawca mógł przeprowadzić na temat ryzyka nieodłącznego i ryzyka zawodności systemów kontroli wewnętrznej. Dostawca ten powinien udostępniać organizacji audytowej informacje, które ułatwiają zrozumienie usługi będącej przedmiotem audytu, zarządzania nią, kompetencji odpowiednich zespołów i struktur decyzyjnych, w tym komórki nadzoru przestrzegania rozporządzenia (UE) 2022/2065, a także prezentacje swoich systemów informatycznych, struktur danych i zapisów oraz wzajemnych zależności między różnymi systemami algorytmicznymi mającymi znaczenie dla audytu.

(13)

Organizacja audytowa powinna mieć możliwość zażądania wszelkich innych niezbędnych informacji na dowolnym etapie audytu. Dostępu do tych informacji należy udzielić bez zbędnej zwłoki i tak, by w żaden sposób nie utrudniało to przeprowadzenia audytu. Powinno to obejmować dostęp do danych, w tym danych osobowych, zebranych z różnych źródeł, takich jak, w stosownych przypadkach, dokumenty, systemy algorytmiczne, bazy danych lub wywiady. Audytowany dostawca powinien również udzielić organizacji audytowej dostępu do procedur i procesów, systemów informatycznych, takich jak systemy algorytmiczne i informacyjne, w tym do środowisk testowych. Aby umożliwić organizacji audytowej przeprowadzenie konstruktywnej kontroli takich systemów, audytowany dostawca powinien udostępnić wszelkie niezbędne zasoby pomocne tej organizacji w dostępie do systemów oraz w ich ocenie, np. przez udostępnienie kompetentnego personelu dostawcy w celu udzielenia odpowiedzi na pytania lub obsługi środowisk testowych oraz udzielenia wyjaśnień dotyczących ich funkcjonowania, lub ułatwienie wszelkiego innego niezbędnego dostępu do personelu i pomieszczeń takich jak budynki. Dostęp do procedur i procesów mógłby oznaczać na przykład dostęp do opisów lub dokumentów dotyczących wewnętrznego procesu decyzyjnego audytowanego dostawcy. Dostęp do odpowiednich informacji może również wymagać od audytowanego dostawcy podjęcia innych działań pomocniczych, by wypełnić obowiązek współpracy i pomocy. Na przykład rozmowy z personelem mogą wymagać od audytowanego dostawcy zapewnienia bezpiecznych pomieszczeń. W przypadku gdy jest to konieczne do przeprowadzenia audytu, audytowani dostawcy powinni wypełniać obowiązek w zakresie współpracy i pomocy w odniesieniu do organizacji audytowej, między innymi ułatwiając dostęp do odpowiednich danych dotyczących ich działalności pozostających w posiadaniu wykonawców będących osobami trzecimi. Może tak być na przykład w przypadku wyników działań w zakresie moderowania treści, materiałów szkoleniowych lub wskazówek wykorzystywanych przez wykonawców będących osobami trzecimi, którzy moderują treści, lub sprzedawców i dostawców usług w zakresie rozwiązań informatycznych, w tym na przykład algorytmów i aplikacji wykorzystywanych w systemach rekomendacji lub systemach reklamowych wykorzystywanych przez audytowanego dostawcę.

(14)

Aby ułatwić osiągnięcie znaczącej przejrzystości ustaleń z audytu oraz zapewnić kompleksowy i porównywalny format sprawozdań z audytu, o których mowa w art. 37 ust. 4 rozporządzenia (UE) 2022/2065, oraz sprawozdań z realizacji audytu, o których mowa w art. 37 ust. 6 tego rozporządzenia, w niniejszym rozporządzeniu należy ustanowić wzory tych sprawozdań i wymóg załączania szeregu załączników do każdego ze sprawozdań. Chociaż wzory określone w niniejszym rozporządzeniu wymagają kompleksowej sprawozdawczości, nie powinny mieć wpływu na wymogi dotyczące publikacji sprawozdań przewidziane w art. 42 ust. 4 i 5 rozporządzenia (UE) 2022/2065.

(15)

W celu zapewnienia, aby organizacja audytowa otrzymała wszelką niezbędną pomoc od audytowanego dostawcy, bez ingerencji w przeprowadzanie audytu, oraz aby organizacja audytowa spełniała wszystkie warunki przygotowania audytu i dostarczyła sprawozdanie z audytu w odpowiednim terminie i z zachowaniem jakości niezbędnej do osiągnięcia wystarczającego poziomu pewności, w niektórych przepisach należy określić procedury przygotowań do audytu. Obowiązki i odpowiedzialność audytowanego dostawcy i organizacji audytowej, w tym wszystkich podwykonawców lub organizacji partnerskich oraz pracowników odpowiedzialnych za przeprowadzenie audytu, należy określić w pisemnej umowie, w tym w formie warunków umownych. W pisemnej umowie należy również określić obowiązki i zobowiązania będące przedmiotem audytu, podział zasobów oraz zasady interakcji i punkty kontaktowe między organizacją audytową a audytowanym dostawcą. Do sprawozdania z audytu należy załączyć wszystkie dokumenty potwierdzające i umowy, w tym w przypadku gdy dokumenty te przyjmują formę umowy zlecenia audytu lub innych warunków umownych.

(16)

Aby zapewnić kompleksowy przegląd i ułatwić rozliczalność audytowanych dostawców, sprawozdanie z audytu powinno zawierać wniosek z przeprowadzonej przez organizację audytową oceny wypełniania przez audytowanego dostawcę każdego obowiązku lub zobowiązania będącego przedmiotem audytu. Każdy wniosek z audytu powinien opierać się na wystarczającym poziomie pewności i powinien być „pozytywny”, „pozytywny z uwagami” albo „negatywny”, aby można go było odpowiednio uwzględnić w opinii audytowej. Wnioski, które są „pozytywne z uwagami”, nie powinny dotyczyć samej oceny przestrzegania przepisów. W uwagach takich można odnieść się na przykład do przekazywania informacji przez dostawcę na wniosek organizacji audytowej lub do ulepszeń w zakresie utrzymania lub kontroli, które wprowadził audytowany dostawca, lub odnotować dalsze plany zmniejszenia ryzyka lub ulepszenia, które dostawca zamierza wprowadzić. W każdym przypadku, jeżeli organizacja audytowa uzna, że audytowany dostawca zapewnia wypełnianie obowiązków lub zobowiązań będących przedmiotem audytu według zgłoszonych przez niego punktów odniesienia, ale uważa, że konieczne jest uwzględnienie uwag na temat tych punktów odniesienia, wniosek z audytu powinien być „pozytywny z uwagami”, ponieważ dzięki takim uwagom dostawca mógłby w użyteczny sposób zostać poinformowany o możliwościach ewentualnych zmian jego punktów odniesienia, w oparciu o wiedzę ogólną i specjalistyczną organizacji audytowej, a także informacje pochodzące ze źródeł zewnętrznych. Na przykład uwagi te mogłyby wynikać z wytycznych Komisji, w tym wytycznych Komisji, o których mowa w art. 35 ust. 3 rozporządzenia (UE) 2022/2065, oraz wszelkich innych odpowiednich wytycznych wydanych przez Komisję w odniesieniu do stosowania tego rozporządzenia, sprawozdań Europejskiej Rady ds. Usług Cyfrowych, o której mowa w art. 35 ust. 2 tego rozporządzenia, działań w zakresie egzekwowania przepisów, decyzji podjętych przez Komisję na podstawie tego rozporządzenia, odpowiedniego orzecznictwa, w szczególności Trybunału Sprawiedliwości Unii Europejskiej, konsultacji publicznych lub z odpowiednich wiarygodnych źródeł.

(17)

Aby umożliwić kontrolę publiczną i nadzór regulacyjny, w przypadku gdy wniosek z audytu jest „negatywny”, ale dotyczy jedynie ograniczonego okresu, a organizacja audytowa uważa, że audytowany dostawca wypełniał obowiązek lub zobowiązanie przez pozostałą część okresu objętego audytem, powinno to znaleźć odzwierciedlenie w sprawozdaniu z audytu w odniesieniu do każdego odnośnego obowiązku lub zobowiązania. Sprawozdanie powinno zawierać uwagi organizacji audytowej dotyczące wszelkich informacji udostępnionych jej przez audytowanego dostawcę w odniesieniu do istniejących lub przyszłych planów zmniejszenia ryzyka w celu zaradzenia brakowi przestrzegania przepisów.

(18)

W świetle różnego charakteru obowiązków prawnych określonych w rozdziale III rozporządzenia (UE) 2022/2065 oraz zobowiązań dobrowolnych podjętych na podstawie kodeksów postępowania i protokołów kryzysowych zgodnie z art. 45, 46 i 48 tego rozporządzenia, organizacja audytowa powinna wydawać opinie audytowe na temat przestrzegania tego rozdziału oraz każdego kodeksu i protokołu.

(19)

Aby przeprowadzić audyt z wystarczającym poziomem pewności i opracować odpowiednie procedury audytu zgodnie z metodykami minimalizującymi ryzyko audytu do niskiego poziomu, kluczową częścią metodyki przeprowadzania audytu powinno być oszacowanie ryzyka audytu, mianowicie ryzyka, że organizacja audytowa wyda nieodpowiednią opinię audytową lub nieodpowiedni wniosek z audytu. W związku z tym organizacja audytowa powinna ocenić ryzyko audytu na samym początku audytu, przed opracowaniem dokładnej metodyki i przeprowadzeniem procedur audytu. Analiza ryzyka audytu jest niezbędna, aby umożliwić organizacji audytowej wybór dokładnych metodyk audytu i określenie, jak kompleksowe muszą być procedury audytu, aby można było uzyskać wystarczający poziom pewności w odniesieniu do opinii audytowej. Organizacja audytowa powinna przeprowadzić analizę ryzyka audytu w celu oceny wypełniania każdego obowiązku lub zobowiązania będącego przedmiotem audytu, z uwzględnieniem ryzyka nieodłącznego, ryzyka zawodności systemu kontroli wewnętrznej i ryzyka niewykrycia.

(20)

Aby prawidłowo ocenić ryzyko audytu, w analizie ryzyka audytu należy uwzględnić charakter usługi będącej przedmiotem audytu, w szczególności jej profil ryzyka, oraz zakres i złożoność audytu. Na przykład istnieje prawdopodobieństwo, że platformy internetowe, które umożliwiają zawieranie między konsumentami umów na odległość, będą obarczone innym ryzykiem nieodłącznym niż platformy udostępniania plików wideo lub wyszukiwarki internetowe. Ponadto należy wziąć pod uwagę kontekst społeczny i gospodarczy, w którym świadczona jest usługa będąca przedmiotem audytu, na przykład jeżeli chodzi o typowe grupy użytkowników takich jak małoletni lub częste zachowania, takie jak częste występowanie nieautentycznego korzystania z usługi i skoordynowane zachowania w kampaniach dezinformacyjnych. Kontekst społeczny i gospodarczy, który należy uwzględnić, powinien również obejmować prawdopodobieństwo i, niezależnie, dotkliwość narażenia na sytuacje kryzysowe i nieoczekiwane zdarzenia, o których mowa w rozporządzeniu (UE) 2022/2065.

(21)

W celu zapewnienia, aby analiza ryzyka audytu odzwierciedlała zmiany ryzyka, które dotyczy danej usługi, analizę tę należy również oprzeć, w stosownych przypadkach, na informacjach z poprzednich audytów danego audytowanego dostawcy i na informacjach ze źródeł takich jak sprawozdania z audytu innych dostawców o podobnym profilu ryzyka. W celu zapewnienia, aby analiza ryzyka audytu była w pełni oparta na najnowszych dowodach ryzyka w kontekstach podobnych do tych, w których działa audytowany dostawca, oraz na wiarygodnych źródłach mających bezpośrednie znaczenie dla stosowania rozporządzenia (UE) 2022/2065, analiza ta powinna również, w stosownych przypadkach, opierać się na informacjach ze sprawozdań wydanych przez Europejską Radę ds. Usług Cyfrowych lub na wytycznych Komisji. Inne informacje mogą również obejmować informacje ze sprawozdań z audytu, które na podstawie art. 42 ust. 4 rozporządzenia (UE) 2022/2065 publikują inni dostawcy bardzo dużych platform internetowych lub bardzo dużych wyszukiwarek internetowych.

(22)

Organizacja audytowa powinna opracować, bez wpływu ze strony audytowanego dostawcy, metodyki audytowe stosowane do oceny wypełniania obowiązków i zobowiązań będących przedmiotem audytu. Kryteria audytu powinny opierać się na informacjach przekazanych przez audytowanego dostawcę co do punktów odniesienia stosowanych przez niego do monitorowania przestrzegania przepisów. Metodyka może również wziąć pod uwagę inne informacje udostępnione przez audytowanego dostawcę, takie jak analiza ryzyka nieodłącznego, jeżeli audytowany dostawca przeprowadził taką analizę, na przykład za pomocą środków opracowanych przez pracownika ds. nadzoru przestrzegania rozporządzenia (UE) 2022/2065 lub organ zarządzający zgodnie z art. 41 rozporządzenia (UE) 2022/2065 lub innych środków wbudowanych w funkcjonowanie usługi na potrzeby ocen ryzyka systemowego, o których mowa w art. 34 tego rozporządzenia.

(23)

W celu zapewnienia, aby metodyki audytowe były odpowiednie do osiągnięcia wystarczającego poziomu pewności w odniesieniu do opinii audytowych, przy wyborze metodyki na potrzeby procedur audytu należy uwzględnić specyfikę obowiązku lub zobowiązania będącego przedmiotem audytu i należy dostosować tę metodykę na przykład do charakteru danego obowiązku jako obowiązku w zakresie środków lub obowiązku w zakresie wyników, które dostawca musi osiągnąć, aby wypełnić obowiązek. Na przykład procedury audytu służące do oceny wypełniania obowiązków sprawozdawczych w zakresie przejrzystości zgodnie z art. 15 rozporządzenia (UE) 2022/2065 mogłyby umożliwić organizacji audytowej stwierdzenie, czy sprawozdania opublikowano w terminach i formatach wymaganych w tym rozporządzeniu, a także czy były one kompletne oraz czy przekazane dane były prawidłowe, reprezentatywne oraz właściwie rozbite, na przykład według kategorii nielegalnych treści, w sprawie których podjęto działania.

(24)

Wybór metodyki powinien również zależeć od tego, czy ocena wypełniania obowiązku lub zobowiązania wymaga interpretacji kontekstowej od organizacji audytowej. Wybór metodyki należy również dostosować do ryzyka nieodłącznego związanego z działalnością prowadzoną w ramach świadczenia usługi oraz do kontekstu, w jakim usługa jest świadczona, na przykład czy usługa wiąże się ze sprzedażą towarów, które mogą być nielegalne, lub czy z usługi korzystają głównie małoletni. Na przykład metodyki oceny wypełniania obowiązków w zakresie wprowadzenia odpowiednich i proporcjonalnych środków, aby zapewnić wysoki poziom prywatności, bezpieczeństwa i ochrony małoletnich zgodnie z art. 28 ust. 1 rozporządzenia (UE) 2022/2065, powinny umożliwiać organizacji audytowej uzyskanie wystarczającej wiedzy na temat tego, w jaki sposób małoletni korzystają z usługi będącej przedmiotem audytu, oraz na temat ryzyka dla ich prywatności, bezpieczeństwa i ochrony, które może wystąpić, a także na temat tego, co stanowi odpowiedni i proporcjonalny środek w konkretnym kontekście usługi będącej przedmiotem audytu i korzystania z niej przez małoletnich. W tym celu organizacje audytowe powinny podzielić ocenę na odpowiednie kroki. Za pomocą tych kroków należy ocenić ryzyko audytu zgodnie z profilem ryzyka audytowanego dostawcy, w szczególności to, czy usługi tego dostawcy są dostępne dla małoletnich lub czy to małoletni korzystają z nich w przeważającej części. Za pomocą tych kroków należy ocenić, czy dostawca wdrożył narzędzia ochrony ze względu na wiek, czy są one skuteczne oraz w jaki sposób audytowany dostawca ocenia i monitoruje ich skuteczność. Za pomocą tych kroków należy ocenić, czy audytowany dostawca wprowadził właściwe środki służące wykrywaniu kontradyktoryjnego korzystania z jego usługi oraz wzorców zachowań, które mają szkodzić lub mogą zaszkodzić małoletnim.

(25)

Wybór metodyk należy dostosować do ryzyka zawodności systemu kontroli wewnętrznej związanego ze środkami, które audytowany dostawca wprowadził w celu wypełnienia obowiązku lub zobowiązania, a także do ryzyka niewykrycia, mianowicie niewykrycia zniekształceń w informacjach udostępnionych organizacji audytowej przez dostawcę. Na przykład w przypadku gdy obowiązek będący przedmiotem audytu może obejmować audyt systemu algorytmicznego oparty na personalizacji poszczególnych odbiorców usługi będącej przedmiotem audytu oraz na powtarzających się aktualizacjach systemu algorytmicznego, takich jak obowiązki w zakresie ujawniania informacji w odniesieniu do systemów rekomendacji zgodnie z art. 27 rozporządzenia (UE) 2022/2065, wybór metodyki powinien umożliwić organizacji audytowej zaprojektowanie odpowiednich testów w celu zminimalizowania ryzyka niewykrycia. Podobnie w przypadku gdy organizacja audytowa stara się ocenić, czy zmniejszono wszystkie istotne rodzaje ryzyka na etapie projektowania i funkcjonowania aplikacji opartych na dużych modelach językowych, takich jak funkcje czatów lub systemy rekomendacji wdrożone przez audytowanego dostawcę, i na etapie korzystania z takich aplikacji, powinna najpierw ocenić, czy kontrole prowadzone przez dostawcę są właściwe. Wybór testów powinien opierać się na solidności tych kontroli wewnętrznych. W szczególności - ale nie wyłącznie - w przypadkach, w których kontrole wewnętrzne są słabe, niekompletne lub niejednoznaczne, do celów oceny przestrzegania przepisów z uwzględnieniem populacji odbiorców usługi będącej przedmiotem audytu procedury audytu powinny opierać się na kombinacji metodyk. Metodyki mogłyby na przykład obejmować bezpośrednie procedury analityczne, takie jak analiza interakcji między wszystkimi systemami algorytmicznymi mającymi związek z systemami rekomendacji oraz powiązanymi zasadami i procesami podejmowania decyzji służącymi ustaleniu głównych parametrów tych systemów rekomendacji, obserwacje zapisów i rejestrów cyfrowych. Metodyki powinny również obejmować testy systemu takie jak testy w środowiskach symulowanych.

(26)

W celu zapewnienia, aby metodyka była odpowiednia i dostosowywana do nowych ustaleń w trakcie przeprowadzania audytu, przy wyborze metodyk należy kierować się osądem zawodowym organizacji audytowej i należy ten wybór dostosować tak, aby uwzględnić te nowe ustalenia, w szczególności gdy organizacja audytowa ma uzasadnione wątpliwości co do informacji, które przedłożył audytowany dostawca. Zawodowy sceptycyzm organizacji audytowej powinien opierać się na jej wiedzy eksperckiej, a także na innych źródłach informacji o szczególnym znaczeniu dla stosowania rozporządzenia (UE) 2022/2065, takich jak sprawozdania Europejskiej Rady ds. Usług Cyfrowych, wytyczne Komisji, sprawozdania z audytu wydane na podstawie kodeksów postępowania lub protokołów kryzysowych, o których mowa w art. 45, 46 i 48 tego rozporządzenia, lub informacje pojawiające się w trakcie przeprowadzania audytu, w tym w odniesieniu do zdarzeń, w szczególności sytuacji kryzysowych, które wymagają od audytowanego dostawcy dodatkowych działań, aby zapewnić wypełnianie niektórych obowiązków lub zobowiązań będących przedmiotem audytu.

(27)

W celu zapewnienia, aby w trakcie audytu zgromadzono wystarczające dowody audytowe, organizacje audytowe powinny ocenić zarówno kontrole wewnętrzne audytowanego dostawcy, jak i przeprowadzić bezpośrednie procedury audytowe w celu oceny wypełniania obowiązków lub zobowiązań przez audytowanego dostawcę. W niektórych przypadkach organizacja audytowa powinna również przeprowadzić testy.

(28)

Z uwagi na złożoność systemów algorytmicznych wykorzystywanych przez dostawców platform internetowych i ich ważną rolę w wypełnianiu szeregu obowiązków określonych w rozporządzeniu (UE) 2022/2065 należy zwrócić szczególną uwagę na niezbędne i odpowiednie wybory metodyczne w odniesieniu do audytu systemów algorytmicznych. Dotyczy to zarówno przypadku, w którym systemy algorytmiczne są częścią kontroli wprowadzonych przez audytowanego dostawcę, jak i przypadku, w którym one same są przedmiotem obowiązków lub zobowiązań będących przedmiotem audytu, np. w odniesieniu do systemów rekomendacji, np. na podstawie art. 27, 34, 35 i 38 rozporządzenia (UE) 2022/2065, lub systemów reklamowych, np. na podstawie art. 26, 28, 34, 35 i 39 tego rozporządzenia, systemów moderowania treści, np. na podstawie art. 14, 15, 34 i 35 tego rozporządzenia, lub jakiegokolwiek innego systemu algorytmicznego przyczyniającego się do ryzyka, o którym mowa w art. 34 tego rozporządzenia.

(29)

Należy również stosować połączenie bezpośrednich procedur analitycznych, w tym, w stosownych przypadkach, opartych na obserwacji procesów i działań audytowanego dostawcy podczas projektowania, rozwoju, obsługi, testowania i monitorowania systemów algorytmicznych lub obserwacji zapisów i rejestrów cyfrowych, które generują systemy. Metodyki należy dostosować do specyfiki systemów algorytmicznych, w tym zarządzania nimi, interakcji między różnymi systemami algorytmicznymi, a także powiązanych systemów zarządzania danymi, oraz do technologii leżących u podstaw tych systemów algorytmicznych, takich jak modele generatywne lub inne klasyfikatory, algorytmy wyboru lub wyszukiwania.

(30)

Metodyki audytowe w przypadku systemów algorytmicznych powinny ponadto obejmować testy, na przykład testy służące do zebrania informacji, których audytowany dostawca nie udokumentował wcześniej, lub do niezależnego odtworzenia i oceny wyników wskaźników dokładności, testów w piaskownicach lub środowiskach symulowanych lub testów w systemach produkcyjnych, w tym przy użyciu automatycznego pobierania danych (ang. data scraping) lub testowania kontradyktoryjnego.

(31)

Ponieważ wysoka jakość dowodów audytowych jest warunkiem koniecznym, aby organizacja audytowa sporządziła opinię audytową z wystarczającym poziomem pewności, informacje, które organizacja audytowa zdecyduje się wykorzystać jako dowody audytowe, powinny być odpowiednie i wystarczające do zmniejszenia ryzyka audytu. Dowody audytowe powinny ponadto być wiarygodne zgodnie z osądem zawodowym i sceptycyzmem organizacji audytowej oraz w stosownych przypadkach w świetle alternatywnych źródeł informacji. Osąd zawodowy i sceptycyzm powinny obejmować krytyczną ocenę dowodów audytowych i ewentualnych zniekształceń. Te normy jakości powinny mieć zastosowanie do wszystkich dowodów audytowych, niezależnie od tego, czy dostarczył je audytowany dostawca, czy zebrano je z innych źródeł.

(32)

Organizacja audytowa powinna wziąć pod uwagę szereg źródeł informacji, które mogą obejmować na przykład wywiady z pracownikami lub wykonawcami danego audytowanego dostawcy, w tym z pracownikami ds. nadzoru przestrzegania rozporządzenia (UE) 2022/2065, inżynierami, naukowcami zajmującymi się danymi, architektami oprogramowania lub członkami zespołów audytu wewnętrznego. Mogą one obejmować również dokumentację techniczną projektowania, wdrażania, testowania i monitorowania odpowiedniego systemu, w tym jakości danych i zarządzania danymi oraz aktualizacji i wersji systemu, a także inne dokumenty dotyczące procesów zarządzania i procesów decyzyjnych u audytowanego dostawcy, w tym w odniesieniu do priorytetów, zasobów, podziału zadań i obowiązków lub wiedzy eksperckiej odpowiedniego personelu.

(33)

Aby zapewnić skuteczność i proporcjonalność przeprowadzania audytu, organizacja audytowa powinna mieć możliwość doboru próby danych i informacji, z należytym uwzględnieniem osiągnięcia reprezentatywnej próby, co umożliwi organizacji audytowej uzyskanie opinii audytowej z wystarczającym poziomem pewności. Na potrzeby zapewnienia przejrzystości i odtwarzalności procedur audytu organizacja audytowa powinna przedstawić w sprawozdaniu z audytu uzasadnienie wyboru liczebności próby i metody doboru próby. Na przykład liczebność próby i metodykę należy wybrać z uwzględnieniem tego, co jest skuteczne z perspektywy osiągnięcia celu audytu określonego obowiązku lub zobowiązania będącego przedmiotem audytu oraz zminimalizowania ryzyka, że wniosek z audytu konkretnej próby różniłby się od wniosku, który by sformułowano, gdyby procedurze audytu poddano całą populację dowodów. Liczebność i metodykę próby należy dobrać z uwzględnieniem pełnego zakresu audytu, a także wewnętrznych lub zewnętrznych zmian w usłudze będącej przedmiotem audytu w tym czasie. Należy je również dostosować do specyfiki systemów algorytmicznych, w tym pod względem personalizacji przez profilowanie. W ramach tych rozważań organizacja audytowa powinna na przykład odpowiednio dobrać próbę z poszczególnych kohort lub przedziałów, które mogą wynikać z technik personalizacji, lub określić margines błędu i uzasadnić, dlaczego jest on na dopuszczalnym poziomie.

(34)

Z uwagi na nowatorski charakter niektórych przepisów rozporządzenia (UE) 2022/2065 konieczne jest określenie przepisów dotyczących metodyki, w tym pytań audytowych i dalszych wytycznych dotyczących wyboru metodyk i dowodów audytowych na potrzeby oceny przestrzegania tych przepisów, a mianowicie oceny przestrzegania art. 34, 35 i 36 rozporządzenia (UE) 2022/2065 dotyczących przeprowadzania ocen ryzyka i przyjmowania środków zmniejszających ryzyko przez audytowanych dostawców oraz stosowania obowiązków w zakresie reagowania kryzysowego.

(35)

Z uwagi na fakt, że organizacje audytowe powinny również oceniać, czy audytowany dostawca przestrzega art. 37 rozporządzenia (UE) 2022/2065, należy również przedstawić dalsze specyfikacje dotyczące dokładnego audytu, względem których należy oceniać to przestrzeganie, w szczególności aby uniknąć wszelkich konfliktów interesów dla organizacji audytowej.

(36)

Ze względu na dobrowolny charakter kodeksów postępowania i protokołów kryzysowych konieczne jest ustanowienie przepisów szczegółowych dotyczących audytu przestrzegania art. 45, 46 i 48 rozporządzenia (UE) 2022/2065, w szczególności w celu zapewnienia, aby organizacje audytowe dysponowały wszystkimi informacjami niezbędnymi do przeprowadzania audytów specyficznych dla zobowiązań wynikających z każdego kodeksu postępowania i protokołu kryzysowego,