In 2023, we saw the rise of artificial intelligence (AI) and its expansion to mass use by users around the world. However, AI also brings significant privacy challenges, as do all previous significant changes in modern technology. Globally, two approaches to AI in the context of data protection can be observed, one approach represented mainly by the United States of America and the other approach represented mainly by the European Union. The US focuses mainly on innovation and flexibility, while the EU emphasises privacy and security over technological advancement. The present paper will focus on the protection of users when using AI and the specific privacy risks of AI, including unauthorised access to sensitive data, misuse of data for tracking and profiling users, and lack of transparency of algorithms. In relation to the risks of using AI, the paper will focus on the EU’s proposed regulation setting out harmonised rules for AI, the so-called AI Act. This would provide a comprehensive framework for AI regulation, including obligations for AI developers and users, to minimise risks and ensure the ethical use of AI. Finally, the paper will focus on whether the AI Act effectively ensures the protection of users in the context of AI.
CS
V roce 2023 jsme zažili vzestup umělé inteligence (AI) a její rozšíření k masovému používání uživateli po celém světě. Umělá inteligence však také přináší významné výzvy v oblasti ochrany osobních údajů, tak jako všechny předchozí výrazné změny v oblasti moderních technologií. Celosvětově lze sledovat dva přístupy k AI v souvislosti s ochranou osobních údajů, jeden přístup reprezentují zejména Spojené státy americké a druhý přístup reprezentuje zejména Evropská unie. USA se zaměřují zejména na inovace a flexibilitu, zatímco EU klade důraz na ochranu soukromí a bezpečnost nad technologický posun. Předkládaný příspěvek se zaměří na ochranu uživatelů při užívání umělé inteligence a na konkrétní rizika ochrany osobních údajů u AI zahrnující neoprávněný přístup k citlivým datům, zneužití dat pro sledování a profilování uživatelů a nedostatečnou transparentnost algoritmů. V souvislosti s riziky užívání AI se příspěvek zaměří na nařízení stanovující harmonizovaná pravidla pro umělou inteligenci EU, tzv. AI Act, publikovaný EU. Ten by měl představovat komplexní rámec pro regulaci AI, který zahrnuje povinnosti pro vývojáře a uživatele AI, s cílem minimalizovat rizika a zajistit etické využití AI. Příspěvek se na konci bude zabývat tím, zda AI Act efektivně zajišťuje ochranu uživatelů v souvislosti s AI.
This article discusses the privacy issues surrounding the DeepSeek AI system, which is facing allegations of transferring user data to China. The author analyses the legal framework for data protection in the EU, in particular with regard to the GDPR and the AI Act, and assesses whether DeepSeek complies with the requirements of these regulations. The study also reflects on the European Union’s approach to AI regulation and the application of the precautionary principle, which has been used in the past, for example, to restrict access to certain digital services in Europe. The paper also compares the EU and US approach to technology companies based in China, highlighting the similar case of ByteDance, TikTok’s parent company, which faced allegations of data sharing with Chinese authorities. The author assesses possible regulatory scenarios for DeepSeek, including security threat listing, temporary banning or permanent blocking of its services in the EU. Particular attention is paid to the question of proportionality and effectiveness of these measures, both in terms of data protection and geopolitical implications. The study concludes that, although the EU emphasises dialogue and redress, if there are reasonable doubts about data security, it would be appropriate to temporarily restrict DeepSeek’s operations until it demonstrates full compliance with European legal standards.
CS
Článek se zabývá problematikou ochrany osobních údajů v souvislosti s AI modelem DeepSeek, který čelí podezřením z předávání osobních dat uživatelů do Číny. Výzkum analyzuje právní rámec ochrany osobních údajů v EU, zejména s ohledem na nařízení GDPR a AI Act, a hodnotí, zda DeepSeek splňuje požadavky těchto regulací. Studie rovněž reflektuje přístup Evropské unie k regulaci AI a aplikaci principu předběžné opatrnosti, který byl v minulosti využit například při omezení přístupu k některým digitálním službám v Evropě. Zároveň se věnuje i komparaci přístupu EU a USA vůči technologickým společnostem se sídlem v Číně, přičemž poukazuje na obdobný případ společnosti ByteDance, mateřské společnosti vlastnící sociální síť TikTok, která čelila obviněním ze sdílení dat s čínskými úřady. Autor hodnotí možné regulatorní scénáře pro DeepSeek, včetně zařazení na seznam bezpečnostních hrozeb, dočasného zákazu či trvalé blokace jeho služeb v EU. Zvláštní pozornost je věnována otázce proporcionality a účinnosti těchto opatření, a to jak z pohledu ochrany osobních údajů, tak z hlediska geopolitických důsledků. Studie dochází k závěru, že ačkoli EU klade důraz na dialog a možnost nápravy, v případě důvodných pochybností o bezpečnosti dat by bylo vhodné dočasně omezit provoz DeepSeeku, dokud neprokáže plný soulad s evropskými právními normami.
The Artificial Intelligence (AI) Act distinguishes between the different actors involved in the supply chain of high-risk AI systems. The purpose of this paper is to outline and compare the obligations of importers, distributors and deployers, and to analyse the circumstances in which these obligations may be extended and aligned with those of providers of high-risk AI systems. The obligations of importers and distributors are primarily of a verification nature. In general, the obligations of distributors are more limited than those of importers, who bear the burden of primary verification of compliance by providers. In contrast, the obligations of deployers are generally not subordinate to those of providers but constitute an independent responsibility arising from the need to address the risks posed during the deployment phase of high-risk AI systems. A specific situation arises where interference with AI systems results in the imposition of obligations on a non-deployer that are equivalent to those imposed on providers of high-risk AI systems. This is because AI-based systems are, among other things, susceptible to changes in their purpose in ways that are independent of their design and the intentions of their providers. Proper identification and understanding of the responsibilities of the various actors in the supply chain are key to minimising the risks associated with the use of high-risk AI systems across the European Union and to avoiding the imposition of financial sanctions.
PL
Rozporządzenie Parlamentu Europejskiego i Rady (UE) 2024/1689 z dnia 13 czerwca 2024 r. w sprawie ustanowienia zharmonizowanych przepisów dotyczących sztucznej inteligencji (AI Act) wyszczególnia różne podmioty uczestniczące w łańcuchu dostaw systemów AI wysokiego ryzyka. Cele niniejszego artykułu to: przedstawienie oraz porównanie obowiązków: importerów, dystrybutorów oraz podmiotów stosujących oraz analiza okoliczności, w których obowiązki te mogą zostać rozszerzone i zrównane z obowiązkami dostawców systemów AI wysokiego ryzyka. Obowiązki importerów oraz dystrybutorów w znacznej mierze mają charakter weryfikacyjny. Nadto, obowiązki dystrybutorów są bardziej ograniczone niż obowiązki importerów, na których spoczywa ciężar pierwotnej weryfikacji spełnienia zadań przez dostawców. Odmiennie, obowiązki nałożone na podmioty stosujące nie mają zazwyczaj charakteru wtórnego wobec obowiązków dostawców. Są odrębnymi zadaniami, wynikającymi z chęci przeciwdziałania zagrożeniom, jakie niesie za sobą etap stosowania systemów AI wysokiego ryzyka. W artykule omówiono również sytuacje szczególne, w których ingerencja w systemy AI powoduje, że na podmiot niebędący dostawcą nałożone zostają obowiązki zrównane z obowiązkami dostawców systemów AI wysokiego ryzyka. Jest tak dlatego, że systemy oparte na technologii sztucznej inteligencji są podatne m.in. na zmiany ich przeznaczenia, w sposób niezależny od sposobów ich zaprojektowania oraz woli dostawców. Właściwa detekcja i zrozumienie obowiązków poszczególnych podmiotów w łańcuchu dostaw są ważne dla minimalizacji ryzyk związanych z wykorzystaniem systemów AI wysokiego ryzyka w całej Unii Europejskiej oraz w celu uniknięcia sankcji pieniężnych przez wskazane podmioty.
The article assesses the influence of the Artificial Intelligence Act (AI Act) on the potential for achieving the health-related aims of Sustainable Development Goal 3 (SDG 3) from an EU law perspective. Although the impact of AI on health has been widely studied, the implications of the AI Act in this regard remain underexplored in academic literature. The influence of the new regulation on research and drug development is important in the context of SDG 3. A review of existing normative acts leads to the following conclusions. Firstly, the SDGs do not possess the status of binding acts within EU lawmaking. However, their objectives are included in policy and strategy documents and thus exert indirect influence on the EU legal order. Secondly, the AI Act does not contain a direct reference to the SDGs, despite a legislative-stage proposal by Parliament. Furthermore, the issue of sustainable development is mentioned only in passing. However, the incorporation of the SDGs into policy documents precludes any interpretation of the AI Act that would impede their attainment. This is significant in the context of the AI Act’s direct impact on SDG 3, concerning prohibited practices such as profiling and scoring employed in health insurance risk assessment. A comparable situation arises regarding the indirect impact of the Act, as exemplified by its use in drug development. An interpretation aligned with the SDGs suggests that the research exemption set out in the AI Act should extend to any entity engaged in research, irrespective of its legal status.
The Polish justice system is hampered by the protracted nature of court proceedings, urgently requiring a reassessment of its current model. The paper examines the potential benefits and severe risks of integrating AI and LLMs into dispute resolution. The core opportunity lies in data-driven optimization, offering greater efficiency, standardization of jurisprudence, and administrative support (e.g., the digital judge’s assistant). However, the implementation of AI as an adjudicator faces critical threats: ethical issues surrounding the dehumanization of law and the inability to interpret human-centric concepts such as "good faith"; technical risks from "black box" algorithms and the replication of historical biases; and sovereignty concerns tied to strategic infrastructure and compliance with the EU AI Act. While AI is not ready to replace human judges, its inevitable role in supportive functions and ADR mandates immediate structural reform to leverage its benefits while safeguarding the constitutional principles of impartiality, human dignity, and the right to a fair trial.
The Artificial Intelligence (AI) Act distinguishes between the different actors involved in the supply chain of high-risk AI systems. The purpose of this paper is to outline and compare the obligations of importers, distributors and deployers, and to analyse the circumstances in which these obligations may be extended and aligned with those of providers of high-risk AI systems. The obligations of importers and distributors are primarily of a verification nature. In general, the obligations of distributors are more limited than those of importers, who bear the burden of primary verification of compliance by providers. In contrast, the obligations of deployers are generally not subordinate to those of providers but constitute an independent responsibility arising from the need to address the risks posed during the deployment phase of high-risk AI systems. A specific situation arises where interference with AI systems results in the imposition of obligations on a non-deployer that are equivalent to those imposed on providers of high-risk AI systems. This is because AI-based systems are, among other things, susceptible to changes in their purpose in ways that are independent of their design and the intentions of their providers. Proper identification and understanding of the responsibilities of the various actors in the supply chain are key to minimising the risks associated with the use of high-risk AI systems across the European Union and to avoiding the imposition of financial sanctions.
The article explores the limitation of one of the privacy and data protection rights when using generative AI models. The identified limitation is assessed from the perspective of the ‘essence’ of the right to the protection of personal data. With the further aim of assessing the limitation, the author explores whether the right to be forgotten (RTBF) is relevant or effective in an AI/machine learning context. These considerations are focused on the technical problems encountered when applying the strict interpretation of the RTBF. In particular, the antagonism between, on the one hand, the values of privacy and data protection rights, and on the other, the technical capabilities of the producer of the generative AI models, is further analysed in this context. As the conclusion emphasizes that the RTBF cannot be practicably or effectively exercised in the machine learning models, further considerations of this exposed limitation are presented. The proportionality principle, as an instrument that supports the proper application if there is any limitation of the conflicting rights, has been utilized to depict the qualitative approach. The integration of this principle supports the conclusion by identifying a more efficient way to address some regulatory issues. Hence, the conclusion of the article presents some suggested solutions as to the interpretation of this right in the light of this new technological advancement. Ultimately, the paper aims to address the legal conundrum of how to balance the conflict between the interest of innovative use of the data (the data producer’s right) and privacy and data protection rights.
Cette contribution examine le potentiel et les défis liés à l’utilisation de l’intelligence artificielle, notamment de l’IA générative, pour accélérer la transition énergétique dans le cadre du plan REPowerEU. Le rôle de l’IA dans la transformation numérique du système énergétique de l’UE est étudié à travers le prisme du droit de l’Union. L’article analyse également les bases juridiques pertinentes, notamment les articles 114 et 194 du TFUE, ainsi que la législation secondaire pertinente. Il conclut en soulignant les défis juridiques que pose l’application de l’IA générative dans les infrastructures critiques et les obligations du règlement sur l’IA.
EN
This contribution examines the potential and challenges of utilising AI, particularly generative AI, to accelerate the energy transition. To achieve this, the study considers the application of GenAI within the REPowerEU framework. The plan highlights the transformative role of digital technologies such as AI, IoT, data analytics, and cloud computing in orchestrating energy assets and improving grid management. In this context, GenAI has emerged as a revolutionary paradigm, enhancing system intelligence and efficiency. The paper assesses the deployment of GenAI under the REPowerEU legal framework, including the AI Act and sector-specific energy legislation. The contribution identifies the dual legal basis under Articles 114 and 194 TFEU as a possible legal legitimization for the employment of GenAI and analyses the implications of secondary legislation, concluding with the legal challenges posed by GenAI's classification as high-risk under the AI Act.
The dynamic development of technologies known as artificial intelligence (AI) raises challenges and concerns about its applications in social life, including negative effects on the accuracy of democratic processes. Risks, related to manipulation and the spread of disinformation or propaganda on online platforms, may – with the use of AI – multiply. In electoral processes, the creation of false images of reality or the use of bots to control the electoral agenda, threaten to disrupt communications and even uncertain election results, and ultimately destroy democracy. However, properly designed AI tools can also improve democratic processes, more deeply engaging people as potential voters. Pan-European organizations, have pointed out the need to establish international standards for the application of AI, so that this technology is not tucked away in a “black box of algorithms,” which should be transparent, understandable and controlled according to established principles of accountability.
PL
Dynamiczny rozwój technologii określanych jako sztuczna inteligencja (SI) rodzi wyzwania i obawy dotyczące jej zastosowań w życiu społecznych, w tym negatywnych skutków dla prawidłowości procesów demokratycznych. Znane już zagrożenia, związane z manipulacjami i rozprzestrzenianiem dezinformacji czy propagandy w komunikacji na platformach internetowych, mogą – przy pomocy SI – ulec zwielokrotnieniu. W procesach wyborczych tworzenie fałszywych obrazów rzeczywistości czy wykorzystanie botów do sterowania agendą wyborczą, grożą zakłócaniem komunikacji, a nawet niepewnymi wynikami wyborów, a w konsekwencji destrukcją demokracji. Jednakże odpowiednio zaprojektowane narzędzia SI mogą także demokratyczne procesy usprawniać, głębiej angażując ludzi jako potencjalnych i świadomych wyborców. Organizacje międzynarodowe o zasięgu paneuropejskim, takie jak Rada Europy, UE czy OBWE, wskazywały na konieczność ustanowienia międzynarodowych standardów zastosowanie SI, aby tej technologii nie schowano w „czarnej skrzynce algorytmów”, które powinny być transparentne, zrozumiałe i kontrolowane zgodnie z ustalonymi zasadami odpowiedzialności.
AI-based personalization is a technology that uses vast amounts of personal data to tailor experience for online user and provide them with information they require. On one hand, it can make it easier for users to receive relevant information, on the other hand it can also manipulate their decision-making process, lower their personal autonomy, as well as intrude in their privacy. The aim of this paper is to answer the question whether the current EU laws efficiently protect personal autonomy and the rights to privacy and data protection of online users in the context of AI-based personalization. The paper explores the notion of “efficient protection” and the specific legal challenges that AI-based personalization poses for the protection of personal autonomy, privacy, and data protection.
With the rise of new tools and technological solutions, public administration services are increasingly attempting to incorporate them into administrative processes to improve efficiency. One of the most fundamental challenges historically faced by police forces worldwide was the inability to identify a criminal based solely on a facial description. This issue was largely addressed by technological advancements that enabled the creation of mugshots of suspected individuals. Currently, the police face a new ethical dilemma: the use of artificial intelligence to match photos of suspects with images of similar-looking individuals. This article focuses on highlighting the potential problems that may arise if such measures are widely implemented in police work, exploring ways to mitigate those issues, and examining the compatibility of AI usage in policing with the current legal framework of Poland and the European Union.
PL
Wraz z rozwojem narzędzi i rozwiązań technologicznych pojawia się próba zaaplikowania nowych technologii w ramach działań administracji, tak aby umożliwić sprawniejsze wykonywanie obowiązków, w tym również przez służby policyjne. Jednym z odwiecznych problemów policji była niemożność odnalezienia sprawcy po samym opisie twarzy, jednak postęp technologiczny umożliwił zawieranie wizerunków sprawców na zdjęciu, co przyczyniło się do sprawniejszego odnajdywania poszukiwanych osób. Obecnie policja staje przed nowym wyzwaniem etycznym, jakim jest zastosowanie sztucznej inteligencji (SI) w kontekście identyfikacji osób podejrzanych spośród wizerunków podobnych osób. Tematem niniejszego artykułu jest przedstawienie problemów, które mogą wyniknąć w przypadku zmasowanego zaimplementowania sztucznej inteligencji do pracy policyjnej, możliwości przeciwdziałania im oraz sprawdzenie zgodności korzystania ze sztucznej inteligencji w obecnym stanie prawnym Polski i UE.
This research paper presents an analysis of social awareness regarding personal data security in the context of Artificial Intelligence. In recent years, AI has been evolving rapidly, particularly in its use of personal data for various purposes. The thesis examines legal regulations and their development within the legal system, including selected legal acts of the European Union. A survey was conducted, and its analysis along with commentary is included in the paper. The findings indicate that social awareness of the safe use of AI remains unsatisfactory and does not reflect the realities of current technological advancement. Many respondents are unaware of relevant legal acts or available means to protect themselves against the unlawful use of their personal data by AI systems. This paper also discusses numerous risks posed by AI related to the illegal processing of personal data, as well as selected approaches and potential safeguards against such threats.
PL
Celem niniejszego artykułu jest analiza świadomości społecznej na temat bezpieczeństwa danych osobowych w świecie sztucznej inteligencji. Szczególnie w ostatnich latach wraz z prężnym rozwojem AI dostrzec możemy jej powiązanie z danymi osobowymi, które wykorzystuje na wielu płaszczyznach. Artykuł zawiera analizę różnych regulacji prawnych wraz z ich rozwojem, także na płaszczyźnie Unii Europejskiej. Świadomość społeczna na temat bezpiecznego wykorzystania sztucznej inteligencji nie jest zadowalająca i odbiega od stanu faktycznego, wielu respondentów nie zna zarówno żadnych regulacji prawnych, jak i sposobów ochrony przed niechcianym wykorzystaniem danych osobowych przez AI (ang. artificial intelligence). Opisane zostały również liczne zagrożenia związane z nielegalnym użyciem danych osobowych przez sztuczną inteligencję, a także propozycje ochrony przed nimi.
In view of the intensification of artificial intelligence development, the European Union has regulated its use in Regulation 2024/1689, the Artificial Intelligence Act. The regulation is based on an analysis of the risks posed by individual artificial intelligence systems, including in relation to fundamental rights. The authors analyze Article 5 of the Regulation covering prohibited practices related to biometric identification, focusing on their impact on the protection of fundamental rights of individuals, especially consumers. The purpose of the article is to assess whether the solutions adopted effectively fulfill the above premise, which underlies the Artificial Intelligence Act, and to propose solutions to the problems observed. The authors characterize various technologies and examine the content of the provisions governing them. As part of the analysis, they refer to the opinions of the doctrine, EU institutions and social and consumer organizations, pointing out identified problems with the form of these provisions. The final version of the Regulation raises significant doubts and leads the Authors to the conclusion that it is unable to provide fully effective protection, which could be achieved by a strict interpretation of Article 5 in the light of fundamental rights. The article identifies the current challenges posed by the rapid development of artificial intelligence and biometric technologies, highlighting the crucial importance of fundamental rights as a starting point for the following discussions, attempts to regulate and apply the Regulation.
PL
Wobec intensyfikacji rozwoju sztucznej inteligencji Unia Europejska uregulowała zasady jej wykorzystywania w akcie w sprawie sztucznej inteligencji. Rozporządzenie opiera się na analizie ryzyka, jakie wywołują poszczególne systemy sztucznej inteligencji, w tym w stosunku do praw podstawowych. Autorzy analizują art. 5 rozporządzenia dotyczący zakazanych praktyk związanych z identyfikacją biometryczną, koncentrując się na ich wpływie na ochronę praw podstawowych jednostek, w szczególności konsumentów. Celem artykułu jest ocena, czy przyjęte rozwiązania skutecznie realizują powyższe założenie, leżące u podstaw aktu w sprawie sztucznej inteligencji, i zaproponowanie rozwiązań zaobserwowanych problemów. Autorzy charakteryzują poszczególne technologie i badają treść regulujących je przepisów. W ramach analizy odwołują się do stanowisk doktryny, instytucji unijnych i organizacji społecznych oraz konsumenckich, wskazując na sygnalizowane problemy związane z kształtem przepisów. Ostateczna forma regulacji wywołuje istotne wątpliwości i prowadzi autorów do wniosku, że nie jest ona w stanie zapewnić w pełni skutecznej ochrony, co mogłoby zostać osiągnięte przez ścisłą interpretację art. 5 rozporządzenia w świetle praw podstawowych. W artykule wskazano aktualne wyzwania związane z dynamicznym rozwojem sztucznej inteligencji i technologii biometrycznych, podkreślając kluczowe znaczenie praw podstawowych jako punktu wyjścia dla dalszych dyskusji, prób regulacji oraz stosowania rozporządzenia.
JavaScript is turned off in your web browser. Turn it on to take full advantage of this site, then refresh the page.