Wchodzący rynek Big Data

Big Data to termin jakiego używamy do nazwania gałęzi gospodarki zajmującej się zapamiętywaniem i przetwarzaniem danych. Rozwój Internetu i powszechna dostępność tanich urządzeń do pozyskiwania i zapamiętywania danych w postaci cyfrowej przyspieszyły tempo wzrostu zbierania danych. Obecnie szacuje się, że ilość zgromadzonych danych podwaja się co 40 miesięcy. Zmiana ilościowa wygenerowała nową jakość. Informacje będące produktem przetwarzania wielkich zbiorów danych (głównie heterogenicznych) mają dużą wartość, w tym również komercyjną. Odbiorcami produktów i usług przemysłu Big Data jest cała gospodarka, administracja i instytucje publiczne. Powstały nowe narzędzia do ich przetwarzania. Istniejące definicje Big Data są jeszcze nieustabilizowane. W jednych Business Intelligence jest odrębną typem działalności, a w innych nie. Stąd bardzo duże różnice w ocenie wielkości rynku. Wg badań z 2015 roku, z rozwiązań właściwych dla Big Data korzysta już 97% firm na świecie, natomiast wg badań europejskich, tylko 25%, a w Polsce tylko 18%. Niezależnie od naturalnych problemów definicyjnych i klasyfikacyjnych oraz mało precyzyjnej metodyki badawczej, większość badań wskazują na bardzo szybkie (10%) tempo wzrostu rynku oraz rosnące znacznie produktów tego przemysłu. Obecny rozmiar rynku USA to ~122 mld $.

Środkami produkcji przemysłu Big Data są:

• komputery dużej mocy o architekturze przystosowanej do zarządzania dużymi zbiorami różnego typu danych,
• centra danych służące do kolekcji, integracji i przechowywania informacji oraz danych,
• oprogramowanie, w tym aplikacje korzystające z technik sztucznej inteligencji,
• infrastruktura szerokopasmowa pozwalająca na działanie na wielkich zbiorach danych w czasie rzeczywistym.

Na obecnym etapie rozwoju głównym przedmiotem działalności przedsiębiorstw Big Data jest przetwarzanie danych na informacje. Proces przetwarzania tych informacji w wiedzę jest na początkowym etapie rozwoju, gdyż wymaga większego nasycenia algorytmów modułami posiadającymi zdolności uczenia się.

Pierwszymi odbiorcami rynku Big Data były wielkie centra danych administracji państwowej i instytucje zajmujące się statystyką, badaniami rynku i finansami. Uruchomiono programy badawczo-wdrożeniowe wykorzystujące technikę Big Data jak podstawę technologiczną eHealth. Prowadzone są prace klasyfikacyjne i naukowo-badawcze, które wykorzystują istniejące zbiory danych jako źródła informacji, z których pozyskiwana jest nowa wiedza. Zgromadzone dane stanowią materiał badawczy w wielu dziedzinach nauki. Z usług i produktów Big Data intensywnie korzystają firmy rynku cyfrowego, głównie korporacje i duże firmy, które w swej działalności gospodarczej wykorzystują dane pobierane w czasie rzeczywistym z urządzeń monitorujących, pomiarowych, sterujących oraz innych zewnętrznych źródeł danych tekstowych i audiowizualnych.

Teza główna panelu

Big Data to technika i nowa gałąź przemysłu, która w ciągu 20 lat stanie się głównym narzędziem  integracji, klasyfikacji i produkcji wiedzy oraz zarządcą pamięci zbiorowej oraz dorobku cywilizacyjnego.

Opis problemu

Popyt na produkty tego przemysłu jest większy niż jego zdolności produkcyjne. Obecne tempo wzrostu ograniczane jest przez następujące czynniki:

• brak kadry technicznej o odpowiedniej wiedzy i umiejętnościach,
• brak regulacji prawnych organizujących rynek i zapewniających bezpieczeństwo obrotu,
• brak dostatecznie rozwiniętej produkcji komputerów odpowiadających potrzebom centrów danych,
• niedostateczny poziom dostępności sieci światłowodowych.

Technika sztucznej inteligencji będzie podstawą technologiczną tego przemysłu. Można założyć, że przemysł ten stanie się przemysłem produkcji środków produkcji w epoce przemysłu 4.0. Wynika to z przekonania, że głównym fundamentem technologicznym stanie się wiedza. Zapóźnienie Europy w rozwoju Big Data jest kolejnym skutkiem wad europejskich systemów finansowania innowacyjności. Politycy w krajach europejskich nie doceniają rosnącego znaczenia ekonomii skali dla efektywności produkcji. To hamuje procesy integracyjne. Paradoksalnie, spowolnienie gospodarcze będące następstwem wad zintegrowanego systemu innowacji i braku jednolitego rynku cyfrowego jest źródłem frustracji społecznych wykorzystywanych do dalszego osłabiania procesów integracyjnych. Przemysł Big Data wymaga dostępu do dużego jednolitego rynku cyfrowego. Brak integracji to jedna z przyczyn narastającego opóźnienia w tym zakresie. Identyfikacja hamulców wskazuje na bardzo dużą rolę Państwa jako klienta, decydenta i prawodawcę w obszarze edukacji, infrastruktury, prawa i innowacyjności.

Zagadnienia problemowe wymagające dyskusji, pytań, odpowiedzi i planu działań:

• uruchomienie wydziałów i szkół przygotowujących specjalistów z zakresu Big Data,

Jakie działania są potrzebne, aby polskie uczelnie zaczęły kształcić specjalistów w zakresu Big Data i AI?

• udostępnienie baz danych administracji państwowej do celów badawczych i komercyjnych,

Jakie powinna wyglądać ustawa o przetwarzaniu danych?

• podstawy prawne i środki techniczne zapewniające bezpieczeństwo danych,

Czy obecne przepisy o ochronie danych osobowych mogą być punktem wyjścia do przygotowania aktu prawnego określającego zasady rynkowe funkcjonowania przemysłu Big Data?  

• modele biznesowe

Czy biznes jest już gotów do precyzyjnego sformułowania swych potrzeb?

The emerging market of Big Data

Big Data is a term used in reference to the industries involved in the storage and processing of data. Development of the Internet and the widespread availability of low cost devices for digital acquisition and data storage accelerated the growth rate of data collection. Currently, it is estimated that the amount of stored data doubles every 40 months. A quantitative change made it possible to generate a new quality. Information which is the product of the processing of large  (mostly heterogeneous) data sets are of great value, also from the commercial perspective. The recipients of products and services offered by the Big Data industry is the entire economy, administration and public institutions. The tools for processing Big Data are still being developed. The existing definitions of Big Data are still unclear. In some of the definitions, Business Intelligence is treated as a separate type of activity, others, on the other hand, do not separate it. Hence the very large differences in the assessment of market size. According to research conducted in 2015, the solutions that clearly draw from Big Data are already employed by 97% of companies worldwide, while according to European studies, only 25% of them and only 18% in Poland. Regardless of the obvious problems  with definition and classification as well as rather imprecise research methodology, most studies indicate a very fast (10%) pace of market growth and growing importance of the products offered by the industry. The current size of the US market is ~ $ 122 billion.

The means of production of the Big Data industry are:

• powerful computers possessing data architecture adapted for managing large sets of different types of data,
• data centers for the collection, integration and storage of information and data,
• software, including applications using artificial intelligence technology,
• broadband infrastructure allowing to operate on large data sets in real time.

At the current stage of development, the main activity of Big Data companies is turning data into information. The process of turning this information into knowledge is at an early stage of development, because it requires a greater saturation of algorithms with self-teaching modules. The first recipients of the Big Data market were large data centers and government institutions dealing with statistics, market research and finance. Various research and implementation programs were launched. The programs use the Big Data technology as the basis for eHealth platforms. Classification and research works that use existing data sets as a source of information helping to build new knowledge are currently carried out. The collected data constitutes a study material in many fields of science. Big Data products and services are intensively employed by digital market companies, mainly corporations and large companies, that use in their business data collected in real-time from devices used for monitoring, measurement, control, and other external text and audio data sources.

Main thesis of the discussion

Big Data is a technology and a new branch of industry that within the next 20 years is likely to become the leading tool for integration, classification and production of knowledge as well as for management of collective memory and civilization output.

Description of the issue

Demand for the products of the Big Data industry is greater than its production capacity. The current growth rate is limited by the following factors:

• lack of technical personnel with adequate knowledge and skills,
• lack of legal regulations of the market organization and ensuring the security of trading,
• lack of sufficiently developed production of computers that would meet the needs of data centers,
• insufficient availability of fiber networks.

The AI shall be the technological basis of this new industry. It can be assumed that this industry will become the industry providing means of production in the era of industry 4.0. This stems from the belief that knowledge will become the main foundation of technology. Europe’s backwardness in the development of Big Data is another consequence of the drawbacks of European innovation funding schemes. Politicians in the European countries underestimate the growing importance of the economies of scale in production efficiency. This, in turn, inhibits integration processes. Paradoxically, the economic slowdown resulting from defects of the integrated innovation system and the lack of a Digital Single Market is a source of social frustration used to weaken even more the integration processes. Big Data industry requires access to a large digital single market. Lack of integration is one of the reasons for the increasing delay in this regard. The analysis of inhibiting factors points to an important role of the State, as a customer, decision maker and legislator in the area of education, infrastructure, law and innovation.

Problematic issues that require discussion, questions, answers and action plans are as follows:

• launching of departments and schools training Big Data specialists,

What actions are needed in order to make the Polish universities train specialists in the field of Big Data and the AI?

• providing database to state administration for research and commercial purposes,

How the law on data processing should look like?

• legal basis and technical measures to ensure data security,

Do the current rules on the protection of personal data can be the starting point for the preparation of a legal act defining the market rules for Big Data industry? 

• Business models

Is the business is ready to precisely formulate its needs?