Przebiegli konsumenci, zaradni sprzedawcy, nieugięci logistycy i bezmyślne technologie.
W tytule tego artykułu umieściłem chmury. Nie będzie to jednak opowiadanie o Cloud Computing. Chmury posłużą mi jedynie jako metafora. Metafora trudnych do przewidzenia zjawisk oraz zmian o olbrzymiej dynamice. To kilka przemyśleń o tym, czym dla nas dzisiaj w ujęciu społecznym i biznesowym są informacje, które pojawiają się niczym chmury i niczym chmury zmieniają swoje znaczenie oraz formę. W artykule chciałbym zwrócić uwagę czytelnika na to, jak niezwykle istotne stały się dzisiaj analizy o charakterze big data. Fascynujące mnie metafory chmur niech pozostaną przez cały czas czytania w wyobraźni czytelnika.
Pewne rzeczy dzieją się coraz szybciej
Amerykańskie Bureau of Labor Statistics, zajmujące się badaniami wskaźników wzrostu cen towarów i usług konsumpcyjnych, działa w 90 miastach USA i zatrudnia setki pracowników. Gromadząc informacje o cenach dla około 80.000 produktów i usług, wykonuje olbrzymią pracę, odwiedzając liczne firmy i wykonując niezliczoną ilość telefonów. Roczny koszt funkcjonowania tej jednostki to około dwieście pięćdziesiąt milionów dolarów. Nie budziłoby to zapewne większego zdziwienia, gdyby nie fakt, że w związku z tempem naszego życia, opracowane przez biuro dane są przestarzałe o kilka tygodni w dniu ich publikacji. Między innymi z tego powodu, Alberto Cavallo & Roberto Rigobon postanowili podejść do analizy wskaźników cen w znacznie odmienny sposób. Pod skrzydłami MIT rozpoczęli projekt o nazwie The Billion Prices Project, wykorzystując do swoich analiz mniej uporządkowane dane. Korzystając z oprogramowania przeczesującego internet, analizowali ceny około pół miliona towarów w USA. Początki opracowywania tak chaotycznie pozyskiwanych i trudnych do porównania danych były mało obiecujące. Jednak z czasem podejście w duchu big data przyniosło zaskakujące efekty. We wrześniu 2008 roku, udało im się odnotować odchylenie deflacyjne zaraz po upadku Lehman Brothers. Osoby korzystające jedynie z oficjalnych wskaźników musiały czekać na tę informację do listopada. Z czasem projekt przybrał komercyjną formę firmy Pricestats, z której usług korzysta obecnie wiele organizacji, instytucji i jednostek rządowych na świecie.
Pewnych rzeczy niekiedy nie warto rozumieć
Zajmująca się eksploracją danych firma Kaggle, organizuje regularnie otwarte zawody w eksploracji danych. W 2012 roku przygotowano uczestnikom ogromną porcję zebranych od dealerów samochodowych danych, dotyczących wieloletniej sprzedaży używanych samochodów na aukcjach. Przekazując do analiz te niezbyt uporządkowane ale za to bardzo liczne dane, postawiono uczestnikom bardzo proste pytanie: które samochody były najmniej awaryjne? Ci, którzy w tej chwili przeszukują swoją własną wiedzę motoryzacyjną i oddali by zapewne życie aby w ramach odpowiedzi wymienić konkretną markę lub typ pojazdu, będą poprawną odpowiedzią konkursową bardzo zawiedzeni. Zbudowane przez uczestników konkursu algorytmy, znalazły istotną korelację, która wskazała, że najmniej awaryjne były samochody pomarańczowe. Proste korelacje w obrębie wielkich zbiorów danych zadziwiają nie tylko uzyskanymi odpowiedziami na zadane pytania, ale również czasem w jakim nowe rodzaje algorytmów do określonych wniosków dochodzą. Już w 2014 roku dzięki big data sieć Walmart odkryła, że przed zbliżającym się huraganem wzrasta liczba sprzedawanych słodkich ciastek śniadaniowych. MasterCardAdvisor znalazł korelację, która mówiła że jeżeli ludzie tankują benzynę około godziny 16-tej, to prawdopodobnie w ciągu kolejnej godziny wydadzą około 35 – 50 dolarów w sklepie spożywczym lub w restauracji. Firma Inrix na podstawie danych o natężeniu ruchu komunikacyjnego, obaliła zapewnienia polityków o powrocie do zdrowia gospodarki amerykańskiej. Czy na naszych oczach królową nauk staje się zwykła korelacja?
Koniec teorii
W 2008 roku Chris Anderson, w artykule „The End of Theory”, który ukazał się w Wired, doszedł do wniosku, że zalew danych sprawił, iż metody naukowe stały się przestarzałe. Już wówczas uznał że poza korelacją niczego więcej nam nie trzeba. W realnym świecie, tradycyjny proces odkryć naukowych polegający na stawianiu hipotez i testowaniu przyczynowo-skutkowym, zastępowany jest stopniowo analizą statystyczną korelacji. Analizy wielkich zbiorów danych, nie oznaczają póki co końca teorii. Zmieniają jednak znacząco sposób w jaki pojmujemy świat. Świat, który pędzi coraz szybciej i staje się coraz ciaśniejszy, wytwarza niewyobrażalne ilości danych, w których zapewne drzemią proste odpowiedzi, na wiele trudnych pytań. Analizy big data mogą się okazać w najbliższym czasie jednym z najlepszych narzędzi jakim dysponujemy. A danych raczej na pewno będzie przybywać, ponieważ wokół nas robi się coraz ciaśniej.
Poszukiwania oparte na korelacjach
Huffington Post opublikował dane, z których wynika, że w 2015 roku w dziesięciu największych aglomeracjach świata mieszka około 250 milionów ludzi. To więcej niż sześciokrotna liczba mieszkańców Polski. Co chyba nikogo już dzisiaj nie dziwi, na liście tych największych aglomeracji znajdują się głównie miasta azjatyckie. Ale to nie jedynie liczba ludności wpływa na lawinowo rosnącą ilość danych jakie gromadzimy. To również niezwykle dynamiczny wzrost tzw. klasy średniej, wzrost konsumpcjonizmu i liczby firm, wzrost liczby interakcji między ludźmi oraz wzrost interakcji między ludźmi a przedmiotami. OECD prognozuje że od 2010 do 2030 roku około czterokrotnie wrośnie liczba ludzi zaliczanych do klasy średniej w samej Azji. W 2010 roku do klasy średniej zaliczyć mogliśmy 172 miliony mieszkańców Chin, podczas gdy w 2015 roku jest to już 314 milionów. Jak wyliczył Economist Intelligence Unit, około 170 osób w każdej minucie dołącza obecnie do klasy średniej. Tak olbrzymie rzesze konsumentów generują kolejne nowe zapotrzebowanie konsumpcyjne oraz nowe niezliczone zbiory danych. Miasta, aglomeracje, kraje, kontynenty, nasze przyzwyczajenia, technologie, a także interakcje między ludźmi i firmami, zmieniają się niezwykle dynamicznie i przyjmują trudne do przewidzenia formy. Firmy zaczynają znajdywać korelacje pomiędzy obiektami (zjawiskami), których do tej pory w tradycyjnej analityce nie braliśmy pod uwagę. Poszukiwania oparte na korelacjach stają się podstawą big data.
Gospodarka stanów emergentnych
Jako cywilizacja stajemy się coraz bardziej skomplikowanym układem ogromnych ilości, trudnych do przewidzenia powiązań. Czy wyniki tych zależności, zaczną przybierać charakter zjawisk wyłaniających się (emergentnych)? Zjawisk, w których zachowanie całego układu nie wynika bezpośrednio z zachowań jednostek i jest od zachowań jednostek nieporównywalnie bardziej złożone i bardziej nieprzewidywalne? To liczba oddziaływań między elementami całego zbioru jest jednym z głównych powodów nieprzewidywalności zjawisk emergentnych. Znając dokładnie budowę i zasadę działania neuronów, nie potrafimy przecież przewidzieć wyniku ich współpracy w mózgu. Zjawiska emergentne możemy zaobserwować w wielu miejscach na naszej planecie. To na przykład ławice ryb, społeczności mrówek, roje owadów i ptaków czy tytułowe chmury, którymi posłużyłem się jako analogią zjawisk nieprzewidywalnych. Ci, którzy mieli szczęście zobaczyć kiedykolwiek liczące nawet milion osobników stada szpaków, wiedzą jak niewyobrażalne są to zjawiska. Osoby, którym się to nie udało, polecam poszperać na Youtube pod hasłem “starling murmuration“. Z bezładnie na pozór poruszających się setek tysięcy ptaków, wyłaniają się tylko na chwilę kompletnie nowe formy, tworząc na niebie niespotykane struktury przestrzenne. Czy to możliwe że z racji przeludnienia, wzrostu standardu życia, hiperkonkurencji, konieczności szybkiego działania, również nasze interakcje społeczno-ekonomiczne, zaczną z czasem przybierać stany emergentne? Czy gospodarka i ekonomia będą zmieniać swoje formy równie szybko, jak olbrzymie stada ptaków? Czy będą robić to również tylko „na chwilę”? Czy przewidywanie kierunków zmian gospodarczych i społecznych będzie praktycznie niemożliwe? Lub będzie możliwe ale tylko na przysłowiową sekundę przed zaistnieniem kolejnej szybkiej zmiany? Czy analizy on-line wielkich zbiorów danych, pozwolą lepiej (lub pozwolą w ogóle) tak krótkotrwałe i nagłe zmiany przewidywać?
