Data ja sen käsittely on kokenut uuden renessanssin tekoälybuumin kautta. Yritykset ovat keränneet ja luoneet vuosikymmeniä dataa erilaisiin järjestelmiin ja hyödyntäneet sitä vaihtelevin menestyksin. Viimeistään tekoälyn hyödyntämisen kynnyksellä alettiin puhumaan datan laadusta ja saatavuudesta. Datastahan ei ole hyötyä, jos sitä ei voi käyttää tai siihen ei voi luottaa. Pahimmillaan se on kuin se kuuluisa Forest Gumpin suklaarasia: koskaan ei tiedä mitä sieltä löytyy.
Datan laatu on tietenkin subjektiivinen asia. Datan tarvitse olla juuri niin laadukasta, kuin sitä hyödyntävät ratkaisut sitä tarvitsevat. Ylitse vuotavan laadun hakeminen ei varmasti ole kannattavaa, eikä suositeltavaa tavoitella. Datan laadun parantaminen vaatii usein organisaation prosessien muuttamista ja on näin ollen hidasta ja työlästä: Myyjien pitää muistaa syöttää myyntitilauksiin arvio tilauksen koosta ja toimitusajasta. Kokoonpanijoiden pitää muistaa merkitä käytetyn osan sarjanumero talteen. Hankinnan on muistettava kirjata ostotilaukselle puhelinkeskustelun perusteella tiedot riittävän tarkasti. Nämä kaikki esimerkit ovat prosessien palasia, joista hyödynnettävää tietoa syntyy. Mikäli prosessissa on virheitä ja puutteita, niin ne näkyvät myös datassa.
Datan hyödyntäminen
Oletetaan että kuvitteellinen organisaatiomme pystyy keräämään jossain määrin laadukasta dataa, jota olisi järkevää myös hyödyntää. Mitä vaihtoehtoja meillä on? Ensimmäisenä voimme kääntyä keräävän järjestelmän puoleen. Olkoot se tässä tapauksessa vaikka tuotannonohjausjärjestelmä eli ERP. ERP-järjestelmät sisältävät usein varsin kattavasti raportointityökaluja, joiden avulla tietoja saadaan kuvaajiksi ja johdon raporteiksi. Tekoälypuolella on myös otettu merkittäviä askeleita, kun järjestelmien sisään on saatu upotettua dataa hyödyntäviä älykkäitätoiminnallisuuksia. Entäpä jos ERP-järjestelmästä ei näitä ominaisuuksia löydy tai entäpä jos haluaisimme yhdistää useamman eri järjestelmän datat yhteen raporttiin?
Tietovarastot
Datan hyödyntäminen kattavasti ja lähdejärjestelmän kyvykkyyksistä riippumattomasti on yleensä ratkaistu tietovaraston avulla. Tietovarastoja on ollut yrityksissä jo vuosikymmenien ajan, joten konsepti ei ole uusi. Tietovarasto pyrkii yhdistämään tietoja eri järjestelmistä ja mahdollistamaan raportoinnin muilla, kuin lähdejärjestelmän tukemilla työkaluilla. Edellisessä lauseessa on tärkeää huomioida raportoinnin sana. Olemme Adafyssa olleet jo pitkään sitä mieltä, että tietovarasto ei saa olla integraation menetelmä, jonka avulla operatiivisia tietoja yhdistellään. Tiedon monistuminen ja ylimääräinen säilyttäminen ovat aina riski, jota ei kannata ottaa kevyin perustein. Integraatioissa on pyrittävä siihen, että tieto liikkuu järjestelmien välillä ilman ylimääräistä varastointia.
Raportoinnissa tilanne on toinen. Raportoinnissa tehokkuuden kannalta on usein järkevää koostaa tiedot tietovarastoon, jonka käyttäminen ei kuormita operatiivisia järjestelmiä ja niiden tietokantoja. Tietovarasto on siis vielä 2020-luvulla pätevä tapa täyttää usean järjestelmän raportointiin liittyvät haasteet.
Microsoft Fabric
Olemme nyt päässeet tässä kirjoituksessa siihen pisteeseen, että meillä on yhteinen ymmärrys datan käytön lähtökohdista, ongelmista ja mahdollisista ratkaisuista (tietovarasto). Ennen 2023 vuotta Microsoft ekosysteemissä tietovarasto rakentui suuremmilta osin SQL Server tuotteen varaan. Villeimmät organisaatiot hyödyntivät tietojärveä (Data Lake), kuten esimerkiksi Azure Data Lake tuotetta, mutta uskaltaisin väittää että prosentuaalisesti suurin osa turvautui johonkin relaatiotietokantaan. Eikä relaatiotietokanta ole huono valinta. Nykyaikaisessa datatulvassa relaatiotietokannan skaalautuminen tulee vain ongelmaksi, eikä ongelmaan ole olemassa halpaa ratkaisua tietokantojen tuoteperheessä.
SQL tietokanta on erinomainen datavarasto relationaaliselle ja strukturoidulle datalle. Datalle jolla on rakenne ja tietty ennustettavuus rakenteen suhteen. Kielimallien, videoiden, kännykkäkameroiden kuvien jne. myötä data ei ole enää yhtä ennustettavaa rakenteeltaan, kuin se oli vielä 1990-luvulla. Datan monimuotoisuus pakottaa meitä valitsemaan myös tietovarastoinnissa ratkaisuja, jotka tukevat näitä monimutkaisia tiedon muotoja.
2023 vuonna Microsoft julkisti Microsoft Fabric nimisen tuotteen, jonka on tarkoitus ratkaista tietovarastointiin ja raportointiin liittyviä ongelmia. Fabric tukee perinteistä relaatiomallista tiedon käsittelyä, sekä ei-strukturoidun tiedon käsittelyä. Fabric skaalautuu hyvin ja pystyy näin ollen ratkaisemaan perinteisen relaatiotietokannan ongelman horisontaalisesta skaalautumisesta. Enää ei tarvitse hankkia lisää muistia ja parempaa prosessoria, jos haluaa ajaa enemmän raportteja. Riittää että skaalataan Fabric kapasiteettia ylöspäin.
Fabricin todellinen etu on siinä, että se ei ole riippuvainen ERP-toimittajasta. Se ei ole riippuvainen CRM-järjestelmän kyvykkyyksistä tarjota tekoälyratkaisuja tai raporttipohjia. Fabricin avulla yritys voi hyödyntää dataa itse haluamallaan tavalla. Lähdejärjestelmistä yhteen koostettu data tarjoaa laajat raportointi- ja tekoälymahdollisuudet.
Datan kerääminen
Raportoinnissa tämän päivän ongelma ei ole tiedon vähyys. Tietoa ja dataa on yleensä paljon olemassa, mutta se ei ole välttämättä saatavilla. Tieto kerääntyy järjestelmien omiin tietokantoihin, eikä järjestelmätoimittajat ole kovin usein etunenässä kehittämässä avoimia rajapintoja organisaatioiden käyttöön, jotta dataa voitaisiin hyödyntää. Tähän liittyen sanoisinkin terveiset kaikille teille, jotka olette hankkimassa uusia tietojärjestelmiä 2025 vuonna: Katsokaa että järjestelmään löytyy rajapinnat.
Rajapintojen puute ei ole onneksi este datan keräämiselle, mutta kokemuspohjaisesti voin kertoa, että kyllä ne aika paljon helpottaa asiaa. Adafylla olemme rakentaneet kymmeniä jos ei satoja integraatioita järjestelmiin, jotka eivät tarjoa minkäänlaista rajapintaa. Yleensä integraatio voidaan toteuttaa tietokanta- tai tiedostotasolla, jolloin rajapintojen puute ei ole este. Hidaste se saattaa olla, jos tietokannan rakennetta ei ole hyvin kuvattu tai siirtotiedosto on määrämittainen tekstitiedosto ilman minkäänlaista kuvausta.
Datan kerääminen ei ole onneksi tänä päivänä enää yleinen este ja lähtökohtaisesti datat saadaan tavalla tai toisella kerättyä ja siirrettyä tietovarastoon raportointia varten.
Raportointi
Microsoft Fabric tarjoaa meille erilaisia tietovarastoja datalle. Lisäksi joko hyödyntämällä Fabricin omia integraatiokyvykkyyksiä, tai käyttämällä integraatioalustaa pystymme tuomaan datan Fabricin saataville. Fabricin työkuormien avulla pystymme myös siistimään datan ja tekemään siitä raportointikelpoista. Näin ollen meille jää enää ratkaistavaksi varsinainen raportointi.
Microsoft Fabricissa raportointi rakentuu lähes aina Power BI:n päälle. Teoriassa Fabricista löytyy rajapintoja datan muuhunkin hyödyntämiseen, mutta pääasiallinen raportoinnin väline on Power BI. Power BI kytkeytyy suoraan Fabricin tietovarastoihin OneLake abstraktion avulla ja näin ollen perinteisiä verkkoyhteyksien avauksia ja käyttäjätunnusten kanssa taisteluja ei ole edessä. Perinteisemmäksi ongelmaksi Power BI:n kanssa muuttuu lisenssointi ja siihen liittyvät omat kiemurat. Mikäli yrityksellä on varaa hypätä suoraan Fabricin F64 kapasiteettiin, niin silloin vältytään lähtökohtaisesti käyttäjäkohtaisilta Power BI lisensseiltä. Mikäli Fabric kapasiteettia halutaan ajaa hieman huokeammalla kapasiteetilla, niin kuvaan astuu käyttäjäkohtainen Pro tai Premium lisenssointi.
Loppukaneetti
Näin olemma saavuttaneet maalin tarinassamme datan hyödyntämisessä raportoinnissa 2025. Polku on yleensä monivaiheinen ja organisaation lähtötasosta riippuen enemmän tai vähemmän kivinen. Työkaluista tai datan määrästä raportointi ei kuitenkaan yleensä jää enää kiinni. Ongelmat ovat enemmänkin resursseihin liittyviä. Datan ymmärtäminen ja hyödyntäminen vaativat verrattain paljon aikaa ja sitä taas organisaatioissa ei ole koskaan liikaa. Toivottavasti Fabricin kaltaiset keskitetyt työkalut helpottavat tässä taakassa ja tarjoavat organisaatioille nopeamman reitin tehokkaaseen datan hyödyntämiseen.
