Datawarehouse Opzetten. Mondy Holten, Business Intelligence Consultant, heeft meer dan 8 jaar ervaring datawarehouse systemen.
Data Datawarehouse Opzetten: Wat is een dataware house? Een datawarehouse, afgekort DWH, is een database. Het verschil met een gewone database is de architectuur en de opslag van data.
Per onderdeel van deze definitie wordt hieronder uitgelegd wat het inhoud.
Onderwerp georiënteerd: Een datawarehouse kan gebruikt worden om een bepaald gebied te analyseren. De verkoop van een organisatie kan bijvoorbeeld zo’n gebied zijn.
Geïntegreerd: Een datawarehouse integreert data van meerdere databronnen. Zo kunnen bron a en bron b verschillende manieren hebben om een product te identificeren. Maar in een datawarehouse zal er dan één manier zijn om een product te identificeren. Tijd geordend: Historische data wordt bewaard in een datawarehouse. Zo kan er uit een datawarehouse data gehaald worden van bijvoorbeeld drie maanden, een jaar of twee jaar geleden en zelfs nog ouder. Dit contrasteert met een transactiesysteem, waar meestal alleen de meest recente data wordt bewaard. Een transactiesysteem bewaard bijvoorbeeld enkel het huidige adres van een klant, een datawarehouse bewaard alle adressen die een klant in die periode gehad heeft. Niet vluchtig: Als data eenmaal in de datawarehouse zit, zal deze niet veranderen. Dus historische data in een datawarehouse zal nooit aangepast worden. Een meer functionele definitie van datawarehouse komt van Ralph Kimball.
Data Datawarehouse Opzetten: Overview
- azure data warehouse
- kimball data warehouse
- enterprise data warehouse
- wat is warehousing
- data warehouse definitie
- datawarehouse voordelen en nadelen
- warehousing definitie
- verschil databaseen datawarehouse
- datawarehouse voorbeeld
- wat is een datawarehouse
- logisch datawarehouse
- datarehouse wiki
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
Data Datawarehouse Opzetten: 12 Stappen
1. Het inrichten van een datawarehouse is geen project, het is een bedrijfsproces binnen de organisatie. Het start met de bouw en eindigt met onderhoud.
2. Ga altijd voor een stapsgewijze aanpak en borg het behoud van investeringen; definieer vooraf de verschillende stappen als projecten met een duidelijk afgebakend resultaatgebied, een duidelijke begin- en einddatum.
3. Naast de oplevering van een datawarehouse is het gebruik ervan minstens zo belangrijk, leer zowel ontwikkelaars als gebruikers om te gaan met het datawarehouse.
4. Er is geen slechte software meer in de markt, zorg voor een kleinschalige start en kijk later welke producten op basis van functionaliteit beantwoorden aan de behoeften van de organisatie. Software moet een middel zijn, geen doel op zich.
5. De implementatie van een datawarehouse hoeft niet duur te zijn. Vanuit een kleine start is een ROI snel inzichtelijk te maken: met een datawarehouse kan je geld verdienen.
6. Een datawarehouse levert stuurinformatie, het is dus een afspiegeling van de bedrijfsdoelstellingen en -strategie en maakt deze inzichtelijk en meetbaar.
7. Weten wat je gaat bouwen is goed, weten wat je moet bouwen is beter. Inzichten veranderen voortdurend, dus het is cruciaal om kritisch te blijven tegenover bedrijfsvraagstukken en te anticiperen op nieuwe inzichten.
8. Sluit aan op bestaande initiatieven in de organisatie, er is altijd al veel bedrijfsinzicht aanwezig die als vanzelfsprekend wordt genomen. Deze inzichten zijn cruciaal voor de eerste fase van een organisatiebreed datawarehouse.
9. Maak vooraf een duidelijk plan over het ‘laten doen’ of ‘zelf doen’ van een datawarehouse. Voor een blijvend succes van een datawarehouse dient met deze keuze direct al rekening te worden gehouden en is ongewenste afhankelijkheid van externe expertise te voorkomen.
10. Ontwikkel een datawarehouse vanuit een brede kijk op bedrijfsprocessen (en applicaties) en een verre kijk in de toekomst. Definieer tegelijkertijd de resultaten voor de korte termijn.
11. Vergeet niet dat complexe rapporten betrekkelijk eenvoudig zijn om te bouwen en dat eenvoudige dashboards zeer ingewikkeld zijn om te bouwen; met een goed datawarehouse zijn beide snel te realiseren.
12. Het begint met een vraag om eenvoudige rapportages, de kunst is om deze vraag kwalitatief te beantwoorden. Met rapportages worden vaak impliciet ook dashboards bedoeld, het gaat er dus om de informatievraag en de informatiebehoefte op de juiste wijze te interpreteren en deze op de juiste wijze (lees: in de juiste volgorde) te bedienen.
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
Azure data warehouse
Implementeer snel een krachtig, wereldwijd beschikbaar en goedkoper beveiligd datawarehouse voor clouds. Met Azure SQL Data Warehouse kunt u onafhankelijk van elkaar computing en opslag schalen, terwijl uw datawarehouse binnen enkele minuten wordt gepauzeerd en hervat via een massaal parallelle verwerkingsarchitectuur die is ontworpen voor de cloud. Maak naadloos uw hub voor analyse samen met native connectiviteit met data-integratie en visualisatieservices, dit alles terwijl u uw bestaande SQL- en BI-vaardigheden gebruikt.
Met SQL Data Warehouse kunnen bedrijven gegevensanalyses verbeteren en de bijbehorende kosten verlagen. Het biedt gegarandeerde beschikbaarheid van 99,9 procent, naleving van de regelgeving, ingebouwde geavanceerde beveiligingsfuncties en gegevenssoevereiniteit in meer dan 30 regio’s, zodat u een datawarehouse kunt bouwen dat aan uw bedrijfsbehoeften voldoet en u helpt kosten te besparen. SQL Data Warehouse past zich aan uw werkbelasting aan. Het maakt gebruik van intelligente caching om de toegang tot gegevens en de vraagprestaties te versnellen om de meest veeleisende werkbelasting voor gegevensopslag aan te kunnen.
Een nieuwe update voor SQL Data Warehouse is nu beschikbaar. Het biedt bliksemsnelle prestaties, mogelijk gemaakt door software-doorbraken en door de nieuwste hardware-innovaties in Azure-datacenters te gebruiken. Klanten van SQL Data Warehouse kunnen nu aanzienlijke verbeteringen in queryprestaties verwachten, waaronder de mogelijkheid om 128 gelijktijdige query’s uit te voeren en om een onbeperkte hoeveelheid kolomgegevens op te slaan, waardoor u uw grootste en meest complexe analytische werklasten kunt uitvoeren.
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
kimball data warehouse
De Enterprise Data Warehouse Bus Architecture van de Kimball Group is een belangrijk element van onze aanpak. De technologie- en databaseonafhankelijke busarchitectuur werd geïntroduceerd in de jaren negentig en maakt een incrementele ontwikkeling van gegevensmagazijnen en bedrijfsinformatie (DW / BI) mogelijk. Het ontleedt het DW / BI-planningsproces in hanteerbare stukken door zich te concentreren op de kernbedrijfsprocessen van de organisatie, samen met de bijbehorende conforme dimensies.
Geconformeerde dimensies zijn gebruikelijk, gestandaardiseerd, master-dimensies die eenmaal worden beheerd in het extract-, transformatie- en laadsysteem (ETL) en vervolgens opnieuw worden gebruikt door meerdere feitentabellen. Gecorformeerde dimensies leveren consistente beschrijvende kenmerken over dimensionale modellen. Ze ondersteunen de mogelijkheid om door te boren en gegevens van meerdere bedrijfsprocessen te integreren. Ten slotte verkort het opnieuw gebruiken van conforme dimensies de time-to-market door overtollige ontwerp- en ontwikkelingsinspanningen te elimineren.
De bijbehorende Enterprise Data Warehouse Bus Matrix, hieronder weergegeven, is een belangrijk ontwerphulpmiddel dat de belangrijkste bedrijfsprocessen en de bijbehorende dimensionaliteit van de organisatie vertegenwoordigt. Het is de architectonische blauwdruk die het top-down strategisch perspectief biedt om ervoor te zorgen dat gegevens in de DW / BI-omgeving geïntegreerd kunnen worden in de hele onderneming, terwijl agile bottom-up levering plaatsvindt door zich te concentreren op een enkel bedrijfsproces tegelijk.
Volledige dekking van de Kimball Data Warehouse Bus Architecture is beschikbaar in The Data Warehouse Toolkit, derde editie, inclusief voorbeeldbusmatrices voor 12 industriële case-studies.
Referentieboek
De Data Warehouse Toolkit, 3e editie (Wiley, 2013)
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
Enterprise Datawarehouse
In de informatica is een datawarehouse (DW of DWH), ook wel een enterprise datawarehouse (EDW) genoemd, een systeem dat wordt gebruikt voor rapportage en gegevensanalyse en wordt beschouwd als een kernonderdeel van Business Intelligence. DW’s zijn centrale opslagplaatsen van geïntegreerde gegevens van een of meer afzonderlijke bronnen.
Het Enterprise Data Warehouse, toen en nu
door David Friedland
De laatste 30 jaar of zo was de voorloper van de meeste grootschalige BI-omgevingen het Enterprise Data Warehouse (EDW). Een datawarehouse (DW) is meestal een centrale database (DB) voor het rapporteren, plannen en analyseren van samenvattende, onderwerpsgegevens die zijn geïntegreerd in ongelijksoortige historische transactiebronnen. Een EDW maakt gebruik van technologie om interne en externe gegevensbronnen te verplaatsen naar een cross-functionele DW.
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
De typische EDW-omgeving omvat:
ongelijksoortige opslag en systemen die de brongegevens verschaffen
data-integratie en staging door extract-transform-load (ETL) -processen
gegevenskwaliteit en besturingsprocessen om ervoor te zorgen dat de DW aan zijn doelstellingen voldoet
hulpprogramma’s en toepassingen voor profielbronnen, feed de DW DB en analyseer de resultaten
De basisarchitectuur van de EDW is min of meer als volgt gebleven:
Basisarchitectuur van de EDW
Bron: Oracle Corp.
Traditionele gegevensbronnen zijn relationele DB-tabellen, platte bestanden en webservices; maar nu zijn CRM, ERP, IoT, NoSQL, sociale media, weblog, openbare en andere “big data” -bronnen in de mix.
In tegenstelling tot OLTP-databases met genormaliseerde tabellen die zijn geoptimaliseerd voor complexe query’s en zijn gemodelleerd in E-R-diagrammen, wordt de DW DB gedenormaliseerd voor eenvoudige joins en dus voor snellere OLAP-query’s. De datamodellen weerspiegelen een geavanceerder “star” – of “snowflake” -schema. Ze worden ook beschouwd als “niet-vluchtig” en “tijdsvariant” omdat ze dezelfde rapporten produceren voor verschillende perioden in de tijd. Moderne EDW’s en logische data warehouses (LDW) zijn meer volatiel.
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
Datamarts zijn kleinere DW’s op afdelingsniveau die subsets gebruiken die zijn gemaakt op basis van de hoofd-DW (afhankelijk), of die zijn ontworpen voor één bedrijfseenheid (onafhankelijk). De operationele datastore (ODS), die we afzonderlijk behandelen, is een tussentijdse DW-DB, meestal voor klantenbestanden.
(Iets) Dieper duiken
Hoewel er variaties zijn in “achterruimte” DW / BI-architecturen om gegevens te organiseren en te integreren (inclusief extract-load-transform (ELT) en hybriden van beide), onderschrijft IRI de Ralph Kimball ETL-conventie, met BI-gegevensopslag in de ” voorkamer “en presentatieservices tussendoor:
Terug Room-Front Room
Bron: de Data Warehouse Lifecycle Toolkit, tweede editie.
Naast basic ETL versus ELT-beslissingen is er een lange lijst met andere overwegingen, waaronder de hardware- en softwaresystemen die in de onderste lagen (DW / ETL), middle (OLAP) en top (BI) van de EDW worden uitgevoerd. Als drempelwaarde gebruiken EDW’s meestal door SQL aangestuurde relationele DB’s; hoewel met gegevens die naar petabyte-reeksen duwen, mainframes, multi-core Unix-servers en Hadoop-gegevensknooppunten nu de norm zijn, samen met SQL-lagen op NoSQL-DB’s zoals MarkLogic.
In de onderste laag behandelen IRI Voracity en andere leveranciers het ETL en gerelateerde problemen met de levering van gegevens, waaronder het vastleggen van gegevens, migratie en replicatie, en verschillende ‘typen’ van langzaam veranderende dimensie-updates. Naast de ingebouwde detectie van gegevens, maskering, testgegevens en BI-mogelijkheden, liggen de voordelen van Voracity in het uniek combineren van de sterke punten van zijn concurrenten:
Vorheidsbesluit Prisma
In de middelste laag wordt meestal de keuze gemaakt voor een MOLAP of ROLAP, waarbij de DB ofwel meerdimensionaal is en “facet” -weergaven (zoals verkoop per tijd) in arrays of relationeel opslaat, waarbij vergelijkbare resultaten SQL-query’s vereisen. MDDB’s zijn dus sneller in analytische verwerking, maar RDB’s komen vaker voor in EDW’s, waar BI-tools in plaats daarvan in de bovenste laag worden ingevoerd. Keuzes van zowel de partitioneringsstrategie als de normalisatievorm worden dus vaak gemaakt om de query’s van de RDB te versnellen.
In de bovenste laag zijn de keuzes voor BI en datamining vrijwel eindeloos en gedicteerd door rapportage of analytische (diagnostische, voorspellende, prescriptieve, etc.) vereisten. Hier verwijdert een externe oplossing voor gegevensvoorbereiding – zoals CoSort-gegevensvermenging of het munderen van taken in Voracity – integratie uit de BI-laag en versnelt populaire visualisatieplatforms tot 20X.
EDW-gebruik en voordelen
In zijn TechTarget-artikel heeft DW-consultant Craig Mullins aangegeven dat een EDW:
de bedrijfsprestaties volgen, beheren en verbeteren
een marketingcampagne controleren en wijzigen
beoordelen en optimaliseren van logistiek en operaties
verhoging van de efficiëntie en effectiviteit van productbeheer en -ontwikkeling
query, join en toegang tot ongelijksoortige informatie uit meerdere bronnen
klantenrelaties beheren en verbeteren
voorspellen van toekomstige groei, behoeften en deliverable
de kwaliteit van de gegevens van uw organisatie opschonen en verbeteren.
Specifieke sectorzaken van IRI CoSort of Voracity ETL-sites laten zien dat DW en EDW’s worden gebruikt om:
Beoordelen van bellen, klikken en andere consumptiegewoonten
Detecteer verzekeringsfraude of stel tarieven in
Evalueer de behandelresultaten en adviseer geneesmiddeltherapieën
Beheer goedereninventarissen en verzendingen
Gezondheids- en serviceniveaus van apparaten / apparatuur controleren
Optimaliseer prijs- en promotiebeslissingen
Voorspellen van criminaliteit en voorkomen van terrorisme
Stroomlijn personeel, vloot en faciliteiten.
Een belangrijk technisch voordeel van EDW’s is hun scheiding
bel-mr-data-datawarehouse-opzetten-datawarehouse-architectuur-2018
Datawarehouse opzetten: Voordelen van Data Warehousing
De succesvolle implementatie van een datawarehouse kan belangrijke voordelen opleveren voor een organisatie, waaronder:
- Potentieel hoog rendement op investering
Implementatie van data warehousing door een organisatie vereist een enorme investering, meestal van Rs 10 gebrek aan 50 tekortkomingen. Een onderzoek van de International Data Corporation (IDC) in 1996 meldde echter dat het gemiddelde rendement op ROI van drie jaar in data warehousing 401% bedroeg.
- Concurrentie voordeel
Het enorme rendement op de investering voor die bedrijven die met succes een datawarehouse hebben geïmplementeerd, getuigt van het enorme concurrentievoordeel dat deze technologie met zich meebrengt. Het concurrentievoordeel wordt behaald door beslissers toegang te geven tot gegevens die eerder onbeschikbare, onbekende en onaangesproken informatie over bijvoorbeeld klanten, trends en eisen kunnen onthullen.
- Verhoogde productiviteit van zakelijke beslissers
Data warehousing verbetert de productiviteit van bedrijfsbeslissers door een geïntegreerde database van consistente, subjectgerichte, historische gegevens te creëren. Het integreert gegevens van meerdere incompatibele systemen in een vorm die een consistent beeld van de organisatie biedt. Door gegevens om te zetten in zinvolle informatie, kunnen bedrijfsmanagers met een gegevensmagazijn meer inhoudelijke, nauwkeurige en consistente analyses uitvoeren.
- Meer kosteneffectieve besluitvorming
Data warehousing helpt de algehele kosten van het · product te verlagen · door het aantal kanalen te verminderen.
- Betere enterprise-intelligentie.
Het helpt om betere bedrijfsintelligentie te bieden.
• Verbeterde klantenservice.
• Het wordt gebruikt om de klantenservice te verbeteren.
De behoefte aan datawarehouse is geïllustreerd in figuur.
