12. Системи за съхраняване на данни – Data Warehousing 12 Основи на концепцията Data Warehousing

Първите, които се сблъскаха с проблема за неефективността на аналитичните приложения в системите за обработване на данни, бяха големи западни корпорации. В техните системи за обработване на данни към началото на 90-те години са били натрупани огромни обеми от информация, а качеството на решението на аналитичните задачи се е влошило. При това на много институции се налага ежедневно да събират, съхраняват, обработват и разпространяват много големи обеми от транзакционни данни (банки, застрахователни дружества, пенсионни фондове, инвестиционни посредници и др.).

Изход от тази ситуация е предложил У. Инмон, който се занимава с проблеми на организацията на корпоративни бази данни. В началото на 90-те години той въвежда понятието Data Warehousе (Хранилище на данни), определяйки го като „предметно-ориентиран, интегриран, непроменлив, поддържащ хронологията набор от данни, организиран с целта да поддържа управлението”. Хранилището на данни трябва да играе роля на един единствен източник на истина, обезпечавайки на аналитици и мениджъри достоверна информация, която е необходима за анализа и вземане на решение.

В основата на концепцията Data Warehousing стои разделяне на:

1/ Набори от данни, които се използват в системи за оперативна обработка на сведения OLTP.

2/ Набори от данни, които се прилагат в системи за поддържане на вземането на решение DSS.

Хранилището на данни се явява реален и интегриран източник на данни, а не е виртуален „склад” за поддържане на разпределени бази данни за различни OLTP системи.

Системата за съхраняване на данни Data Warehousing представлява съвкупност от технологии, които са насочени към най-качествено и бързо вземане на решения от аналитици, мениджъри и изпълнители. Data Warehousing отразява приложението на съвременните информационни технологии за преобразуване на огромни масиви от данни в значима информация, която да подпомага вземането на по-добри бизнес решения. Корпоративните данни се интегрират и съхраняват в единствено хранилище на различни по произход и тип данни. Това допринася за стратегическо важно обединяване на различни информационни източници с оглед по-доброто им използване за аналитична интерактивна обработка.

Основните принципи за организиране на Data Warehousе са:

1/ Преди да се запомнят в хранилището, всичките данни се проверяват за непротиворечивост, привеждат се към единна система на понятия и единни формати. Това позволява на информациите, които се намират в хранилището, да претендират за новото качество „един единствен източник на истина”.

2/ Данните от хранилището не се премахват, измененията се извършват с указание на дата. По такъв начин в хранилището присъстват „моменталните снимки” на данни в определено време. Старите данни могат да се преместват на архивно ниво на запазване на информацията.

3/ Попълването на хранилището се осъществява с определена периодичност.

4/ Структурата на хранилището трябва да осигурява бързо и ефективно разпознаване на информацията – за да се ускоряват тези процеси е необходимо данните предварително да се агрегират в най-често използвани разрези.

5/ В хранилището трябва да се преместват само тези данни, които са съществени от гледна точка на анализа. Необходимо е да се прецени съставът на съхраняваните данни – не всички сведения от системите за оперативна обработка са пригодени за анализи и не е ясно дали ще бъдат търсени впоследствие. Този принцип е обусловен от предметната ориентираност на хранилището. Тък като понятието хранилище се определя само от концепцията за съхраняване на данни, то практически не се засяга начинът на използване на хранилището. За употребата на хранилището съществуват различни варианти, които зависят от целите, преследвани от собственика на хранилището.

12.3. Типова архитектура на Data Warehousing

Изгражда се от:

• 
  Средства за извличане на данни от различни оперативни бази данни и външни източници и средства за тяхното доставяне;
  
• 
  Средства за изтриване, променяне и интегриране на тези данни;
  
• 
  Средства за съхраняване на данните в хранилището;
  
• 
  Средства за актуализация на данните в хранилището – те подреждат информациите в хранилището в съответствие с измененията, произлизащи от източници или преместват информация от хранилището в архивна памет от по-ниско ниво;
  

• 
  Метаданни (информации за данните), средствата за тяхното съхраняване и управление. В хранилището се съхраняват данни за структурата на самото хранилище и за източниците на данните, за процедури на попълване и методи за агрегиране, за структурата и йерархията на критериите, които свързват физическите данни, управлявани от СУБД (системата за управление на базата данни) със системата на бизнес понятията на хранилището. Ако в една обикновена база данни се съхраняват данните с предназначение „облекчаване на труда на проектантите при построяване и използване на информационна система”, то за хранилището на данни се прилага критерий ”удобно построяване на бизнес запитване от краен потребител”;
  
• 
  Средства за контрол и администриране на Data Warehousing.
  

• 
  Генератори на отчети (справки);
  
• 
  Средства за реализация на запитване към базата данни;
  
• 
  Средства за многомерно представяне на данните;
  
• 
  Средства за интелектуален анализ на данните.