Сізге тарлық етпейтін деректер платформасы

Кез келген дерлік деректер платформасы қайта құрылады. Технология қате болғандықтан емес — көбіне алғашқы нұсқа кейін ақиқаттығын жоғалтқан бір жорамалды қатты бекіткендіктен: бірыңғай бастапқы жүйе, тек есеп беруге арналған жүктеме, бүкіл жүйені түсінетін бір команда. Жорамал бұзылғанда, онымен бірге платформа да бұзылады.

Берік платформаның мақсаты болашақты болжау емес. Ол — таза түйіскен жерлер салу, сонда болашақ келгенде оны платформаны алмастырмай, кеңейту арқылы сіңіруге болады.

Құралдан емес, сұрақтан бастаңыз

Артық құрудың ең жылдам жолы — алдымен технологиялық стекті таңдап, кейін оған қолданыс табу. Оның орнына бизнес қабылдауы керек шешімдерден және сол шешімдердің артындағы сұрақтардан бастаңыз. Одан кері қарай нақты қажет деректерге және сол сұрақтар шынымен талап ететін кідіріске жетіңіз.

Сол ретте талаптарға адал болыңыз. «Нақты уақыттағы» қажеттіліктердің көбі сағат сайынғы деректермен жайлап қанағаттандырылады; «үлкен деректердің» көбі бірнеше жүз гигабайт болып шығады. Осы кезеңде дұрыс мөлшерлеу кез келген кейінгі құрал шешіміне қарағанда көбірек ақша мен күрделілікті үнемдейді.

Масштабталатын қабаттар

Ұзақ қызмет ететін платформа мәселелерді бөледі, сонда әр бөлік бәрін өзгертуге мәжбүрлемей өзгере алады:

• Жинау — көздерден ажыратылған, сонда көзді қосу немесе өзгерту төменгі ағынға таралмайды.
• Сақтау — ашық Lakehouse форматы (нысандық сақтау үстіндегі ашық кесте форматтары), сонда деректеріңіз бір қозғалтқыш ішінде құлыпталмайды.
• Түрлендіру — нұсқаланған, тексерілген әрі қайталанатын, сонда логика аудитке жарамды әрі өзгертуге қауіпсіз.
• Ұсыну — қоймалар, BI және API-лар жеке көшірмелерден емес, бірыңғай басқарылатын қабаттан оқиды.
• Басқару — каталогтау, шығу тегі (lineage), сапа мен қолжетімділік кейін тіркелмей, әу бастан ендірілген.

Құндылық — осы қабаттардың арасындағы түйіскен жерлерде, олардың ішіндегі құралдарда емес. Сақтау ашық форматта болғанда, деректерді көшірмей-ақ сұраныс қозғалтқышын өзгерте аласыз. Түрлендіру нұсқаланып, тексерілгенде, тыныс тарылтпай бизнес-логиканы өзгерте аласыз. Әр тұтынушы бірыңғай басқарылатын ұсыну қабатынан оқығанда, ақыры қайта құруды жалғыз шығар жол сияқты сездіретін жеке, қайшы көшірмелердің шашырауынан құтыласыз.

Бұлт пен жергілікті — «не/не» емес

Көптеген ұйымда кейбір деректерді жергілікті (on-premises) ұстауға негізді себептер бар — реттеу, деректердің резиденттігі, кідіріс немесе жұмыс істеп тұрған жүйелерге кеткен қаржы. Ашық сақтау қабаты мен тасымалданатын түрлендіру логикасы бір үлгіні екі жерде де іске қосуға және бәрін бірінші күні бір орынға байлап қоймай, жеке жүктемелерді қажет болғанда жылжытуға мүмкіндік береді.

Ерте әрі жеңіл басқарыңыз

Кейін қосылған басқару — көшіру жобасы. Әу бастан жобаланған басқару — жай ғана әдет. Пайда алу үшін ауыр бағдарлама қажет емес — сізге адамдар сандарға сенуі үшін шығу тегі, олар барын таба алуы үшін каталог, үнсіз емес, дауыстап сынайтын сапа тексерулері, әрі міндеттемелеріңізге сай қолжетімділікті бақылау керек.

Бұл естілгеннен маңыздырақ. Платформа тек қолданылса ғана құнды, ал адамдар тек сенетін деректерін ғана қолданады. Дәл басқару сол сенімді жеңіп алады — ал платформаны ұйым бойынша қабылдатқызатын құрал емес, сенім.

Қайта жазудан аулақ болыңыз

Сіз әр шешімді дұрыс қабылдай алмайсыз, оған тырыспауыңыз да керек. Түйіскен жерлерді салыңыз, деректеріңізді ашық форматтарда ұстаңыз, логикаңызды нұсқалаңыз әрі әу бастан басқарыңыз. Сонда бизнес өзгергенде — ал ол өзгереді — қайтадан бастаудың орнына бар платформаңызды кеңейтесіз. Ойынның бар мәні осы: бүгін ең көбін атқаратын платформа емес, екі жылдан кейін лақтырып тастауға тура келмейтіні.

← Барлық мақалалар →