{"id":1040,"date":"2020-01-22T19:05:00","date_gmt":"2020-01-22T22:05:00","guid":{"rendered":"https:\/\/sites.grandecircular.com\/biztecnologia\/?p=1040"},"modified":"2020-01-22T19:12:46","modified_gmt":"2020-01-22T22:12:46","slug":"vertipaq-o-coracao-do-power-bi-parte-2","status":"publish","type":"post","link":"https:\/\/sites.grandecircular.com\/biztecnologia\/blog\/vertipaq-o-coracao-do-power-bi-parte-2\/","title":{"rendered":"Vertipaq – O cora\u00e7\u00e3o do Power BI – Parte 2"},"content":{"rendered":"\n

Vantagens e Forma de Armazenamento e Leitura dos dados<\/h3>\n\n\n\n

Se voc\u00ea n\u00e3o leu a parte 1 desse post, clique aqui<\/a>.
<\/p>\n\n\n\n

Bom, no \u00faltimo post, contamos uma breve hist\u00f3ria de como o servi\u00e7o que foi inciado como um plug-in do Excel, se tornou o principal motor de diversas ferramentas da Microsoft. Entre elas est\u00e1 o Power BI Desktop e tamb\u00e9m, o servi\u00e7o Analylisis Services. Com isso, algumas perguntas sempre aparecem – Por que esse servi\u00e7o se tornou t\u00e3o popular? O que fez a Microsoft investir tanto nele? Podem existir muitas repostas. Mas, por ter trabalhado tantos anos com solu\u00e7\u00f5es de diversos players do mercado, incluindo Oracle, Microstrategy, IBM e outros. Assim, pude percorrer a evolu\u00e7\u00e3o produtos de BI, alguns deles desdes suas primeiras vers\u00f5es. Assim sendo, eu acredito que pelos seguintes motivos, a Microsoft vem sendo a favorita para o futuro das ferramentas de BI, eu acredito que foram pelos seguintes motivos: <\/p>\n\n\n\n

Flex\u00edvel<\/strong> <\/h3>\n\n\n\n

O Vertipaq permite que voc\u00ea trabalhe com modelos multidimensionais ou relacionais. Sendo assim, com ele tamb\u00e9m \u00e9 poss\u00edvel utilizar tabelas independentes. Isso quer dizer que, n\u00e3o s\u00e3o necess\u00e1rios a cria\u00e7\u00e3o de relacionamentos entre tabelas de origens diferentes. Entretanto, se for necess\u00e1rio, ser\u00e1 poss\u00edvel relacionar dados de um simples arquivo .csv com super tabelas, que podem estar por exemplo, em um Teradata. <\/p>\n\n\n\n

R\u00e1pido<\/strong><\/h3>\n\n\n\n

Uma das funcionalidades mais marcantes do Analysis Services, \u00e9 a possibilidade de disponibilizar os dados em mem\u00f3ria RAM. Apesar de ser poss\u00edvel utilizar outros m\u00e9todos de armazenamento dos dados, o SSAS \u00e9 bem conhecido por ser um banco de dados in-memory. Inicialmente ele faz a persist\u00eancia dos dados em disco. Entretanto, toda vez que o servi\u00e7o \u00e9 iniciado ou algum cubo \u00e9 processado, ele carrega os dados que est\u00e3o em discos, e os leva para a mem\u00f3ria RAM do servidor. Para isso, \u00e9 utilizada a compress\u00e3o e indexa\u00e7\u00e3o colunar. Bancos de dados tradicionais trabalham com compress\u00e3o e index\u00e3o de linhas. Sendo que algumas fabricantes, incluindo a Microsoft com o SQL Server, j\u00e1 possuem funcionalidades de columnstore<\/em>.<\/p>\n\n\n\n

Com o modelo colunar, sempre que \u00e9 recebida a solicita\u00e7\u00e3o de uma informa\u00e7\u00e3o, o motor do banco, n\u00e3o precisa retornar a linha completa. Como a indexa\u00e7\u00e3o ocorre verticalmente, quando ocorre uma solicita\u00e7\u00e3o de dados, apenas as coluna(s) que est\u00e3o sendo requisitada, s\u00e3o carregadas para a mem\u00f3ria RAM. Assim, a leitura dos dados se torna mais r\u00e1pida e consequentemente mais eficiente. Sendo assim, a compress\u00e3o de dos dados pode chegar at\u00e9 10x o tamanho do dado original. <\/p>\n\n\n\n

Robusto<\/strong><\/h3>\n\n\n\n

O Vertipaq utiliza multi-threading, o que possibilita a execu\u00e7\u00e3o otimizada de diversas requisi\u00e7\u00f5es em paralelo, tanto para processamento, como para leitura. Cada inst\u00e2ncia tem o limite de mem\u00f3ria do sistema operacional e 64 cores de processamento. Acima disso, \u00e9 necess\u00e1rio escalar verticalmente e criar r\u00e9plicas dos databases em outros servidores e realizar o balanceamento de carga entre as inst\u00e2ncias. <\/p>\n\n\n\n

In-memory e compress\u00e3o colunar<\/h3>\n\n\n\n

As tabelas s\u00e3o divididas em colunas e os dados s\u00e3o organizados e armazenados de forma vertical. Entretanto, os dados ficam fisicamente separados um dos outros. Como exemplo, caso voc\u00ea necessite criar uma soma na coluna Unit Price<\/strong>. Em um modelo tradicional, o banco de dados ir\u00e1 fazer a leitura dos dados, linha a linha. As outras colunas s\u00e3o ignoradas e depois que finalizado o carregamento dos dados da linha, a agrega\u00e7\u00e3o \u00e9 realizada. <\/p>\n\n\n\n

Com o armazenamento colunar, o Vertipaq retorna apenas as colunas solicitadas. Na coluna j\u00e1 est\u00e3o todos os valores que precisam ser computados. Portanto, a coluna solicitada \u00e9 carregada e em seguida \u00e9 realizada a agrega\u00e7\u00e3o. A leitura dos dados acontece de forma vertical, com isso, acontece uma grande economia de IO, processamento e consumo de mem\u00f3ria. <\/p>\n\n\n\n

Continuidade<\/strong><\/h2>\n\n\n\n

Quando comecei a escrever sobre o Vertipaq imaginei que seria poss\u00edvel dividir o assunto em dois posts, por\u00e9m ser\u00e3o necess\u00e1rios mais de dois, at\u00e9 para n\u00e3o ficar uma leitura muito extensa. Continuo escrevendo e ter\u00e1 quantas partes forem necess\u00e1rias. Na pr\u00f3xima semana, falaremos como os dados s\u00e3o indexados e como s\u00e3o feitas as consultas quando v\u00e1rias colunas s\u00e3o solicitadas de uma \u00fanica vez.
<\/p>\n\n\n\n

Saiba mais sobre o vertipaq analyzer<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

Vantagens e Forma de Armazenamento e Leitura dos dados Se voc\u00ea n\u00e3o leu a parte 1 desse post, clique aqui. Bom, no \u00faltimo post, contamos uma breve hist\u00f3ria de como o servi\u00e7o que foi inciado como um plug-in do Excel, se tornou o principal motor de diversas ferramentas da Microsoft. Entre elas est\u00e1 o Power […]<\/p>\n","protected":false},"author":3,"featured_media":1049,"comment_status":"open","ping_status":"open","sticky":true,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[2,11,12,5],"tags":[],"class_list":["post-1040","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-business-intelligence","category-cloud","category-sql-server","category-tecnologia"],"jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-content\/uploads\/2020\/01\/capa-Parte-2.fw_.jpg","_links":{"self":[{"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/posts\/1040","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/comments?post=1040"}],"version-history":[{"count":3,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/posts\/1040\/revisions"}],"predecessor-version":[{"id":1048,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/posts\/1040\/revisions\/1048"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/media\/1049"}],"wp:attachment":[{"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/media?parent=1040"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/categories?post=1040"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/sites.grandecircular.com\/biztecnologia\/wp-json\/wp\/v2\/tags?post=1040"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}