Microsoft Fabric Nedir?

Bu seneki Microsoft Build‘ta duyurulan en büyük haber, veri üzerine çalışan ve Microsoft teknolojilerini kullanan herkes için Microsoft Fabric oldu. MVP olmanın en güzel yanı, ürün ekipleriyle birebir iletişim içinde olabilmek ve yeni çıkacak Microsoft teknolojilerini çok öncesinde test etme/görme şansına sahip olmak. Fabric olarak duyurulmadan önce Trident kod adıyla ilerleyen proje nihayet gün yüzüne çıktı. Peki, Microsoft Fabric nedir, yeni ne getiriyor, yoksa Microsoft’un yeni bir pazarlama jargonu mu?

Microsoft Fabric Nedir?

Microsoft Fabric, Microsoft’un kendi resmi tanımına göre “veri taşımadan veri bilimine, Real-Time Analytics’e ve iş zekasına kadar her şeyi kapsayan kuruluşlar için hepsi bir arada bir analiz çözümüdür. Veri gölü, veri mühendisliği ve veri tümleştirmesi gibi kapsamlı bir hizmet paketini tek bir yerde sunar.” Gene İngilizce resmi tanımına göre “all-in-one analytics solution for enterprises that covers everything from data movement to data science, Real-Time Analytics, and business intelligence”

Tanımlardan çıkartabileceğiniz üzere, Microsoft Fabric, Microsoft’un Azure üzerinde veriyle ilgili ne kadar servisi varsa, hepsini bir çatı altında toplamayı amaçlayan bir SaaS (Software as a Service) yapısı. Neleri kapsıyor hızlı bir göz atmak isterseniz Fabric PM Justyna Lucznik ‘in bu videosunu önerebilirim.

Microsoft Fabric Nasıl Aktive Edilir?

Microsoft Fabric’in bütün arayüzü/erişimi Power BI servisi üzerinden çalışıyor. Yani bildiğimiz bir ortam! Power BI Admin, Power Platform Admin veya Global Admin rolündeki bir kullanıcı ile Fabric’i, tüm tenant’ınız için veya belli bir kullanıcı grubu için aktif hale getirebilirsiniz. Ve hatta Power BI Premium lisansınız varsa satın aldığınız kapasite için de Fabric’i aktif hale getirmek mümkün.

Power BI Admin sayfasındaki tenant ayarlarınızdan Fabric’i aktive edebilirsiniz.

Servisi aktif hale getirdiğinizde Power BI’ın bildiğimiz ortamına yeni menüler geldiğini görüyorsunuz! Preview sürecinde -bildiğim kadarıyla- herkese ücretsiz olacak!

Hangi Servisleri İçeriyor?

Fabric, 6 farklı ama birbiriyle ilintili olabilecek teknolojiyi tek bir çatı altında birleştiriyor.

• Data Integration
• Power BI
• Synapse Data Engineering
• Synapse Data Warehousing
• Synapse Data Science
• Synapse Real Time Analytics

Ve hepsinin altında DataLake var, tek bir DataLake! Bütün veri burada oturuyor ve bu veriyi tekrar tekrar kopyalamadan yukarıdaki servislerden biriyle kullanabiliyorsunuz. Buna tekrar geleceğim!

Yukarıdaki konulara kısaca değinmek gerekirse:

Data Integration: Burada karşımıza çıkan yapı -bildiğimiz- Azure Data Factory, ya da kısa adıyla ADF. ADF ile ilgili ne biliyorsanız hepsi geçerli! ADF, SSIS’in Azure versiyonu olarak tariflenebilir. Veriyle ilgili burada çalışırken iki farklı yapı kullanabilirsiniz: Data pipeline ya da Dataflow. Pipeline ADF’te başından beri vardı. Dataflow, Power BI’dan bildiğimiz dataflow! ADF’ye bir ara gelmiş sonra çıkmıştı. Şimdi tekrar geldi! Hatta Dataflow Gen2 olarak!

Ara not: PowerBI İstanbul tenant’ında şu an sadece pipeline gözüküyor, dataflow henüz yok! Bugün yarın gelir sanıyorum.

Power BI: Bildiğimiz servis ortamı. Ne biliyorsanız aynen geçerli. Tabii Fabric ile başka yetenekler ekleniyor. Bunlardan biri DirectLake! Bunu henüz kendi tenant’ımda test etmedim (ilk işim bu olacak), private preview döneminde MVP tenant’ında sınırlı büyüklükteki veriyle test etme şansım oldu. DirectLake’i özel yapan şeyse şu: Veriyi import etmeden, yani dataset’e almadan bir nevi direct query modunda çalışması, performans olarakta import performansı vermesi!

Direct Query, gerçek zamanlı raporlamaya imkan vermesi sebebiyle albenisi yüksek bir yöntem, ama performans problemli olmaya her zaman aday. Import moduna -performans açısından- yaklaşması zaten mümkün değil.

DirectLake, bunu ortadan kaldırmaya aday, büyük miktarda veriyle çalışşanız bile! Microsoft’un iddiası bu, ama gerçek hayat testlerinde göreceğiz!

Microsoft BI teknik ekibinin başındaki Amir Netz oldukça iddialı bir tweet atmış! “Import mode performance without importing anything!”

Synapse Data Warehouse: Jargonla ilgili -her zaman olduğu gibi- Microsoft bazen kafa karıştırıyor. LakeHouse ne, Data Warehouse ne! Sonuçta Fabric’in tüm alt yapısında bir tane OneLake diye isimlendirilen datalake var. Buna Synapse Dedicated Pool’un biraz farklı bir versiyonu gibi diyelim kısaca. T-SQL kullanarak oluşturabileceğimiz bir warehouse!

OneLake için kullanılan slogan da çarpıcı: the OneDrive for data!

Synapse Data Engineering: Bu serviste verinin işlenmesi vs Spark notebook ile oluyor.

“Neyi satın almak istersin?” deseler zamanı derim! Spark, notebook gibi konular -henüz- yeterince derinlik sahibi olmadığım konular! Günlerin 24 yerine 96 saat falan olması lazım!

Synapse Data Science: Veri bilimciyseniz buradan alalım sizi! Machine Learning modelleri ve Spark cluster’larla çalışabilirsiniz bu serviste.

Synapse Real-Time Analytics: Bu servis, event streams üzerinden Kusto diliyle (T-SQL’e benziyor) KQL veritabanı yaratarak çalışabileceğiniz bir servis.

Azure Synapse Analytics vardı bir de?

Çok değil 1,5 sene kadar önce Microsoft, Azure Synapse Analytics ‘i duyurmuştu. Üstelik benzer bir sloganla! Orada da ADF vardı, data engineering vardı vs. Fabric altındaki ADF ile Synapse Analytics altındaki ADF -bugün itibariyle- birebir aynı olmayabilir belki, bilmiyorum, ama farklılık olacağını zannetmiyorum.

Fabric, henüz yeni çıktı, preview modunda. GA olduğunda Microsoft, Azure Synapse Analytics’i yavaş yavaş öldürür diye düşünüyorum. Fabric, Synapse Analytics’in bir üst versiyonu gibi çünkü.

ADF, Synapse ise -tekil satın alınabilir servisler olarak- varlığını sürdürür.

Power BI Developer Gözüyle Fabric

Aslında şu aşamada çoğu şey gene bildiğimiz araçlar. ADF, dataflow, data pipeline vs. Konunun Power BI tarafında iseniz, Spark, notebook gibi terimlere yabancı olabiliriz. Ama misal ADF tarafında dataflow’ları kullanabiliriz. Dataflow Gen 2 çıktısını OneLake’e yazdığımızda SQL-EndPoint’i var, T-SQL sorgusu yazabiliriz yani, yazdığımız kodun çıktısını gene OneLake’te bir view olarak saklayabiliriz.

Benzer konuların farklı kabiliyetleri diye düşünmek mümkün.

DirectLake -büyük bir veri setiyle- bir an önce test edilmeyi bekleyen bir konu benim için şu anda. Import etmeden import performansı, kopyalamadan refresh!

+ Bu yazıya sığdıramayacağım başka özellikler de var Fabric ile gelen: Misal -kısmi- GitHub entegrasyonu var. Versiyon kontrolünü oldukça basitleştirebilir.

GitHub/Azure DevOps, artık hangisi olacaksa, ya da ikisi birden, sadece Fabric altında değil, free ve Pro lisansta da olmalı bence! Şu an Fabric altında gözüküyorlar, Pro/Free lisansa da getirirler diye umuyorum! Bu “nice-to-have” değil, “must-have” bir özellik çünkü! Birden fazla developer varsa kaçınılmaz bir gereksinim!

Calculation Groups 3. parti bir uygulama kullanmaksızın oluşturulabiliyor. CoPilot geliyor. Gibi!

Kısaca, eğer Power BI developer iseniz, bildiğiniz / kullandığınız sette bir değişiklik yok. Ama üzerine öğrenmemiz gereken kabiliyetler olacak.

Fabric ‘i Nasıl Öğrenelim?

Fabric’in Trident olarak adlandırıldığı dönemde preview grubuna kabul edildiğimde bir anda bir yığın doküman ve video ile karşılaştım. Haftada en az bir bazen iki kez ürün ekibiyle Teams üzerinden toplantılara katıldım. Preview grubundaki neredeyse herkesin hem heyecanlı hem de kafasının karışık olduğunu söyleyebilirim!

Aynı soruyu hepimiz sorduk : ) Bu kadar geniş alana yayılan bir şeyi biz nasıl öğrenelim?

“Data persona” profilinize göre öğrenin dediler!

Yani veri bilimciyseniz ayrı bir “learning path”, SQL profilindeyseniz ayrı bir öğrenme listesi gibi. Her bir “persona” tipi için de ayrı bir öğrenme listesi hazırlanmıştı.

Microsoft Learn’de, henüz preview olarak yeni çıkmasına rağmen oldukça iyi hazırlanmış dokümantasyon var.

Eğer Power BI developer profilindeyseniz buradan başlayabilirsiniz.

Tüm servislerle ilgili dokümantasyona bu linkten erişmek mümkün.

Bir başka MVP ‘nin, Kurt Buhler ‘in yazısına da bir göz atabilirsiniz. Fabric ile gelen birçok özellik bir pdf altında listelenmiş.

Lisans Olarak Ne Gerekiyor?

Bu yazıyı yazdığım gün itibariyle lisans ücretleriyle ilgili henüz net bir fiyatlandırma yok!

Power BI Pro veya PPU lisansları Fabric için yeterli değil. Premium lisans sahibi iseniz, aldığınız kapasiteye Fabric özellikleri eklenebiliyor.

Anladığım kadarıyla Fabric ayrı “F” SKU lisansları olarak sunulacak.

Fabric Herkese Lazım mı?

Hem evet, hem hayır!

Şu ana kadar içinde bulunduğum/bitirdiğim projelerin -çoğunun- Fabric’e geçmesine gerek var mı? Hayır yok! Dataflow kullandım, incremental refresh uyarladım. Gayet sorunsuz, problemsiz çalışıyorlar. Fabric’e ihtiyaç yok! Diyebilirim!

Ama aynı projelerin bir kısmını bugün tekrar yapıyor olsaydım, Fabric’i mutlaka dener, test eder ve -gerekiyorsa- önerirdim.

Bir kaç sebepten:

• DirectLake -potansiyel olarak- inanılmaz bir özellik. Çoğu kişi her şeyi gerçek zamanlı görmek istiyor. Performans sorunu olmayacaksa neden olmasın!
• ADF + Synapse + Serverless + Dedicated Pool kullandığım projelerde Azure’da oradan oraya geçmeniz gerekiyor, ortama alıştıysanız sorun yok! Ama aynı şeyi müşteri tarafındaki anahtar kullanıcılar için söyleyemem. Farklı ortamlara alışmaları zaman alıyor. Fabric ile bu alışma süresi minimuma inecektir.
• Yurtdışı -katılma şansı bulduğum- bazı projelerdeki veri boyutu çok yüksekti, birkaç on milyar satır içeren tablolarla çalışıyorsunuz! En ufak bir performans iyileşmesi bile test etmeye değer!

Son söz: Microsoft’un son 1-2 yıldaki atılımları inanılmaz boyutta! Ben sadece veri kısmındayım, buna rağmen yaptıklarına yetişmekte zorlanıyorum. Bir startup’ın bile bu hızda lansman yapmasını mümkün görmezken, Microsoft’un bu hızı karşısında şaşkınım desem yalan olmaz! Q&A ‘de (kalite kontrol testi diyelim) çıtayı düşürmezse, şenlikli günler bizi bekliyor!