Şirketler İçin Veri Madenciliği ve İş Zekası

Bugün Microsoft'un düzenleyeceği "Şirketler İçin veri Madenciliği ve İş Zekası" etkinliğine katılacağım. Konuşmacı Project Botticelli Ltd firmasından Rafal Lukawiecki olacak.

Gündem Konuları:

1. Veri madenciliğine giriş
2. Veri madenciliği ile çalışmak
3. BT sistemlerinde veri madenciliği kullanmak(Bölüm1)
4. BT sistemlerinde veri madenciliği kullanmak(Bölüm2)

2007 Yılında Günlüğüme Hangi Adreslerden Gelindi?

Günlüğümü 2007 yılında 30.055 tekil kişi ziyaret etti. Günlüğüme uğrayanların erişim için kullandıkları adreslerin ilk 11'lisi aşağıdaki gibidir:

1. http://www.google.com/ 22.968 76,42%
2. http://www.mehmetguzel.net/ 4.783 15,91% (direk erişim)
3. http://www.blogger.com/ 691 2,30%
4. http://www.ceturk.com/ 639 2,12%
5. http://www.limk.com/ 122 0,41%
6. http://www.sumerkent.com/ 83 0,28%
7. http://www.arama.mynet.com/ 66 0,22%
8. http://www.sanliurfa.com/ 65 0,22%
9. http://www.seyfettinguzel.com/ 63 0,21%
10. http://aydinunlu.blogspot.com/ 59 0,20%
11. http://www.live.com/ 52 0,17%

ve diğer kaynaklardan toplam 464 tekil ziyaret ve 1,54% bir yüzde oranıyla günlüğüme erişilmiş. Günlüğümü sitelerinde link veren/verecek, destekleyen/destekleyecek; bir kısmını burda zikrettiğim yada zikretmediğim herkese teşekkürü bir borç biliyorum. Özellikle tek başına 76,42% bir oran ile siteme ziyaretçi gönderen Google'ın yeri bir başka.

Not: Bu arada bir süredir günlüğümün linkini kendi sayfalarında yayınlayan bilgi dostu arkadaşları Günlük Kardeşliği bölümü altına ekliyorum. Günlüğümü sitesine ekleyenler mail aracılığıyla beni haberdar ederlerse(web sayfaları uygun görüldüğü takdirde) Günlük Kardeşliği bölümü altına isimlerini hemen ekleyeceğim. Günlük Kardeşliği uygulamamdan haberi olmayanlara duyurulur.

MS SQL Server 2008 - Yeni Tarih Veri Tipleri

SQL Server'ın daha önceki sürümlerinde tarih ve zaman veri tiplerinin eksikliğini yaşardık. Hatta bu eksikliği gidermek için tarih veri tiplerini çeşitli dönüşümlerden geçirip kendi veri tipimizi oluşturma yoluna giderdik. Microsoft geçte olsa bu eksikliğin farkına varıp MS SQL Server 2008 ile birlikte bu tarih veri tiplerinin eksikliğini giderdi. MS SQL Server 2008 ile birlikte mevcut tarih veri tiplerine(smalldatetime, datetime) ek olarak date, time, datetime2, datetimeoffset yeni tarih tipleri geliyor. Şimdi yeni gelen bu tarih veri tiplerinin ne oduğunu incelemeye başlayalım:

TIME : Günün saat, dakika, saniye ve salise bilgilerini 24 saat esasına tutar. SQL Server 2008 Saliseyi 7 digitlik hassasiyette tutuyor. SQL Server 2005 te bunu 3 digit olarak alırdık. Alabileceği değerler 00:00:00.0000000 ile 23:59:59.9999999 arasındadır.

Örnek: Şu anki zamanı TIME cinsinden alalım.
DECLARE @Zaman TIME
SET @Zaman=GETDATE()
SELECT @Zaman
10:48:27.1234567

TIME için herhangi bir hassasiyet belirtmediğimiz için salise kısmını 7 digit olarak gösteriyor. Eğer TIME’ın hassasiyetini 3 digit olarak göstermek istersek aşağıdaki gibi yapabiliriz:

DECLARE @Zaman TIME(3)
SET @Zaman=GETDATE()
SELECT @Zaman
10:48:27.123


DATE : Sadece tarihi tutarak içerisinde gün ay yıl bilgilerini barındırır. Alabileceği değerler 01-01-01 ile 9999-12-31 arasındadır.

Örnek:
DECLARE @Tarih DATE
SET @ Tarih =GETDATE()
SELECT @ Tarih
2008-01-22

DATETIME2 : DATE ve TIME veri tiplerinin bir araya gelmesiyle oluşur. SQL Server 2005 te kullandığımız DATETIME dan iki farkı var. Bunlar salise hanesinin 7 digit hassasiyetinde tutulması ve tarih değerinin 01-01-01 ilk değerini alabilmesi.

Örnek:
DECLARE @Tarih DATETIME2
SET @ Tarih =GETDATE()
SELECT @ Tarih
2008-01-22 10:48:27.1234567

Örnek: Salisenin hassasiyetini 3 digite çekelim.
DECLARE @Tarih DATETIME2(3)
SET @ Tarih =GETDATE()
SELECT @ Tarih
2008-01-22 10:48:27.123

DATETIMEOFFSET : Bu veri tipi ile birlikte tarih alanlarımızda saat dilimini de saklayabileceğiz. Bu tarih tipi özellikle farklı saat dilimlerindeki kayıtlarımız üzerinde ekleme çıkarma vs gibi işlemler yapıyorsak çok işimize yarayacak.

Örnek:
SELECT CAST(‘2008-01-22 10:48:27.1234567 +2:00’ AS DATETIMEOFFSET(7))

2008-01-22 10:48:27.1234567 +2:00

MS SQL Server 2008 İle Birlikte Gelen Yenilikler-1

Veri Koruma Sistemi geliyor

1. Veri Şifreleme Metodları
   * Transparent Data Encryption
   - Veritabanı seviyesinde şifreleme yapar
   - Veritabanının data ve log dosyalarını disk üzerinde şifreler ve okumak için hafızaya bu verileri aldığında deşifre yapar.
   - ALTER DATABASE VeritabaniAdi SET ENCRYPTION [ON OFF] şeklinde veritabanlarınızı şifreleyip/şifrelerini kaldırabilirsiniz.
   * Backup Encryption
   *External Key Management
   
2. Güvenliğin Denetim Altına Alınması
   * System or Data Auditing(Sistem ve Verinin Denetimi)
   - Herhangi bir kullanıcının yapmış olduğu değişiklikleri ve başarısız ataklarını kontrol altına alabilirsiniz(Bunu SQL’in daha eski versiyonlarında Profiler yada trigger ile yakalamaya çalışırdık)
   * Data Protection(Veri Koruma)
   - Sadece yetkili kişileri backup ve restore yetkisi verilebilir.
   

MS SQL Server 2008 ile personel tablomuzda 20.000 YTL nin üzerindeki maaş değişikliklerini izlemeye almaya çalışalım:
AUDIT UPDATE(Maas) ON Personel TO DenetimKlasorum WHERE Maas>20000 AUDIT LOGON TO DenetimKlasorum

Suspect Moddaki SQL Server Veritabanını Kurtarma

Restore SQL Server 2005 Suspect Database

Birkaç gün önce suspect olmuş bir SQL Server 2005 veritabanını kurtarmak için epey uğraştım. Kurtarmaya çalıştığım veritabanı replikasyon için oluşturulan Distribution veritabanı idi. Ne veritananına erieşbiliyordum ne de üzerinde birazdan bahsettiğim komutları çalıştırabiliyordum. Data dosyası CRC hataları ile doluydu ve tüm uğraşlarım sonucu replikasyon ayarlarını uçurup yeniden yapmak zorunda kaldım:( Benzer durumlar ile karşılaşacak arkadaşlar aşağıdaki komutları denemeden veritabanınızı gözden çıkarmayın.

Suspect durumuna düşmüş bir SQL Server veritabanınızı; veri kayıplarını da gözönüne alarak aşağıdaki komutları ard arda çalıştırarak kurtarabilirsiniz:

EXEC SP_RESETSTATUS 'VeritabaniAdi';

ALTER DATABASE VeritabaniAdi SET EMERGENCY

DBCC CHECKDB('VeritabaniAdi')

ALTER DATABASE VeritabaniAdi SET SINGLE_USER WITH ROLLBACK IMMEDIATE

DBCC CHECKDB ('VeritabaniAdi', REPAIR_ALLOW_DATA_LOSS)

ALTER DATABASE VeritabaniAdi SET MULTI_USER

T-SQL Kod Kaynağı: CodeProject

2008 Microsoft Vizyonu ve Yeni Teknolojileri Semineri Gerçekleşti

CETURK olarak Microsoft ve INETA sponsorluğunda Microsoft İstanbul ofisinde aynı gün içerisinde üç seminer düzenlendik. Seminerlere başta CETURK ekibinden ben, değerli ekip arkadaşlarım Mehmet ACA , İbrahim DEMİR ile birlikte CETURK üyelerimizden geniş bir katılım vardı. Seminerleri M.Nuri ÇANKAYA, E.Altuğ Yılmaz, Daron YÖNDEM ve Eralp ERAT Microsoft'un 2008 vizyonu, Expression Web, Design, Blend, WPF, Silverlight, C#3.0 ve LINQ konularında sundular. Oldukça bilgilendirici ve zevkli bir seminerdi. Başta seminerleri sunan M.Nuri ÇANKAYA, E.Altuğ YILMAZ, Daron YÖNDEM, Eralp ERAT ile birlikte semirlere katılan CETURK üyelerimize teşekkür ediyorum.

Seminer Dökümanları:

• Daron YÖNDEM Silverlight ve WPF ile ilgili seminer dökümanlarını hiç üşenmeden aynı gece 2 civarında sitesine eklemiş.


• E.Altuğ YILMAZ'ın seminerde kullandığı Expression Web ve Design ile ilgili sunumlarını indirip inceleyebilirsiniz.

CETURK olarak yeni bir etkinlikte buluşmak dileğiyle...

Seminerden Görüntüler:

Hakkında

Dağları bayırları aşarak günlüğüme yolu düşüp; günlüğümde bir yol molası verip kod tadında bir çay keyfi sürmek isteyenler ile günlük sakinlerimin uzun zamandır çokça sordukları gazeteciliğin esası olan 5N+1K sorularına bir nebze olsun cevap verebilmek için yazılmıştır.

Yazar Hakkında:

1996 yılında liseyi birincilikle bitirdi. Karadeniz Teknik Üniversitesi Bilgisayar Mühendisliği bölümünden 2000 yılında mezun oldu. Sırasıyla Şuredaş, Geosoft, Panasonic Türkiye, Belbim A.Ş. firmalarında Yazılım Geliştirme Uzmanı; Türkiye Finans Katılım Bankası'nda Veritabanı Mimarı olarak çalışan Güzel halen özel bir teknoloji firmasında Kıdemli Veritabanı Yöneticisi olarak profesyonel iş hayatına devam ediyor. Hali hazırda 600'ün üzerinde veritabanını yönetiyor. Okul hayatında Pascal, Assembly, C, HTML, Unix kabuk shell, Delphi gibi programlama dillerini kullanan Güzel profesyonel iş hayatında Delphi, Visual Basic, ASP, ASP.NET, C# programlama dilleri ile birlikte Paradox, Access, Oracle, MS SQL Server veritabanlarını kullandı. İş hayatı ile birlikte danışmanlık hizmeti ve MS SQL Server eğitimleri verdi. Bilginin paylaştıkça arttığına inanan Güzel 1996 yılından beri başta kendi kişisel sayfası olmak üzere çeşitli platformlarda binlerce kişiyle bilgilerini paylaştı ve paylaşmaya da devam ediyor. 2004-2008 yılları arasında gönüllü olarak CETURK(Computer Engineering TURK) Geliştirme Ekibinde bulundu. CETURK Veritabanları, Visual Basic forumlarını uzun süre yönetti. 1 yıl gönüllü olarak CETURK Forum Koordinatörlüğü görevini yürütttü.

MS SQL Server konusunda zamanında aşağıdaki teknik sitelerde bilgi paylaşımında bulundu:

1. Microsoft TechNet Wiki 
2. SQL Server Öncüleri
3. CETURK
4. C#Nedir?
5. Yaz Geliştir
6. Yazılım Uzmanı

Verdiğim Webcastler ve Webcast Videoları:

1. SQL Server – Performance Tuning & Optimization, 14/09/2011
2. SQL Server 2008 R2 Failover Cluster, 29/02/2012
3. SQL Server 2012 Yenilikleri, 27/04/2012
4. SQL Server – Performance Tuning & Optimization, 07/06/2012

Katıldığım Bazı Workshop/Eğitimler

Eğitim Türü	Eğitim Adı	Kurum Adı	Başl. Tarihi	Bitiş Tarihi	Süresi
Bilgi Sistemleri	Information Storage and Management V2.	EMC	15.10.2012	19.10.2012	30 saat
Bilgi Sistemleri	IBM Guardium	IBM	03.10.2012	05.10.2012	18 saat
Bilgi Sistemleri	Oracle Database 11g Administration Workshop II DBA Release 2	Oracle University	17.09.2012	21.09.2012	30 saat
Bilgi Sistemleri	SQL Server 2012 for Administrators	Microsoft	04.09.2012	07.09.2012	24 saat
Bilgi Sistemleri	Oracle Database 11g: RAC and  Grid Infrastructure Administration Accelerated	Oracle University	25.06.2012	29.06.2012	30 saat
Bilgi Sistemleri	Oracle Database 11g Administration Workshop I DBA Release 2	Oracle University	04.06.2012	08.06.2012	30 saat
Bilgi Sistemleri	Oracle Database Program With PL/SQL	Oracle University	19.04.2012	21.04.2012	21 saat
Bilgi Sistemleri	PCI DSS - Veri Güvenliği Standardı	Biznet	16.11.2011	17.11.2011	14 saat
Yönetim Becerileri ve Kişisel Gelişim	Performans Koçluğu	Kurumiçi	20.06.2011	21.06.2011	14 saat
Bilgi sistemleri	HP PPM	Kurumiçi	30.03.2011	30.03.2011	3 saat
Yönetim Becerileri ve Kişisel Gelişim	Atılımı Yaşatanlar	Kurumiçi	26.10.2010	27.10.2010	14 saat
Bilgi Sistemleri	Problem Yönetim Süreç ve Kullanımı	Kurumiçi	29.07.2010	29.07.2010	3 saat
Bilgi Sistemleri	Implementing and Managing Windows Server 2008 Clustering	BilgeAdam	31.03.2010	02.04.2010	18 saat
Bilgi Sistemleri	Windows Powershell Workshop	Microsoft	04.03.2010	05.03.2010	14 saat
Bilgi Sistemleri	Fundamentals of Windows Server 2008 Network and Applications Infrastructure	BilgeAdam	15.02.2010	19.02.2010	30 saat
Bilgi Sistemleri	50022A TCP/IP Foundamentals for Microsoft Windows	BilgeAdam	07.09.2009	11.09.2009	30 saat
Bilgi Sistemleri	Olağanüstü Durumda İş Sürekliliği	Kurumiçi	07.02.2009	07.02.2009	6 saat
Bankacılık/Finans	Suç Gelirlerinin Aklanmasının ve Terörün Finansmanının Önlenmesi Mevzuatı	Kurumiçi	07.01.2009	07.01.2009	1 saat

Site Hakkında:
Yazar 1996 yılından bu yana kişisel web sayfasına sahip. Mevcut site yazarın değişik platformlardaki bilgi paylaşımlarını tek çatı altında toplamak düşüncesiyle 2004 yılında kuruldu. Site mesleki bilgilerin yanında bilgi değerinin olduğuna inanılan güncel-teknolojik haberleri de barındırıyor.

Abonelik : Site içeriğine FeedBurner yada Google üzerinden abone olabilirsiniz.

 https://www.linkedin.com/in/GuzelMehmet 

HTML Tagları Temizlemek

string WebSayfasi= KaynakAl(http://www.mehmetguzel.net);
string WebSayfasiIcerigi= HtmlSil(WebSayfasi);

//RemoveHtml Gökhan BAĞCI'nın Web Sayfasından alınmıştır.
private string RemoveHtml(string Html)
{
return Regex.Replace(temp, @"<(.\n)*?>", string.Empty);
}

//KaynakAl CSharpnedir.com'dan alınmıştır.
private string KaynakAl(string adres)
{
// "Siteye Bağlanıyor...";
WebResponse benimResponse = null;
try
{
WebRequest benimWebRequest = WebRequest.Create(adres);
benimResponse = benimWebRequest.GetResponse();
}
// Eğer internet bağlantısı yoksa yada site adresi yanlış ise :
catch (WebException e)
{
// "Siteye Bağlanamıyor.";
return null;
}
// Site içeriği stream olarak alınıyor :
Stream str = benimResponse.GetResponseStream();
StreamReader reader = new StreamReader(str);
string kaynak = reader.ReadToEnd();
// Tüm içerik küçük harfle döndürülüyor.
//Daha fazla kontrol yapmamak için bir önlem
return kaynak.ToLower();
}

Not: Yukarıdaki kodları programınızda kullanırken hata ile karşılaşmamak için aşağıdaki name spaceleri kullanın:
using System.Text.RegularExpressions ;
using System.Net;
using System.IO;

Mutluluk Nerede?

"Uzun bir süredir tam da yaşamak istediğin hayatını yaşamaya başlayacağını düşünegeldin. Fakat bunun için önünde hep bir engel oldu; önce yapılması gereken bir şey, bitirilmesi gereken bir iş, çalışılması gereken bir süre, ödenmesi gereken borçlar. Bunlarin hepsi bittikten sonra hayatının başlayacağını düşündün. Fakat bu arada hayat kendi hızıyla akıp gitti. Hala daha o engelleri aşmaya çalıştığın bugünlerde bir de baktın ki, engellerle yaşadığın geçmişin hayatın ta kendisiymiş. Yoksa onları da tatlı bir nostalji duygusuyla anıyor ya da anlatıyor olamazdın. O halde şimdi hayatına bak. Engelleriyle, yapılmasi gereken işlerle, ödenmesi gereken borçlarla yıllar sonra tatlı bir nostalji olacak bir hayat yaşıyorsun. Hayatın tâ kendisidir şimdi yaşadığın. Engeller, borçlar, bitmemiş işler, telaşlar, sıkışıklıklar... hepsi hayatın kendisi. Mutluluğu erteleyip durma. Mutluluğun varılacak bir yer değil; yürüdüğün yol olduğunu unutma. Unutma ki, zaman kimseyi beklemez. Ne okulun bitmesini, ne hiç borcunun kalmamasını, ne bir ev sahibi olmayı, ne çocuklarının büyümesini, ne emekli olmayı, ne baharın gelmesini bekle! Mutlu olmak için şimdiki zamandan daha uygun bir zaman yok! "

Senai Demirci

Verilerin Merkezdeki Sunucuya Yazılması/Toplanması Yöntemleri

• Verilerin Online olarak direk veritabanına yazılması
• Verilerin replikasyon ile taşınması
• Verilerin WCF üzerinden taşınması

1. Dosyalarlar
   - Text Dosya
   - Binary Dosya
   - XML Dosya
2. Datasetlerle
   

VERİLERİN ONLİNE OLARAK DİREK VERİTABANINA YAZILMASI

Sahadaki tüm bilgisayarlar LAN üzerinde bulunuyorsa; burda çalışan programlara servera yazma yetkisi verilerek tüm verilerin aynı anda merkezi veritabanına işlenmesi sağlanabilir.

Avantajları:

1. Tüm kayıtların tek veritabanına yazılması/saklanması
   - Veritabanı yönetimini kolaylaştırır.
   i. Tüm istemcilerdeki veritabanlarının bozulması riskini taşımaz.
   ii. Tüm veritabanlarının yedeklenmesi/sevk ve idaresi külfetinden kurtarır.
   iii. İstemcilerdeki veritabanlarındaki verilerin merkez server a taşınması işlemlerine gerek kalmaz:
   * Verilerin taşınması için ek programlara ve bu programlarda yapılacak değişikliklere gerek kalmaz.
   * Taşınma sırasında oluşabilecek risklerden kurtarır.
   iv. Veritabanı yönetime ayrılması gereken zaman/personel tasarrufu sağlar.
   v. Parametre ve konfigürasyon bilgilerinin clientlarda güncellenmesi zahmetinden kurtarır.
   - Veritabanı başına alınması gereken lisans ücretlerinden kurtarır. Bu da şirketin yüz binlerce dolar($) tasarruf etmesini sağlar.
2. Online raporlara olanak verir.
3. Client bilgisayarlarının konfigürasyonun daha minimum olmasına vesile olup maliyetleri düşürür.
   

Dezavantajları:

1. Off-line çalışmaya olanak vermemesi. Merkez server ile satış noktası arasında bağlantı olmadığında satışlar yapılamaz. Bu sorun satış noktalarına ayrılacak hatların iyi seçilmesi yada iyileştirilmesi sonucunda çözülebilir.
2. Serverın iş yükünün daha da artmasına neden olur.
   
   

VERİLERİN REPLİKASYON İLE TAŞINMASI

Avantajları :

1. Gerçek zamanlı(real time) veri aktarımı(10 sn de bir veriler gönderilebilir)
2. Tasarımı oturmuş(zamanla değişikliğe uğramayan) veritabanları için ayarlarının bir kez yapılıp uzun süreli hat kopuklukları olmadığı sürece uzun yıllar herhangi bir ek işleme gerek kalmadan verilerin sağlıklı güvenli ve rahat bir şekilde merkez server a taşınması
3. Yönetimsel olarak sorun ve sorunların kaynaklarını izleyip yakalayabilme(monitoring)
   

Dezavantajları :

1. Verilerin entegrasyonu için en az MS SQL Server veritabanının Standart Edition ı gerektirir. Yüzlerce nokta için yüzlerce Standart Editon yüz binlerce dolar lisans maliyeti gerektirir.
2. Uzun süreli hat kopukluklarında bir çok ayarı tekrardan yapmak zorunda kalmak
   Veritabanı tasarımdaki değişiklikler için ilgili değişiklikleri replikasyona yansıtmadaki güçlükler.
3. Her nokta için oluşturulan tüm veritabanlarının yönetimi daha zor ve daha çok zaman/personel gücü gerektirir.
4. Sahadaki bilgisayar ile merkezdeki server ın karşılıklı birbirlerini görmelerini gerekiyor yani ortak LAN da olmaları gerekiyor.
   
   
   

VERİLERİN WCF ÜZERİNDEN TAŞINMASI

Veriler bu yöntem üzerinden senkron ve asenkron olarak taşınabilir. Online iletim için senkron yapı daha uygunken offline uygulamar için ise asenkron yapı daha uygundur. Senkron mimaride tüm clientlar ile merkezdeki server arasındaki haberleşme sürekli ve kesintisizdir. Fazla konfigurasyon gereksinimi ve gereksiz yere bant genişliğini kullanması gibi dezavantajlardan dolayı pek kullanılmaz.

Mevcut ihtiyaçlarımıza göre asenkron veri iletimi bizim için daha uygundur. Asenkron mimariyi kullanarak verileri paketler yada mesajlar üzerinden iletilebiliriz. Her bir mesaj; bir veri kümesi, dosya yada dosyalar grubundan oluşan sıkıştırılmış bir dosya olabilir.

İletilecek dosyalar text, XML, binary vs dosya formatında olabilir. Dosya formatları dosya boyutu, kullanım kolaylığı, güvenlik, format değişikliklerine uyum kolaylıkları, kullanıcak hattın band geniliği vs gibi kriterlere göre değişkenlik gösterebilir. Dosyaların yanında WCF üzerinden dataset şeklinde de veriler merkez servera iletilebilir.

2008 Microsoft Vizyonu ve Yeni Teknolojileri Semineri