Netty ile basit RPC

  Netty.IO Netty, Java ile yazılmış bir çok protokolü barındıran bir event processing kütüphanesidir. Netty kullanarak HTTP web server (HTTP/2 dahil), chat servisleri, message broker, internal/external api, rpc, data pipeline transporter gibi uygulamalar geliştirebilmek mümkün. Kısaca network üzerinden veri akışına dayalı sistemler için kullanılan oldukça yararlı Java kütüphanesi. Netty genel mimarisi aşağıdaki gibidir.   RPC Bir… Continue reading

Hive’da geçici job çöplüğü (scratchdir)

Hive scratchdir Hive’da varsayılan /tmp altındaki MR joblarda arasında kullanılan geçici dosyalar bazen yığılma ve yığılma ile dolaylı olarak diskte gereksiz kullanıma sebep olabiliyor. Örneğin partition yapmadığınız tablolarda queryler veya partition’lara sahip bir/birkaç tablonuzda datanın büyük bir kısmına vuran queryler çalıştırdığınızı düşünelim. Bu durumda Map Reduce taskları arasında (query’nin yapısına da bağlı olarak) muhtemelen büyük bir… Continue reading