Hive’da geçici job çöplüğü (scratchdir)

Hive scratchdir Hive’da varsayılan /tmp altındaki MR joblarda arasında kullanılan geçici dosyalar bazen yığılma ve yığılma ile dolaylı olarak diskte gereksiz kullanıma sebep olabiliyor. Örneğin partition yapmadığınız tablolarda queryler veya partition’lara sahip bir/birkaç tablonuzda datanın büyük bir kısmına vuran queryler çalıştırdığınızı düşünelim. Bu durumda Map Reduce taskları arasında (query’nin yapısına da bağlı olarak) muhtemelen büyük bir… Continue reading