Каков наилучший способ сделать java-кодирование для таких операций на уровне байтов?

Вы определенно на правильном пути. Вот некоторый конкретизированный код, который увеличивает первые четыре бита или вторые четыре бита int на заданную величину.

Обратите внимание, что здесь я использую int вместо byte. Даже если ваши данные относятся к категории byte, обычно гораздо проще работать с ними в формате int. Это связано с тем, что побитовые операторы Java, такие как |, & и <<, возвращают int. Так что проще всего работать с вашими данными как с int, а затем отбрасывать назад, как только вы сделали все свои биты.

Кроме того, если вам нужно иметь дело с большим блоком данных (возможно, больше, чем просто два счетчика, которые вы упомянули) на побитовом уровне, вы можете рассмотреть возможность взглянуть на BitSet.

public class Test {
    public static void main(String[] args)
    {
        int counter = 0;

        // increment the low bits by 3 and high bits by 2
        counter = addLowBits( counter, 3 );
        counter = addHighBits( counter, 2 );

        // print the hex string to verify
        System.out.println( Integer.toHexString( counter ) );
        System.out.println( "Low Counter: " + ( counter & 0x0F ) );
        System.out.println( "High Counter: " + ( ( counter & 0xF0 ) >> 4 ) );
    }

    public static int addLowBits( int counter, int increment )
    {
        // get the low bits
        int low = counter & 0x0F;

        // increment by 1
        low = low + increment;

        // mask the high bits and insert new low bits
        counter = (counter & 0xF0) | low;

        return counter;
    }

    public static int addHighBits( int counter, int increment )
    {
        // now get high bits
        int high = ( counter & 0xF0 ) >> 4;

        // increment by 1
        high = high + increment;

        // mask the low bits and insert new high bits
        counter = (counter & 0x0F) | ( high << 4 );

        return counter;
    }
}