десериализовать плоские буферы Google

У меня есть приложение nodejs, которое использует плоские буферы Google.

файл fbs для схемы напитков:

namespace MyAlcoholist;

table Drink {
drink_type_name: string;
drink_company_name: string;
drink_brand_name: string;
drink_flavor_type_name : string;
liquid_color_type_name : string;
liquid_color_is_transparent : bool;
alcohol_vol : float;
calories_for_100g : uint;
global_image_id: uint;
drink_flavor_id: uint;
}

table Drinks { drinks:[Drink]; }

root_type Drinks;

скомпилировал его с помощью flatc -s drinks.fbs, он сгенерировал файл js drink_generated.js. Все идет нормально.

Я использую следующий код на своем сервере nodejs для подготовки и создания плоского буфера из массива:

flatBuffersUtil.js

var flatbuffers = require('../js/flatbuffers').flatbuffers;
var builder = new flatbuffers.Builder();

var drinks = require('../fbs/drinks_generated').MyAlcoholist; // Generated by `flatc`.

function drinkArrayToBuffer(drinkArray) {
var drinksVectArray = [];
drinkArray.forEach(function (element, index, array) {
    var drinkObj = element;
    var drinkBrandName = builder.createString(drinkObj.drink_brand_name);
    var drinkCompanyName = builder.createString(drinkObj.drink_company_name);
    var drinkflavorTypeName = builder.createString(drinkObj.drink_flavor_type_name);
    var drinkTypeName = builder.createString(drinkObj.drink_type_name);
    var liquidColorTypeName = builder.createString(drinkObj.liquid_color_type_name);
    drinks.Drink.startDrink(builder);
    drinks.Drink.addAlcoholVol(builder, drinkObj.alcohol_vol);
    drinks.Drink.addCaloriesFor100g(builder, drinkObj.calories_for_100g);
    drinks.Drink.addDrinkBrandName(builder, drinkBrandName);
    drinks.Drink.addDrinkCompanyName(builder, drinkCompanyName);
    drinks.Drink.addDrinkFlavorId(builder, drinkObj.drink_flavor_id);
    drinks.Drink.addDrinkFlavorTypeName(builder, drinkflavorTypeName);
    drinks.Drink.addDrinkTypeName(builder, drinkTypeName);
    drinks.Drink.addGlobalImageId(builder, drinkObj.global_image_id);
    drinks.Drink.addLiquidColorIsTransparent(builder, drinkObj.is_transparent);
    drinks.Drink.addLiquidColorTypeName(builder, liquidColorTypeName);
    var drink = drinks.Drink.endDrink(builder);
    drinksVectArray.push(drink);
})
var drinksVect = drinks.Drinks.createDrinksVector(builder, drinksVectArray);
builder.finish(drinksVect);
var buf = builder.dataBuffer();
var drinksArray = drinks.Drinks.getRootAsDrinks(buf);
return buf;
}

module.exports.drinkArrayToBuffer = drinkArrayToBuffer;

использование flatBuffersUtil.js:

...
var data = flatBuffersUtil.drinkArrayToBuffer(result);
res.send(data);

клиент работает с angularjs 1.5.0, когда я получаю буфер, я пытаюсь создать из него объект, используя следующий код:

в основном индексном файле:

<script type="text/javascript" src="js/flatbuffers.js"></script>
<script type="text/javascript" src="js/fbs/drinks_generated.js"></script>

затем в угловом контроллере:

           $http({
                data: data,
                method: 'POST',
                url: 'https://myalcoholist.com:8888/drink/get_list/all_drinks',
            }).then(function successCallback(response) {
                var buffer = response.data;
                var drinks = MyAlcoholist.Drinks.getRootAsDrinks(buffer);
                deferred.resolve(drinks);
                // this callback will be called asynchronously
                // when the response is available
            }, function errorCallback(response) {
                // called asynchronously if an error occurs
                // or server returns response with an error status.
            });

проблема в том, что функция MyAlcoholist.Drinks.getRootAsDrinks(buffer); завершается со следующей ошибкой:

TypeError: bb.position is not a function
at Function.MyAlcoholist.Drinks.getRootAsDrinks (drinks_generated.js:256)
at successCallback (admin-drinks-controller.js:22)
at angular.js:15552
at m.$eval (angular.js:16820)
at m.$digest (angular.js:16636)
at m.$apply (angular.js:16928)
at g (angular.js:11266)
at t (angular.js:11464)
at XMLHttpRequest.u.onload (angular.js:11405)

теперь... код функции в сгенерированном файле drink_generated.js выглядит следующим образом:

MyAlcoholist.Drinks.getRootAsDrinks = function(bb, obj) {
return (obj || new MyAlcoholist.Drinks).__init(bb.readInt32(bb.position()) + bb.position(), bb);
};

поэтому bb должен иметь тип байтового буфера с функцией position (), но я получаю объект байтов. Я думаю, мне нужно сначала привести его к типу или каким-то образом... но это всего лишь предположение.

Любые идеи?

Обновить

Хорошо, сначала я изменил свою функцию drinkArrayToBuffer на следующий код:

function drinkArrayToBuffer(drinkArray) {
var drinksVectArray = [];
drinkArray.forEach(function (element, index, array) {
    var drinkObj = element;
    var drinkBrandName = builder.createString(drinkObj.drink_brand_name);
    var drinkCompanyName = builder.createString(drinkObj.drink_company_name);
    var drinkflavorTypeName = builder.createString(drinkObj.drink_flavor_type_name);
    var drinkTypeName = builder.createString(drinkObj.drink_type_name);
    var liquidColorTypeName = builder.createString(drinkObj.liquid_color_type_name);
    drinks.Drink.startDrink(builder);
    drinks.Drink.addAlcoholVol(builder, drinkObj.alcohol_vol);
    drinks.Drink.addCaloriesFor100g(builder, drinkObj.calories_for_100g);
    drinks.Drink.addDrinkBrandName(builder, drinkBrandName);
    drinks.Drink.addDrinkCompanyName(builder, drinkCompanyName);
    drinks.Drink.addDrinkFlavorId(builder, drinkObj.drink_flavor_id);
    drinks.Drink.addDrinkFlavorTypeName(builder, drinkflavorTypeName);
    drinks.Drink.addDrinkTypeName(builder, drinkTypeName);
    drinks.Drink.addGlobalImageId(builder, drinkObj.global_image_id);
    drinks.Drink.addLiquidColorIsTransparent(builder, drinkObj.is_transparent);
    drinks.Drink.addLiquidColorTypeName(builder, liquidColorTypeName);
    var drink = drinks.Drink.endDrink(builder);
    drinksVectArray.push(drink);
})
var drinksVect = drinks.Drinks.createDrinksVector(builder, drinksVectArray);
drinks.Drinks.startDrinks(builder);
drinks.Drinks.addDrinks(builder, drinksVect);
var endDrinksOffset = drinks.Drinks.endDrinks(builder);
drinks.Drinks.finishDrinksBuffer(builder, endDrinksOffset);
var buf = builder.dataBuffer();
return buf;
}

теперь на стороне сервера я могу десериализовать буфер и правильно использовать данные. проблема заключается в десериализации на стороне клиента.

после отправки буфера клиентская сторона получает следующий объект:

Object
 bytes_: Object  
 position_: 7148
 __proto__: Object

теперь .. Я создал следующую функцию для преобразования буфера в объект json на стороне клиента:

function drinksByteArrayToArray(buffer) {
var res = [];
var byteBuffer =new flatbuffers.ByteBuffer(buffer);
var drinks = MyAlcoholist.Drinks.getRootAsDrinks(byteBuffer);
var drinksLength = drinks.drinksLength();
for (var i=0;i<drinksLength;i++) {
    var drink = drinks.drinks(i);
    var drinkObj = {
        drink_flavor_id: drink.drinkFlavorId(),
        drink_type_name: drink.drinkTypeName(),
        drink_company_name: drink.drinkCompanyName(),
        drink_brand_name: drink.drinkBrandName(),
        drink_flavor_type_name: drink.drinkFlavorTypeName(),
        liquid_color_type_name: drink.liquidColorTypeName(),
        is_transparent: drink.liquidColorIsTransparent(),
        alcohol_vol: drink.alcoholVol(),
        calories_for_100g: drink.caloriesFor100g(),
        global_image_id: drink.globalImageId
    }
    res.push(drinkObj);
}
return res;
}

когда я выполняю эту функцию, количество напитков равно нулю. поэтому буфер кажется пустым.

теперь я думаю, что проблема в следующем коде:

var byteBuffer =new flatbuffers.ByteBuffer(buffer);

Я думаю, мне нужно преобразовать данные в байтовый буфер каким-то другим способом.

Я понял, что мне нужно передать flatbuffers.ByteBuffer массив байтов, поэтому я попытался сделать следующее:

var byteBuffer =new flatbuffers.ByteBuffer(buffer.bytes_);

но результаты те же.

Любые идеи?


node.js javascript angularjs flatbuffers
person ufk    schedule 19.02.2016    source источник
comment
да, похоже, вам нужно создать flatbuffers.ByteBuffer, используя массив байтов   -  person Aardappel    schedule 19.02.2016
comment
Я согласен с Ардаппелем. Вероятно, вам нужно обернуть var buffer = response.data в flatbuffers.ByteBuffer. (Что-то вроде var buffer = flatbuffers.ByteBuffer(response.data).) P.S. Кажется, вы вообще не используете drinksArray во фрагменте flatBuffersUtil.js. var drinksArray = drinks.Drinks.getRootAsDrinks(buf); // unused   -  person MrHappyAsthma    schedule 20.02.2016
comment
Вы отправляете весь ByteBuffer. Попробуйте res.send(data.bytes())   -  person Aardappel    schedule 20.02.2016
comment
@Aardappel, спасибо за ответ. использование buffer.bytes_ аналогично отправке .bytes(), в любом случае я пробовал это, и результаты такие же.   -  person ufk    schedule 20.02.2016

Ответы (1)


arrow_upward
6
arrow_downward

Спасибо за поддержку. я смог, наконец, прийти с решением. чего мне не хватало, так это использовать setPosition для byteBuffer после установки его байтов. Почему? Я не знаю! все, что я знаю, это то, что я попробовал это, и теперь это работает.

поэтому я отправляю весь буфер, который содержит байты_ для данных и position_ для... я думаю... длина или что-то в этом роде. поэтому после отправки буфера на стороне клиента я выполняю эти две команды:

var byteBuffer =new flatbuffers.ByteBuffer(buffer.bytes_);
byteBuffer.setPosition(buffer.position_);

если кто-нибудь может помочь здесь в предоставлении дополнительной информации о том, почему мне нужно это сделать, это было бы здорово :) в любом случае ... это работает, ура!

Обновить

Я открыл задачу на https://github.com/google/flatbuffers/issues/3781 и я получил ответ :)

Примеры есть в https://github.com/google/flatbuffers/blob/master/tests/JavaScriptTest.js. Чтобы сериализовать плоский буфер:

var fbb = new flatbuffers.Builder();
// ... build the flatbuffer ...
var uint8Array = fbb.asUint8Array();

Чтобы десериализовать плоский буфер:

var bb = new flatbuffers.ByteBuffer(uint8Array);
var drinks = MyAlcoholist.Drinks.getRootAsDrinks(bb);

Благодарность!

person ufk    schedule 20.02.2016