From 2b3497b3918c83bb464c71d97e13572a324faeef Mon Sep 17 00:00:00 2001 From: mgonzs13 Date: Tue, 7 Jan 2025 11:47:11 +0000 Subject: [PATCH] deploy: 6262e240b5d4c01f9d8fb2a5f9002f30f0f4ceb1 --- classllama__ros_1_1Llama-members.html | 6 +- classllama__ros_1_1Llama.html | 33 ++- classllava__ros_1_1Llava-members.html | 25 +- classllava__ros_1_1Llava.html | 90 ++++++- doxygen_crawl.html | 5 +- functions_e.html | 2 +- functions_func.html | 6 +- functions_l.html | 2 +- functions_r.html | 2 +- functions_s.html | 1 + functions_vars.html | 1 + llama_8hpp_source.html | 329 +++++++++++++------------- llava_8hpp_source.html | 76 +++--- search/all_12.js | 2 +- search/all_13.js | 9 +- search/all_6.js | 2 +- search/all_c.js | 2 +- search/functions_5.js | 2 +- search/functions_a.js | 2 +- search/functions_e.js | 2 +- search/variables_12.js | 5 +- 21 files changed, 357 insertions(+), 247 deletions(-) diff --git a/classllama__ros_1_1Llama-members.html b/classllama__ros_1_1Llama-members.html index 6dbef0b7..a6767172 100644 --- a/classllama__ros_1_1Llama-members.html +++ b/classllama__ros_1_1Llama-members.html @@ -99,7 +99,7 @@ canceledllama_ros::Llamaprotected ctxllama_ros::Llamaprotected detokenize(const std::vector< llama_token > &tokens)llama_ros::Llama - eval(std::vector< llama_token > tokens)llama_ros::Llamaprotected + eval(std::vector< llama_token > tokens)llama_ros::Llamaprotectedvirtual eval(struct llama_batch batch)llama_ros::Llamaprotected eval_prompt()llama_ros::Llamaprotectedvirtual eval_prompt(std::vector< llama_token > prompt_tokens)llama_ros::Llamaprotected @@ -131,7 +131,7 @@ is_embedding()llama_ros::Llamainline is_reranking()llama_ros::Llamainline list_loras()llama_ros::Llama - Llama(const struct common_params &params, std::string system_prompt="")llama_ros::Llama + Llama(const struct common_params &params, std::string system_prompt="", bool initial_reset=true)llama_ros::Llama llama_initllama_ros::Llamaprotected load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx)llama_ros::Llamaprotectedvirtual lora_adaptersllama_ros::Llamaprotected @@ -143,7 +143,7 @@ prompt_tokensllama_ros::Llamaprotected rank_document(const std::string &query, const std::string &document)llama_ros::Llama rank_documents(const std::string &query, const std::vector< std::string > &documents)llama_ros::Llama - reset()llama_ros::Llama + reset()llama_ros::Llamavirtual sample()llama_ros::Llamaprotected samplerllama_ros::Llamaprotected spinnerllama_ros::Llamaprotected diff --git a/classllama__ros_1_1Llama.html b/classllama__ros_1_1Llama.html index d610f711..c196bf2f 100644 --- a/classllama__ros_1_1Llama.html +++ b/classllama__ros_1_1Llama.html @@ -132,15 +132,15 @@ - - + + - + @@ -215,7 +215,7 @@ - + @@ -263,8 +263,8 @@

Public Member Functions

 Llama (const struct common_params &params, std::string system_prompt="")
 
 Llama (const struct common_params &params, std::string system_prompt="", bool initial_reset=true)
 
virtual ~Llama ()
 
std::vector< llama_token > tokenize (const std::string &text, bool add_bos, bool special=false)
 
std::string detokenize (const std::vector< llama_token > &tokens)
 
void reset ()
virtual void reset ()
 
void cancel ()
 
 
bool eval_token (llama_token token)
 
bool eval (std::vector< llama_token > tokens)
virtual bool eval (std::vector< llama_token > tokens)
 
bool eval (struct llama_batch batch)
 
 

Constructor & Destructor Documentation

- -

◆ Llama()

+ +

◆ Llama()

@@ -277,7 +277,12 @@

- std::string system_prompt = "" ) + std::string system_prompt = "", + + + + + bool initial_reset = true )

@@ -387,11 +392,13 @@

-protected +protectedvirtual

+

Reimplemented in llava_ros::Llava.

+
@@ -1207,6 +1214,9 @@

+ + + - - + + @@ -137,7 +137,7 @@ - + @@ -152,18 +152,19 @@ - + - - - - - - - - + + + + + + + + +
@@ -1215,8 +1225,15 @@

+virtual +

+
void Llama::reset
+

Reimplemented in llava_ros::Llava.

+
diff --git a/classllava__ros_1_1Llava-members.html b/classllava__ros_1_1Llava-members.html index 59772006..024cc36d 100644 --- a/classllava__ros_1_1Llava-members.html +++ b/classllava__ros_1_1Llava-members.html @@ -101,8 +101,8 @@
ctxllama_ros::Llamaprotected
ctx_clipllava_ros::Llavaprotected
detokenize(const std::vector< llama_token > &tokens)llama_ros::Llama
eval(std::vector< llama_token > tokens)llama_ros::Llamaprotected
eval(struct llama_batch batch)llama_ros::Llamaprotected
eval(std::vector< llama_token > tokens) overridellava_ros::Llavaprotectedvirtual
llama_ros::Llama::eval(struct llama_batch batch)llama_ros::Llamaprotected
eval_image(struct llava_image_embed *image_embed)llava_ros::Llavaprotected
eval_prompt()llava_ros::Llavaprotectedvirtual
llama_ros::Llama::eval_prompt(std::vector< llama_token > prompt_tokens)llama_ros::Llamaprotected
is_embedding()llama_ros::Llamainline
is_reranking()llama_ros::Llamainline
list_loras()llama_ros::Llama
Llama(const struct common_params &params, std::string system_prompt="")llama_ros::Llama
Llama(const struct common_params &params, std::string system_prompt="", bool initial_reset=true)llama_ros::Llama
llama_initllama_ros::Llamaprotected
Llava(const struct common_params &params, const struct LlavaParams &llava_params, std::string system_prompt="")llava_ros::Llava
llava_paramsllava_ros::Llavaprotected
prompt_tokensllama_ros::Llamaprotected
rank_document(const std::string &query, const std::string &document)llama_ros::Llama
rank_documents(const std::string &query, const std::vector< std::string > &documents)llama_ros::Llama
reset()llama_ros::Llama
reset() overridellava_ros::Llavavirtual
sample()llama_ros::Llamaprotected
samplerllama_ros::Llamaprotected
spinnerllama_ros::Llamaprotected
system_promptllama_ros::Llamaprotected
threadpoolllama_ros::Llamaprotected
threadpool_batchllama_ros::Llamaprotected
tokenize(const std::string &text, bool add_bos, bool special=false)llama_ros::Llama
truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true)llama_ros::Llama
update_loras(std::vector< struct LoRA > loras)llama_ros::Llama
~Llama()llama_ros::Llamavirtual
~Llava()llava_ros::Llava
st_pos_idllava_ros::Llavaprivate
system_promptllama_ros::Llamaprotected
threadpoolllama_ros::Llamaprotected
threadpool_batchllama_ros::Llamaprotected
tokenize(const std::string &text, bool add_bos, bool special=false)llama_ros::Llama
truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true)llama_ros::Llama
update_loras(std::vector< struct LoRA > loras)llama_ros::Llama
~Llama()llama_ros::Llamavirtual
~Llava()llava_ros::Llava
diff --git a/classllava__ros_1_1Llava.html b/classllava__ros_1_1Llava.html index bd6c10db..a3915685 100644 --- a/classllava__ros_1_1Llava.html +++ b/classllava__ros_1_1Llava.html @@ -142,21 +142,21 @@    ~Llava ()   +void reset () override +  bool load_image (std::string base64_str)   struct llava_image_embed * base64_image_to_embed (const std::string &base64_str)   - Public Member Functions inherited from llama_ros::Llama - Llama (const struct common_params &params, std::string system_prompt="") -  + Llama (const struct common_params &params, std::string system_prompt="", bool initial_reset=true) +  virtual ~Llama ()   std::vector< llama_token > tokenize (const std::string &text, bool add_bos, bool special=false)   std::string detokenize (const std::vector< llama_token > &tokens)   -void reset () -  void cancel ()   std::string format_chat_prompt (std::vector< struct common_chat_msg > chat_msgs, bool add_ass) @@ -222,6 +222,8 @@   bool eval_prompt ()   +bool eval (std::vector< llama_token > tokens) override +  - Protected Member Functions inherited from llama_ros::Llama StopType find_stop (std::vector< struct CompletionOutput > completion_result_list, std::vector< std::string > stopping_words)   @@ -233,8 +235,6 @@   bool eval_token (llama_token token)   -bool eval (std::vector< llama_token > tokens) -  bool eval (struct llama_batch batch)   std::vector< struct TokenProb > get_probs () @@ -291,6 +291,8 @@ Private Attributes

int image_pose   +int st_pos_id + 

Constructor & Destructor Documentation

@@ -352,6 +354,33 @@

+ + + +

◆ eval()

+ +
+
+ + + + + +
+ + + + + + + +
bool Llava::eval (std::vector< llama_token > tokens)
+ 		+overrideprotectedvirtual
+
+ +

Reimplemented from llama_ros::Llama.

+
@@ -482,6 +511,33 @@

llama_ros::Llama.

+ + + +

◆ reset()

+ +
+
+ + + + + +
+ + + + + + + +
void Llava::reset ()
+ 		+overridevirtual
+
+ +

Reimplemented from llama_ros::Llama.

+

Member Data Documentation

@@ -571,6 +627,28 @@

+ + + +

◆ st_pos_id

+ +
+
+ + + + + +
+ + + + +
int llava_ros::Llava::st_pos_id
+ 		+private
+
+
The documentation for this class was generated from the following files:
    diff --git a/doxygen_crawl.html b/doxygen_crawl.html index 13286e3e..e592b9fe 100644 --- a/doxygen_crawl.html +++ b/doxygen_crawl.html @@ -82,6 +82,7 @@ + @@ -93,7 +94,6 @@ - @@ -292,12 +292,15 @@ + + + diff --git a/functions_e.html b/functions_e.html index a26d2022..fd4039b9 100644 --- a/functions_e.html +++ b/functions_e.html @@ -92,7 +92,7 @@

    - e -

    • embedding_length : llama_ros::Metadata::ModelInfo
    • embeddings : llama_ros::EmbeddingsOuput
    • eos_token_id : llama_ros::Metadata::TokenizerInfo
      • -
    • eval() : llama_ros::Llama
      • +
    • eval() : llama_ros::Llama, llava_ros::Llava
    • eval_image() : llava_ros::Llava
    • eval_prompt() : llama_ros::Llama, llava_ros::Llava
    • eval_system_prompt() : llama_ros::Llama
      • diff --git a/functions_func.html b/functions_func.html index 721d0bcc..67575de9 100644 --- a/functions_func.html +++ b/functions_func.html @@ -132,7 +132,7 @@

      - d -

        - e -

        • embed_documents() : llama_ros.langchain.llama_ros_embeddings.LlamaROSEmbeddings
        • embed_query() : llama_ros.langchain.llama_ros_embeddings.LlamaROSEmbeddings
          • -
        • eval() : llama_ros::Llama
          • +
        • eval() : llama_ros::Llama, llava_ros::Llava
        • eval_image() : llava_ros::Llava
        • eval_prompt() : llama_ros::Llama, llava_ros::Llava
        • eval_system_prompt() : llama_ros::Llama
          • @@ -188,7 +188,7 @@

          - i -

            - l -

            • list_loras() : llama_ros::Llama
            • list_loras_service_callback() : llama_ros::LlamaNode
              • -
            • Llama() : llama_ros::Llama
              • +
            • Llama() : llama_ros::Llama
            • LlamaNode() : llama_ros::LlamaNode
            • Llava() : llava_ros::Llava
            • LlavaNode() : llava_ros::LlavaNode
              • @@ -217,7 +217,7 @@

              - r -

              diff --git a/functions_l.html b/functions_l.html index 5194df77..fb9992b2 100644 --- a/functions_l.html +++ b/functions_l.html @@ -96,7 +96,7 @@

              - l -

              • list_loras() : llama_ros::Llama
              • list_loras_service_ : llama_ros::LlamaNode
              • list_loras_service_callback() : llama_ros::LlamaNode
                • -
              • Llama() : llama_ros::Llama
                • +
              • Llama() : llama_ros::Llama
              • llama : llama_ros::LlamaNode
              • llama_client : llama_ros.langchain.llama_ros_common.LlamaROSCommon, llama_ros.langchain.llama_ros_embeddings.LlamaROSEmbeddings, llama_ros.langchain.llama_ros_reranker.LlamaROSReranker
              • llama_init : llama_ros::Llama
                • diff --git a/functions_r.html b/functions_r.html index 8b6e0f7d..3a3d425e 100644 --- a/functions_r.html +++ b/functions_r.html @@ -93,7 +93,7 @@

                - r -

                diff --git a/functions_s.html b/functions_s.html index cd26605c..57e7815d 100644 --- a/functions_s.html +++ b/functions_s.html @@ -103,6 +103,7 @@

                - s -

                diff --git a/functions_vars.html b/functions_vars.html index 2b2110db..832d49e0 100644 --- a/functions_vars.html +++ b/functions_vars.html @@ -302,6 +302,7 @@

                - s -

                diff --git a/llama_8hpp_source.html b/llama_8hpp_source.html index e5665bda..b5d9b764 100644 --- a/llama_8hpp_source.html +++ b/llama_8hpp_source.html @@ -285,174 +285,175 @@
                167using GenerateResponseCallback = std::function<void(struct CompletionOutput)>;
                168
                -
                169class Llama {
                +
                169class Llama {
                170
                171public:
                -
                172 Llama(const struct common_params &params, std::string system_prompt = "");
                -
                173 virtual ~Llama();
                -
                174
                -
                175 std::vector<llama_token> tokenize(const std::string &text, bool add_bos,
                -
                176 bool special = false);
                -
                177 std::string detokenize(const std::vector<llama_token> &tokens);
                -
                178
                -
                179 void reset();
                -
                180 void cancel();
                -
                181
                -
                182 std::string format_chat_prompt(std::vector<struct common_chat_msg> chat_msgs,
                -
                183 bool add_ass);
                -
                184 std::vector<struct LoRA> list_loras();
                -
                185 void update_loras(std::vector<struct LoRA> loras);
                -
                186
                -
                187 std::vector<llama_token>
                -
                188 truncate_tokens(const std::vector<llama_token> &tokens, int limit_size,
                -
                189 bool add_eos = true);
                -
                190 struct EmbeddingsOuput generate_embeddings(const std::string &input_prompt,
                -
                191 int normalization = 2);
                -
                192 struct EmbeddingsOuput
                -
                193 generate_embeddings(const std::vector<llama_token> &tokens,
                -
                194 int normalization = 2);
                -
                195 float rank_document(const std::string &query, const std::string &document);
                -
                196 std::vector<float> rank_documents(const std::string &query,
                -
                197 const std::vector<std::string> &documents);
                -
                198
                -
                199 struct ResponseOutput
                -
                200 generate_response(const std::string &input_prompt,
                -
                201 struct common_params_sampling sparams,
                -
                202 GenerateResponseCallback callbakc = nullptr,
                -
                203 std::vector<std::string> stop = {});
                -
                204 struct ResponseOutput
                -
                205 generate_response(const std::string &input_prompt,
                -
                206 GenerateResponseCallback callbakc = nullptr,
                -
                207 std::vector<std::string> stop = {});
                -
                208
                -
                209 const struct llama_context *get_ctx() { return this->ctx; }
                -
                210 const struct llama_model *get_model() { return this->model; }
                -
                211 int get_n_ctx() { return llama_n_ctx(this->ctx); }
                -
                212 int get_n_ctx_train() { return llama_n_ctx_train(this->model); }
                -
                213 int get_n_embd() { return llama_n_embd(this->model); }
                -
                214 int get_n_vocab() { return llama_n_vocab(this->model); }
                -
                215
                -
                216 std::string get_metadata(const std::string &key, size_t size);
                -
                217 std::string get_metadata(const std::string &model_name,
                -
                218 const std::string &key, size_t size);
                -
                219 int get_int_metadata(const std::string &key, size_t size);
                -
                220 int get_int_metadata(const std::string &model_name, const std::string &key,
                -
                221 size_t size);
                -
                222 float get_float_metadata(const std::string &key, size_t size);
                -
                223 float get_float_metadata(const std::string &model_name,
                -
                224 const std::string &key, size_t size);
                -
                225 struct Metadata get_metadata();
                -
                226
                -
                227 bool is_embedding() { return this->params.embedding; }
                -
                228 bool is_reranking() { return this->params.reranking; }
                -
                229 bool add_bos_token() { return llama_add_bos_token(this->model); }
                -
                230 llama_token get_token_eos() { return llama_token_eos(this->model); }
                -
                231
                -
                232protected:
                -
                233 struct common_params params;
                -
                234
                -
                235 // model
                -
                236 struct common_init_result llama_init;
                -
                237 struct llama_context *ctx;
                -
                238 struct llama_model *model;
                -
                239 std::vector<common_lora_adapter_info> lora_adapters;
                -
                240 struct common_sampler *sampler;
                -
                241 struct ggml_threadpool *threadpool;
                -
                242 struct ggml_threadpool *threadpool_batch;
                -
                243
                -
                244 // aux
                -
                245 std::string system_prompt;
                -
                246 bool canceled;
                -
                247 llama_utils::Spinner spinner;
                -
                248 std::vector<llama_token> prompt_tokens;
                -
                249
                -
                250 // eval
                -
                251 int32_t n_past;
                -
                252 int32_t n_consumed;
                -
                253 int32_t ga_i;
                -
                254
                -
                255 virtual void load_prompt(const std::string &input_prompt, bool add_pfx,
                -
                256 bool add_sfx);
                -
                257
                -
                258 StopType
                -
                259 find_stop(std::vector<struct CompletionOutput> completion_result_list,
                -
                260 std::vector<std::string> stopping_words);
                -
                261 StopType
                -
                262 find_stop_word(std::vector<struct CompletionOutput> completion_result_list,
                -
                263 std::string stopping_word);
                -
                264
                -
                265 bool eval_system_prompt();
                -
                266 virtual bool eval_prompt();
                -
                267 bool eval_prompt(std::vector<llama_token> prompt_tokens);
                -
                268 bool eval_token(llama_token token);
                -
                269 bool eval(std::vector<llama_token> tokens);
                -
                270 bool eval(struct llama_batch batch);
                -
                271
                -
                272 std::vector<struct TokenProb> get_probs();
                -
                273 struct CompletionOutput sample();
                -
                274
                -
                275private:
                -
                276 // lock
                -
                277 std::recursive_mutex mutex;
                -
                278};
                +
                172 Llama(const struct common_params &params, std::string system_prompt = "",
                +
                173 bool initial_reset = true);
                +
                174 virtual ~Llama();
                +
                175
                +
                176 std::vector<llama_token> tokenize(const std::string &text, bool add_bos,
                +
                177 bool special = false);
                +
                178 std::string detokenize(const std::vector<llama_token> &tokens);
                +
                179
                +
                180 virtual void reset();
                +
                181 void cancel();
                +
                182
                +
                183 std::string format_chat_prompt(std::vector<struct common_chat_msg> chat_msgs,
                +
                184 bool add_ass);
                +
                185 std::vector<struct LoRA> list_loras();
                +
                186 void update_loras(std::vector<struct LoRA> loras);
                +
                187
                +
                188 std::vector<llama_token>
                +
                189 truncate_tokens(const std::vector<llama_token> &tokens, int limit_size,
                +
                190 bool add_eos = true);
                +
                191 struct EmbeddingsOuput generate_embeddings(const std::string &input_prompt,
                +
                192 int normalization = 2);
                +
                193 struct EmbeddingsOuput
                +
                194 generate_embeddings(const std::vector<llama_token> &tokens,
                +
                195 int normalization = 2);
                +
                196 float rank_document(const std::string &query, const std::string &document);
                +
                197 std::vector<float> rank_documents(const std::string &query,
                +
                198 const std::vector<std::string> &documents);
                +
                199
                +
                200 struct ResponseOutput
                +
                201 generate_response(const std::string &input_prompt,
                +
                202 struct common_params_sampling sparams,
                +
                203 GenerateResponseCallback callbakc = nullptr,
                +
                204 std::vector<std::string> stop = {});
                +
                205 struct ResponseOutput
                +
                206 generate_response(const std::string &input_prompt,
                +
                207 GenerateResponseCallback callbakc = nullptr,
                +
                208 std::vector<std::string> stop = {});
                +
                209
                +
                210 const struct llama_context *get_ctx() { return this->ctx; }
                +
                211 const struct llama_model *get_model() { return this->model; }
                +
                212 int get_n_ctx() { return llama_n_ctx(this->ctx); }
                +
                213 int get_n_ctx_train() { return llama_n_ctx_train(this->model); }
                +
                214 int get_n_embd() { return llama_n_embd(this->model); }
                +
                215 int get_n_vocab() { return llama_n_vocab(this->model); }
                +
                216
                +
                217 std::string get_metadata(const std::string &key, size_t size);
                +
                218 std::string get_metadata(const std::string &model_name,
                +
                219 const std::string &key, size_t size);
                +
                220 int get_int_metadata(const std::string &key, size_t size);
                +
                221 int get_int_metadata(const std::string &model_name, const std::string &key,
                +
                222 size_t size);
                +
                223 float get_float_metadata(const std::string &key, size_t size);
                +
                224 float get_float_metadata(const std::string &model_name,
                +
                225 const std::string &key, size_t size);
                +
                226 struct Metadata get_metadata();
                +
                227
                +
                228 bool is_embedding() { return this->params.embedding; }
                +
                229 bool is_reranking() { return this->params.reranking; }
                +
                230 bool add_bos_token() { return llama_add_bos_token(this->model); }
                +
                231 llama_token get_token_eos() { return llama_token_eos(this->model); }
                +
                232
                +
                233protected:
                +
                234 struct common_params params;
                +
                235
                +
                236 // model
                +
                237 struct common_init_result llama_init;
                +
                238 struct llama_context *ctx;
                +
                239 struct llama_model *model;
                +
                240 std::vector<common_lora_adapter_info> lora_adapters;
                +
                241 struct common_sampler *sampler;
                +
                242 struct ggml_threadpool *threadpool;
                +
                243 struct ggml_threadpool *threadpool_batch;
                +
                244
                +
                245 // aux
                +
                246 std::string system_prompt;
                +
                247 bool canceled;
                +
                248 llama_utils::Spinner spinner;
                +
                249 std::vector<llama_token> prompt_tokens;
                +
                250
                +
                251 // eval
                +
                252 int32_t n_past;
                +
                253 int32_t n_consumed;
                +
                254 int32_t ga_i;
                +
                255
                +
                256 virtual void load_prompt(const std::string &input_prompt, bool add_pfx,
                +
                257 bool add_sfx);
                +
                258
                +
                259 StopType
                +
                260 find_stop(std::vector<struct CompletionOutput> completion_result_list,
                +
                261 std::vector<std::string> stopping_words);
                +
                262 StopType
                +
                263 find_stop_word(std::vector<struct CompletionOutput> completion_result_list,
                +
                264 std::string stopping_word);
                +
                265
                +
                266 bool eval_system_prompt();
                +
                267 virtual bool eval_prompt();
                +
                268 bool eval_prompt(std::vector<llama_token> prompt_tokens);
                +
                269 bool eval_token(llama_token token);
                +
                270 virtual bool eval(std::vector<llama_token> tokens);
                +
                271 bool eval(struct llama_batch batch);
                +
                272
                +
                273 std::vector<struct TokenProb> get_probs();
                +
                274 struct CompletionOutput sample();
                +
                275
                +
                276private:
                +
                277 // lock
                +
                278 std::recursive_mutex mutex;
                +
                279};
                -
                279
                -
                280} // namespace llama_ros
                +
                280
                +
                281} // namespace llama_ros
                -
                281
                -
                282#endif
                -
                llama_ros::Llama::find_stop
                StopType find_stop(std::vector< struct CompletionOutput > completion_result_list, std::vector< std::string > stopping_words)
                Definition llama.cpp:787
                -
                llama_ros::Llama::detokenize
                std::string detokenize(const std::vector< llama_token > &tokens)
                Definition llama.cpp:386
                -
                llama_ros::Llama::get_n_embd
                int get_n_embd()
                Definition llama.hpp:213
                -
                llama_ros::Llama::get_n_ctx
                int get_n_ctx()
                Definition llama.hpp:211
                -
                llama_ros::Llama::n_consumed
                int32_t n_consumed
                Definition llama.hpp:252
                -
                llama_ros::Llama::system_prompt
                std::string system_prompt
                Definition llama.hpp:245
                -
                llama_ros::Llama::ga_i
                int32_t ga_i
                Definition llama.hpp:253
                -
                llama_ros::Llama::get_metadata
                struct Metadata get_metadata()
                Definition llama.cpp:200
                -
                llama_ros::Llama::get_token_eos
                llama_token get_token_eos()
                Definition llama.hpp:230
                -
                llama_ros::Llama::generate_embeddings
                struct EmbeddingsOuput generate_embeddings(const std::string &input_prompt, int normalization=2)
                Definition llama.cpp:473
                -
                llama_ros::Llama::get_int_metadata
                int get_int_metadata(const std::string &key, size_t size)
                Definition llama.cpp:178
                -
                llama_ros::Llama::find_stop_word
                StopType find_stop_word(std::vector< struct CompletionOutput > completion_result_list, std::string stopping_word)
                Definition llama.cpp:860
                -
                llama_ros::Llama::sampler
                struct common_sampler * sampler
                Definition llama.hpp:240
                -
                llama_ros::Llama::tokenize
                std::vector< llama_token > tokenize(const std::string &text, bool add_bos, bool special=false)
                Definition llama.cpp:380
                -
                llama_ros::Llama::n_past
                int32_t n_past
                Definition llama.hpp:251
                -
                llama_ros::Llama::mutex
                std::recursive_mutex mutex
                Definition llama.hpp:277
                -
                llama_ros::Llama::cancel
                void cancel()
                Definition llama.cpp:398
                -
                llama_ros::Llama::Llama
                Llama(const struct common_params &params, std::string system_prompt="")
                Definition llama.cpp:37
                -
                llama_ros::Llama::is_embedding
                bool is_embedding()
                Definition llama.hpp:227
                -
                llama_ros::Llama::get_model
                const struct llama_model * get_model()
                Definition llama.hpp:210
                -
                llama_ros::Llama::threadpool_batch
                struct ggml_threadpool * threadpool_batch
                Definition llama.hpp:242
                -
                llama_ros::Llama::rank_documents
                std::vector< float > rank_documents(const std::string &query, const std::vector< std::string > &documents)
                Definition llama.cpp:529
                -
                llama_ros::Llama::get_n_vocab
                int get_n_vocab()
                Definition llama.hpp:214
                -
                llama_ros::Llama::reset
                void reset()
                Definition llama.cpp:348
                -
                llama_ros::Llama::get_float_metadata
                float get_float_metadata(const std::string &key, size_t size)
                Definition llama.cpp:189
                -
                llama_ros::Llama::canceled
                bool canceled
                Definition llama.hpp:246
                -
                llama_ros::Llama::truncate_tokens
                std::vector< llama_token > truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true)
                Definition llama.cpp:482
                -
                llama_ros::Llama::model
                struct llama_model * model
                Definition llama.hpp:238
                -
                llama_ros::Llama::load_prompt
                virtual void load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx)
                Definition llama.cpp:735
                -
                llama_ros::Llama::prompt_tokens
                std::vector< llama_token > prompt_tokens
                Definition llama.hpp:248
                -
                llama_ros::Llama::llama_init
                struct common_init_result llama_init
                Definition llama.hpp:236
                -
                llama_ros::Llama::eval_system_prompt
                bool eval_system_prompt()
                Definition llama.cpp:894
                -
                llama_ros::Llama::is_reranking
                bool is_reranking()
                Definition llama.hpp:228
                -
                llama_ros::Llama::params
                struct common_params params
                Definition llama.hpp:233
                -
                llama_ros::Llama::eval_prompt
                virtual bool eval_prompt()
                Definition llama.cpp:909
                -
                llama_ros::Llama::list_loras
                std::vector< struct LoRA > list_loras()
                Definition llama.cpp:563
                -
                llama_ros::Llama::add_bos_token
                bool add_bos_token()
                Definition llama.hpp:229
                -
                llama_ros::Llama::eval
                bool eval(std::vector< llama_token > tokens)
                Definition llama.cpp:940
                -
                llama_ros::Llama::eval_token
                bool eval_token(llama_token token)
                Definition llama.cpp:936
                -
                llama_ros::Llama::~Llama
                virtual ~Llama()
                Definition llama.cpp:131
                -
                llama_ros::Llama::spinner
                llama_utils::Spinner spinner
                Definition llama.hpp:247
                -
                llama_ros::Llama::update_loras
                void update_loras(std::vector< struct LoRA > loras)
                Definition llama.cpp:583
                -
                llama_ros::Llama::generate_response
                struct ResponseOutput generate_response(const std::string &input_prompt, struct common_params_sampling sparams, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={})
                Definition llama.cpp:629
                -
                llama_ros::Llama::get_ctx
                const struct llama_context * get_ctx()
                Definition llama.hpp:209
                -
                llama_ros::Llama::get_n_ctx_train
                int get_n_ctx_train()
                Definition llama.hpp:212
                -
                llama_ros::Llama::get_probs
                std::vector< struct TokenProb > get_probs()
                Definition llama.cpp:1031
                -
                llama_ros::Llama::ctx
                struct llama_context * ctx
                Definition llama.hpp:237
                -
                llama_ros::Llama::sample
                struct CompletionOutput sample()
                Definition llama.cpp:1048
                -
                llama_ros::Llama::lora_adapters
                std::vector< common_lora_adapter_info > lora_adapters
                Definition llama.hpp:239
                -
                llama_ros::Llama::format_chat_prompt
                std::string format_chat_prompt(std::vector< struct common_chat_msg > chat_msgs, bool add_ass)
                Definition llama.cpp:553
                -
                llama_ros::Llama::threadpool
                struct ggml_threadpool * threadpool
                Definition llama.hpp:241
                -
                llama_ros::Llama::rank_document
                float rank_document(const std::string &query, const std::string &document)
                Definition llama.cpp:506
                +
                282
                +
                283#endif
                +
                llama_ros::Llama::find_stop
                StopType find_stop(std::vector< struct CompletionOutput > completion_result_list, std::vector< std::string > stopping_words)
                Definition llama.cpp:790
                +
                llama_ros::Llama::detokenize
                std::string detokenize(const std::vector< llama_token > &tokens)
                Definition llama.cpp:389
                +
                llama_ros::Llama::get_n_embd
                int get_n_embd()
                Definition llama.hpp:214
                +
                llama_ros::Llama::get_n_ctx
                int get_n_ctx()
                Definition llama.hpp:212
                +
                llama_ros::Llama::n_consumed
                int32_t n_consumed
                Definition llama.hpp:253
                +
                llama_ros::Llama::system_prompt
                std::string system_prompt
                Definition llama.hpp:246
                +
                llama_ros::Llama::ga_i
                int32_t ga_i
                Definition llama.hpp:254
                +
                llama_ros::Llama::get_metadata
                struct Metadata get_metadata()
                Definition llama.cpp:235
                +
                llama_ros::Llama::get_token_eos
                llama_token get_token_eos()
                Definition llama.hpp:231
                +
                llama_ros::Llama::Llama
                Llama(const struct common_params &params, std::string system_prompt="", bool initial_reset=true)
                Definition llama.cpp:37
                +
                llama_ros::Llama::generate_embeddings
                struct EmbeddingsOuput generate_embeddings(const std::string &input_prompt, int normalization=2)
                Definition llama.cpp:476
                +
                llama_ros::Llama::get_int_metadata
                int get_int_metadata(const std::string &key, size_t size)
                Definition llama.cpp:213
                +
                llama_ros::Llama::find_stop_word
                StopType find_stop_word(std::vector< struct CompletionOutput > completion_result_list, std::string stopping_word)
                Definition llama.cpp:863
                +
                llama_ros::Llama::sampler
                struct common_sampler * sampler
                Definition llama.hpp:241
                +
                llama_ros::Llama::tokenize
                std::vector< llama_token > tokenize(const std::string &text, bool add_bos, bool special=false)
                Definition llama.cpp:383
                +
                llama_ros::Llama::n_past
                int32_t n_past
                Definition llama.hpp:252
                +
                llama_ros::Llama::mutex
                std::recursive_mutex mutex
                Definition llama.hpp:278
                +
                llama_ros::Llama::cancel
                void cancel()
                Definition llama.cpp:401
                +
                llama_ros::Llama::is_embedding
                bool is_embedding()
                Definition llama.hpp:228
                +
                llama_ros::Llama::get_model
                const struct llama_model * get_model()
                Definition llama.hpp:211
                +
                llama_ros::Llama::threadpool_batch
                struct ggml_threadpool * threadpool_batch
                Definition llama.hpp:243
                +
                llama_ros::Llama::rank_documents
                std::vector< float > rank_documents(const std::string &query, const std::vector< std::string > &documents)
                Definition llama.cpp:532
                +
                llama_ros::Llama::get_n_vocab
                int get_n_vocab()
                Definition llama.hpp:215
                +
                llama_ros::Llama::reset
                virtual void reset()
                Definition llama.cpp:160
                +
                llama_ros::Llama::get_float_metadata
                float get_float_metadata(const std::string &key, size_t size)
                Definition llama.cpp:224
                +
                llama_ros::Llama::canceled
                bool canceled
                Definition llama.hpp:247
                +
                llama_ros::Llama::truncate_tokens
                std::vector< llama_token > truncate_tokens(const std::vector< llama_token > &tokens, int limit_size, bool add_eos=true)
                Definition llama.cpp:485
                +
                llama_ros::Llama::model
                struct llama_model * model
                Definition llama.hpp:239
                +
                llama_ros::Llama::load_prompt
                virtual void load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx)
                Definition llama.cpp:738
                +
                llama_ros::Llama::prompt_tokens
                std::vector< llama_token > prompt_tokens
                Definition llama.hpp:249
                +
                llama_ros::Llama::llama_init
                struct common_init_result llama_init
                Definition llama.hpp:237
                +
                llama_ros::Llama::eval_system_prompt
                bool eval_system_prompt()
                Definition llama.cpp:897
                +
                llama_ros::Llama::is_reranking
                bool is_reranking()
                Definition llama.hpp:229
                +
                llama_ros::Llama::params
                struct common_params params
                Definition llama.hpp:234
                +
                llama_ros::Llama::eval_prompt
                virtual bool eval_prompt()
                Definition llama.cpp:912
                +
                llama_ros::Llama::list_loras
                std::vector< struct LoRA > list_loras()
                Definition llama.cpp:566
                +
                llama_ros::Llama::add_bos_token
                bool add_bos_token()
                Definition llama.hpp:230
                +
                llama_ros::Llama::eval
                virtual bool eval(std::vector< llama_token > tokens)
                Definition llama.cpp:944
                +
                llama_ros::Llama::eval_token
                bool eval_token(llama_token token)
                Definition llama.cpp:940
                +
                llama_ros::Llama::~Llama
                virtual ~Llama()
                Definition llama.cpp:134
                +
                llama_ros::Llama::spinner
                llama_utils::Spinner spinner
                Definition llama.hpp:248
                +
                llama_ros::Llama::update_loras
                void update_loras(std::vector< struct LoRA > loras)
                Definition llama.cpp:586
                +
                llama_ros::Llama::generate_response
                struct ResponseOutput generate_response(const std::string &input_prompt, struct common_params_sampling sparams, GenerateResponseCallback callbakc=nullptr, std::vector< std::string > stop={})
                Definition llama.cpp:632
                +
                llama_ros::Llama::get_ctx
                const struct llama_context * get_ctx()
                Definition llama.hpp:210
                +
                llama_ros::Llama::get_n_ctx_train
                int get_n_ctx_train()
                Definition llama.hpp:213
                +
                llama_ros::Llama::get_probs
                std::vector< struct TokenProb > get_probs()
                Definition llama.cpp:1035
                +
                llama_ros::Llama::ctx
                struct llama_context * ctx
                Definition llama.hpp:238
                +
                llama_ros::Llama::sample
                struct CompletionOutput sample()
                Definition llama.cpp:1052
                +
                llama_ros::Llama::lora_adapters
                std::vector< common_lora_adapter_info > lora_adapters
                Definition llama.hpp:240
                +
                llama_ros::Llama::format_chat_prompt
                std::string format_chat_prompt(std::vector< struct common_chat_msg > chat_msgs, bool add_ass)
                Definition llama.cpp:556
                +
                llama_ros::Llama::threadpool
                struct ggml_threadpool * threadpool
                Definition llama.hpp:242
                +
                llama_ros::Llama::rank_document
                float rank_document(const std::string &query, const std::string &document)
                Definition llama.cpp:509
                llama_utils::Spinner
                Definition spinner.hpp:31
                llama_ros
                Definition llama.hpp:40
                llama_ros::GenerateResponseCallback
                std::function< void(struct CompletionOutput)> GenerateResponseCallback
                Definition llama.hpp:167
                diff --git a/llava_8hpp_source.html b/llava_8hpp_source.html index 4760de49..2bede218 100644 --- a/llava_8hpp_source.html +++ b/llava_8hpp_source.html @@ -147,45 +147,51 @@
                50 const struct LlavaParams &llava_params, std::string system_prompt = "");
                51 ~Llava();
                52
                -
                53 bool load_image(std::string base64_str);
                -
                54 struct llava_image_embed *
                -
                55 base64_image_to_embed(const std::string &base64_str);
                -
                56
                -
                57protected:
                -
                58 void load_prompt(const std::string &input_prompt, bool add_pfx,
                -
                59 bool add_sfx) override;
                -
                60 bool eval_image(struct llava_image_embed *image_embed);
                -
                61 bool eval_prompt();
                -
                62
                -
                63 struct llava_image_embed *image_embed;
                -
                64 struct clip_ctx *ctx_clip;
                -
                65 struct LlavaParams llava_params;
                -
                66
                -
                67private:
                -
                68 void free_image();
                -
                69 int image_pose;
                -
                70};
                +
                53 void reset() override;
                +
                54 bool load_image(std::string base64_str);
                +
                55 struct llava_image_embed *
                +
                56 base64_image_to_embed(const std::string &base64_str);
                +
                57
                +
                58protected:
                +
                59 void load_prompt(const std::string &input_prompt, bool add_pfx,
                +
                60 bool add_sfx) override;
                +
                61 bool eval_image(struct llava_image_embed *image_embed);
                +
                62 bool eval_prompt();
                +
                63 bool eval(std::vector<llama_token> tokens) override;
                +
                64
                +
                65 struct llava_image_embed *image_embed;
                +
                66 struct clip_ctx *ctx_clip;
                +
                67 struct LlavaParams llava_params;
                +
                68
                +
                69private:
                +
                70 void free_image();
                +
                71 int image_pose;
                +
                72 int st_pos_id;
                +
                73};
                -
                71
                -
                72} // namespace llava_ros
                +
                74
                +
                75} // namespace llava_ros
                -
                73
                -
                74#endif
                +
                76
                +
                77#endif
                llama_ros::Llama
                Definition llama.hpp:169
                -
                llama_ros::Llama::system_prompt
                std::string system_prompt
                Definition llama.hpp:245
                -
                llama_ros::Llama::params
                struct common_params params
                Definition llama.hpp:233
                -
                llava_ros::Llava::llava_params
                struct LlavaParams llava_params
                Definition llava.hpp:65
                -
                llava_ros::Llava::image_embed
                struct llava_image_embed * image_embed
                Definition llava.hpp:63
                -
                llava_ros::Llava::load_image
                bool load_image(std::string base64_str)
                Definition llava.cpp:102
                -
                llava_ros::Llava::eval_image
                bool eval_image(struct llava_image_embed *image_embed)
                Definition llava.cpp:148
                -
                llava_ros::Llava::free_image
                void free_image()
                Definition llava.cpp:117
                -
                llava_ros::Llava::ctx_clip
                struct clip_ctx * ctx_clip
                Definition llava.hpp:64
                -
                llava_ros::Llava::~Llava
                ~Llava()
                Definition llava.cpp:45
                -
                llava_ros::Llava::eval_prompt
                bool eval_prompt()
                Definition llava.cpp:182
                -
                llava_ros::Llava::load_prompt
                void load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx) override
                Definition llava.cpp:55
                +
                llama_ros::Llama::system_prompt
                std::string system_prompt
                Definition llama.hpp:246
                +
                llama_ros::Llama::params
                struct common_params params
                Definition llama.hpp:234
                +
                llava_ros::Llava::llava_params
                struct LlavaParams llava_params
                Definition llava.hpp:67
                +
                llava_ros::Llava::eval
                bool eval(std::vector< llama_token > tokens) override
                Definition llava.cpp:268
                +
                llava_ros::Llava::image_embed
                struct llava_image_embed * image_embed
                Definition llava.hpp:65
                +
                llava_ros::Llava::load_image
                bool load_image(std::string base64_str)
                Definition llava.cpp:115
                +
                llava_ros::Llava::eval_image
                bool eval_image(struct llava_image_embed *image_embed)
                Definition llava.cpp:161
                +
                llava_ros::Llava::reset
                void reset() override
                Definition llava.cpp:56
                +
                llava_ros::Llava::free_image
                void free_image()
                Definition llava.cpp:130
                +
                llava_ros::Llava::ctx_clip
                struct clip_ctx * ctx_clip
                Definition llava.hpp:66
                +
                llava_ros::Llava::~Llava
                ~Llava()
                Definition llava.cpp:49
                +
                llava_ros::Llava::st_pos_id
                int st_pos_id
                Definition llava.hpp:72
                +
                llava_ros::Llava::eval_prompt
                bool eval_prompt()
                Definition llava.cpp:234
                +
                llava_ros::Llava::load_prompt
                void load_prompt(const std::string &input_prompt, bool add_pfx, bool add_sfx) override
                Definition llava.cpp:68
                llava_ros::Llava::Llava
                Llava(const struct common_params &params, const struct LlavaParams &llava_params, std::string system_prompt="")
                Definition llava.cpp:35
                -
                llava_ros::Llava::base64_image_to_embed
                struct llava_image_embed * base64_image_to_embed(const std::string &base64_str)
                Definition llava.cpp:125
                -
                llava_ros::Llava::image_pose
                int image_pose
                Definition llava.hpp:69
                +
                llava_ros::Llava::base64_image_to_embed
                struct llava_image_embed * base64_image_to_embed(const std::string &base64_str)
                Definition llava.cpp:138
                +
                llava_ros::Llava::image_pose
                int image_pose
                Definition llava.hpp:71
                llava_ros
                Definition llava.hpp:38
                llava_ros::LlavaParams
                Definition llava.hpp:40
                diff --git a/search/all_12.js b/search/all_12.js index 5635eddc..2489b613 100644 --- a/search/all_12.js +++ b/search/all_12.js @@ -18,7 +18,7 @@ var searchData= ['reranker_15',['llama_ros (LLM + RAG + Reranker)',['../index.html#autotoc_md28',1,'']]], ['reranking_20demo_16',['Reranking Demo',['../index.html#autotoc_md33',1,'']]], ['reranking_20stream_17',['Full Demo (LLM + chat template + RAG + Reranking + Stream)',['../index.html#autotoc_md36',1,'']]], - ['reset_18',['reset',['../classllama__ros_1_1Llama.html#a7c2cd8a9a1361837e6f7661a4f63910c',1,'llama_ros::Llama']]], + ['reset_18',['reset',['../classllama__ros_1_1Llama.html#a7c2cd8a9a1361837e6f7661a4f63910c',1,'llama_ros::Llama::reset()'],['../classllava__ros_1_1Llava.html#a5708e11372b049375bd981443d2d8ac9',1,'llava_ros::Llava::reset()']]], ['response_19',['Generate Response',['../index.html#autotoc_md20',1,'']]], ['response_20llava_20',['Generate Response (llava)',['../index.html#autotoc_md21',1,'']]], ['responseoutput_21',['ResponseOutput',['../structllama__ros_1_1ResponseOutput.html',1,'llama_ros']]], diff --git a/search/all_13.js b/search/all_13.js index fede986a..3156e42f 100644 --- a/search/all_13.js +++ b/search/all_13.js @@ -26,8 +26,9 @@ var searchData= ['spinner_23',['spinner',['../classllama__ros_1_1Llama.html#ac5758af17e629830eb7dad343115f93b',1,'llama_ros::Llama::spinner'],['../classllama__utils_1_1Spinner.html#ab51213c449e3926314d35d8c7183863e',1,'llama_utils::Spinner::spinner']]], ['spinner_2ehpp_24',['spinner.hpp',['../spinner_8hpp.html',1,'']]], ['splits_25',['splits',['../namespacellama__demos_1_1llama__rag__demo__node.html#a34fb77601e84c7dec99c9fb16734d55a',1,'llama_demos::llama_rag_demo_node']]], - ['stop_26',['stop',['../structllama__ros_1_1ResponseOutput.html#a2b4cf7d6cb0d2d5a02c3b605fe5e7729',1,'llama_ros::ResponseOutput']]], - ['stoptype_27',['StopType',['../namespacellama__ros.html#aa0ac7656a188e47404db8ced957790d0',1,'llama_ros']]], - ['stream_28',['Stream',['../index.html#autotoc_md36',1,'Full Demo (LLM + chat template + RAG + Reranking + Stream)'],['../index.html#autotoc_md24',1,'llama_ros (Stream)']]], - ['system_5fprompt_29',['system_prompt',['../classllama__ros_1_1Llama.html#a2159f2355b8f059933f59d1138e1d3c2',1,'llama_ros::Llama::system_prompt'],['../structllama__utils_1_1LlamaParams.html#a89a676517fb802fced98ede2c3796a01',1,'llama_utils::LlamaParams::system_prompt']]] + ['st_5fpos_5fid_26',['st_pos_id',['../classllava__ros_1_1Llava.html#a818a8f591e619f89aa77241742578aa9',1,'llava_ros::Llava']]], + ['stop_27',['stop',['../structllama__ros_1_1ResponseOutput.html#a2b4cf7d6cb0d2d5a02c3b605fe5e7729',1,'llama_ros::ResponseOutput']]], + ['stoptype_28',['StopType',['../namespacellama__ros.html#aa0ac7656a188e47404db8ced957790d0',1,'llama_ros']]], + ['stream_29',['Stream',['../index.html#autotoc_md36',1,'Full Demo (LLM + chat template + RAG + Reranking + Stream)'],['../index.html#autotoc_md24',1,'llama_ros (Stream)']]], + ['system_5fprompt_30',['system_prompt',['../classllama__ros_1_1Llama.html#a2159f2355b8f059933f59d1138e1d3c2',1,'llama_ros::Llama::system_prompt'],['../structllama__utils_1_1LlamaParams.html#a89a676517fb802fced98ede2c3796a01',1,'llama_utils::LlamaParams::system_prompt']]] ]; diff --git a/search/all_6.js b/search/all_6.js index 6a273265..be21f77f 100644 --- a/search/all_6.js +++ b/search/all_6.js @@ -11,7 +11,7 @@ var searchData= ['entry_5fpoints_8',['entry_points',['../namespacesetup.html#ada7058afc98897f073d3f3b8b9157059',1,'setup']]], ['eos_5ftoken_5fid_9',['eos_token_id',['../structllama__ros_1_1Metadata_1_1TokenizerInfo.html#a0893a43ad19ca68221d909a35be54ca1',1,'llama_ros::Metadata::TokenizerInfo']]], ['error_10',['ERROR',['../namespacellama__utils.html#a386024dced31ce4ae6a2bb5e0b97fefda1029b57592d6b0f89d84cafcba4079d9',1,'llama_utils']]], - ['eval_11',['eval',['../classllama__ros_1_1Llama.html#ab41df18b60dc8bac07cc1ae306082f10',1,'llama_ros::Llama::eval(std::vector< llama_token > tokens)'],['../classllama__ros_1_1Llama.html#a8a16e099f81537e166018abd08df63e3',1,'llama_ros::Llama::eval(struct llama_batch batch)']]], + ['eval_11',['eval',['../classllama__ros_1_1Llama.html#ab41df18b60dc8bac07cc1ae306082f10',1,'llama_ros::Llama::eval(std::vector< llama_token > tokens)'],['../classllama__ros_1_1Llama.html#a8a16e099f81537e166018abd08df63e3',1,'llama_ros::Llama::eval(struct llama_batch batch)'],['../classllava__ros_1_1Llava.html#a1629b8fcd0726b58467d7aee7687b849',1,'llava_ros::Llava::eval(std::vector< llama_token > tokens) override']]], ['eval_5fimage_12',['eval_image',['../classllava__ros_1_1Llava.html#a5116423210df12eeaa0c07d9cda72f76',1,'llava_ros::Llava']]], ['eval_5fprompt_13',['eval_prompt',['../classllama__ros_1_1Llama.html#a9de8440b62c2e93c03a0453e6c8c2f3d',1,'llama_ros::Llama::eval_prompt()'],['../classllama__ros_1_1Llama.html#a04b5be2cefb14b0e824d47ae432ea720',1,'llama_ros::Llama::eval_prompt(std::vector< llama_token > prompt_tokens)'],['../classllava__ros_1_1Llava.html#a9f815d7b2bc9312644f18ce859fe27fc',1,'llava_ros::Llava::eval_prompt()']]], ['eval_5fsystem_5fprompt_14',['eval_system_prompt',['../classllama__ros_1_1Llama.html#a9791d8dcd3c72b3159fb3e968d739c61',1,'llama_ros::Llama']]], diff --git a/search/all_c.js b/search/all_c.js index 402efb9e..969bfc90 100644 --- a/search/all_c.js +++ b/search/all_c.js @@ -16,7 +16,7 @@ var searchData= ['list_5floras_13',['list_loras',['../classllama__ros_1_1Llama.html#aa17aaf9615a03f65ead934cd8a3c33e0',1,'llama_ros::Llama']]], ['list_5floras_5fservice_5f_14',['list_loras_service_',['../classllama__ros_1_1LlamaNode.html#ae48613d70306d3100ea7d332b0a5040c',1,'llama_ros::LlamaNode']]], ['list_5floras_5fservice_5fcallback_15',['list_loras_service_callback',['../classllama__ros_1_1LlamaNode.html#a5a79bd20864384f74c8d6faa9a8d2386',1,'llama_ros::LlamaNode']]], - ['llama_16',['Llama',['../classllama__ros_1_1Llama.html',1,'llama_ros::Llama'],['../classllama__ros_1_1Llama.html#a67b1d1838dc98f67c03051cc2067b290',1,'llama_ros::Llama::Llama()']]], + ['llama_16',['Llama',['../classllama__ros_1_1Llama.html',1,'llama_ros::Llama'],['../classllama__ros_1_1Llama.html#a36707047a228c3a9278337b1426938c3',1,'llama_ros::Llama::Llama()']]], ['llama_17',['llama',['../classllama__ros_1_1LlamaNode.html#add09929e4bb019eac008da2bdd4b8427',1,'llama_ros::LlamaNode']]], ['llama_2ecpp_18',['llama.cpp',['../llama_8cpp.html',1,'']]], ['llama_2ehpp_19',['llama.hpp',['../llama_8hpp.html',1,'']]], diff --git a/search/functions_5.js b/search/functions_5.js index 4715811d..0ce0bcbf 100644 --- a/search/functions_5.js +++ b/search/functions_5.js @@ -2,7 +2,7 @@ var searchData= [ ['embed_5fdocuments_0',['embed_documents',['../classllama__ros_1_1langchain_1_1llama__ros__embeddings_1_1LlamaROSEmbeddings.html#a2f2f921bef86561a6f52e83edc4fc50c',1,'llama_ros::langchain::llama_ros_embeddings::LlamaROSEmbeddings']]], ['embed_5fquery_1',['embed_query',['../classllama__ros_1_1langchain_1_1llama__ros__embeddings_1_1LlamaROSEmbeddings.html#a6af644d86edae69a1e59f72ef84726e9',1,'llama_ros::langchain::llama_ros_embeddings::LlamaROSEmbeddings']]], - ['eval_2',['eval',['../classllama__ros_1_1Llama.html#ab41df18b60dc8bac07cc1ae306082f10',1,'llama_ros::Llama::eval(std::vector< llama_token > tokens)'],['../classllama__ros_1_1Llama.html#a8a16e099f81537e166018abd08df63e3',1,'llama_ros::Llama::eval(struct llama_batch batch)']]], + ['eval_2',['eval',['../classllama__ros_1_1Llama.html#ab41df18b60dc8bac07cc1ae306082f10',1,'llama_ros::Llama::eval(std::vector< llama_token > tokens)'],['../classllama__ros_1_1Llama.html#a8a16e099f81537e166018abd08df63e3',1,'llama_ros::Llama::eval(struct llama_batch batch)'],['../classllava__ros_1_1Llava.html#a1629b8fcd0726b58467d7aee7687b849',1,'llava_ros::Llava::eval(std::vector< llama_token > tokens) override']]], ['eval_5fimage_3',['eval_image',['../classllava__ros_1_1Llava.html#a5116423210df12eeaa0c07d9cda72f76',1,'llava_ros::Llava']]], ['eval_5fprompt_4',['eval_prompt',['../classllama__ros_1_1Llama.html#a9de8440b62c2e93c03a0453e6c8c2f3d',1,'llama_ros::Llama::eval_prompt()'],['../classllama__ros_1_1Llama.html#a04b5be2cefb14b0e824d47ae432ea720',1,'llama_ros::Llama::eval_prompt(std::vector< llama_token > prompt_tokens)'],['../classllava__ros_1_1Llava.html#a9f815d7b2bc9312644f18ce859fe27fc',1,'llava_ros::Llava::eval_prompt()']]], ['eval_5fsystem_5fprompt_5',['eval_system_prompt',['../classllama__ros_1_1Llama.html#a9791d8dcd3c72b3159fb3e968d739c61',1,'llama_ros::Llama']]], diff --git a/search/functions_a.js b/search/functions_a.js index ea52cdaa..eef1910d 100644 --- a/search/functions_a.js +++ b/search/functions_a.js @@ -3,7 +3,7 @@ var searchData= ['launch_5fllm_0',['launch_llm',['../namespacellama__cli_1_1api.html#ad208ac7099874aa35e0670e6237fe312',1,'llama_cli::api']]], ['list_5floras_1',['list_loras',['../classllama__ros_1_1Llama.html#aa17aaf9615a03f65ead934cd8a3c33e0',1,'llama_ros::Llama']]], ['list_5floras_5fservice_5fcallback_2',['list_loras_service_callback',['../classllama__ros_1_1LlamaNode.html#a5a79bd20864384f74c8d6faa9a8d2386',1,'llama_ros::LlamaNode']]], - ['llama_3',['Llama',['../classllama__ros_1_1Llama.html#a67b1d1838dc98f67c03051cc2067b290',1,'llama_ros::Llama']]], + ['llama_3',['Llama',['../classllama__ros_1_1Llama.html#a36707047a228c3a9278337b1426938c3',1,'llama_ros::Llama']]], ['llamanode_4',['LlamaNode',['../classllama__ros_1_1LlamaNode.html#adc90c82214422e4d5c11bfc480e5ff93',1,'llama_ros::LlamaNode']]], ['llava_5',['Llava',['../classllava__ros_1_1Llava.html#ad19043ea9fed380a9e9b8e7bbbe8393c',1,'llava_ros::Llava']]], ['llavanode_6',['LlavaNode',['../classllava__ros_1_1LlavaNode.html#aeeaefad9b9adeebe6d58e668693f21e4',1,'llava_ros::LlavaNode']]], diff --git a/search/functions_e.js b/search/functions_e.js index 58529819..4f7bf3c1 100644 --- a/search/functions_e.js +++ b/search/functions_e.js @@ -5,5 +5,5 @@ var searchData= ['replace_5fall_2',['replace_all',['../llama__params_8cpp.html#a6022dd052437b9f97f6c1ffc13f5e518',1,'llama_params.cpp']]], ['rerank_5fdocuments_3',['rerank_documents',['../classllama__ros_1_1llama__client__node_1_1LlamaClientNode.html#a14d2cbeae980c6811349e5c946f5a452',1,'llama_ros::llama_client_node::LlamaClientNode']]], ['rerank_5fdocuments_5fservice_5fcallback_4',['rerank_documents_service_callback',['../classllama__ros_1_1LlamaNode.html#a1cf41258ed6f008022420773eb208c61',1,'llama_ros::LlamaNode']]], - ['reset_5',['reset',['../classllama__ros_1_1Llama.html#a7c2cd8a9a1361837e6f7661a4f63910c',1,'llama_ros::Llama']]] + ['reset_5',['reset',['../classllama__ros_1_1Llama.html#a7c2cd8a9a1361837e6f7661a4f63910c',1,'llama_ros::Llama::reset()'],['../classllava__ros_1_1Llava.html#a5708e11372b049375bd981443d2d8ac9',1,'llava_ros::Llava::reset()']]] ]; diff --git a/search/variables_12.js b/search/variables_12.js index 489989aa..54239e6c 100644 --- a/search/variables_12.js +++ b/search/variables_12.js @@ -13,6 +13,7 @@ var searchData= ['size_5flabel_10',['size_label',['../structllama__ros_1_1Metadata_1_1GeneralInfo.html#a06e4db77275f710862e0976e88cdb3bc',1,'llama_ros::Metadata::GeneralInfo']]], ['spinner_11',['spinner',['../classllama__ros_1_1Llama.html#ac5758af17e629830eb7dad343115f93b',1,'llama_ros::Llama::spinner'],['../classllama__utils_1_1Spinner.html#ab51213c449e3926314d35d8c7183863e',1,'llama_utils::Spinner::spinner']]], ['splits_12',['splits',['../namespacellama__demos_1_1llama__rag__demo__node.html#a34fb77601e84c7dec99c9fb16734d55a',1,'llama_demos::llama_rag_demo_node']]], - ['stop_13',['stop',['../structllama__ros_1_1ResponseOutput.html#a2b4cf7d6cb0d2d5a02c3b605fe5e7729',1,'llama_ros::ResponseOutput']]], - ['system_5fprompt_14',['system_prompt',['../classllama__ros_1_1Llama.html#a2159f2355b8f059933f59d1138e1d3c2',1,'llama_ros::Llama::system_prompt'],['../structllama__utils_1_1LlamaParams.html#a89a676517fb802fced98ede2c3796a01',1,'llama_utils::LlamaParams::system_prompt']]] + ['st_5fpos_5fid_13',['st_pos_id',['../classllava__ros_1_1Llava.html#a818a8f591e619f89aa77241742578aa9',1,'llava_ros::Llava']]], + ['stop_14',['stop',['../structllama__ros_1_1ResponseOutput.html#a2b4cf7d6cb0d2d5a02c3b605fe5e7729',1,'llama_ros::ResponseOutput']]], + ['system_5fprompt_15',['system_prompt',['../classllama__ros_1_1Llama.html#a2159f2355b8f059933f59d1138e1d3c2',1,'llama_ros::Llama::system_prompt'],['../structllama__utils_1_1LlamaParams.html#a89a676517fb802fced98ede2c3796a01',1,'llama_utils::LlamaParams::system_prompt']]] ];