Skip to content

Commit 62a9e6e

Browse files
Milvus-doc-botMilvus-doc-bot
Milvus-doc-bot
authored and
Milvus-doc-bot
committed
Generate en docs
1 parent 461494c commit 62a9e6e

File tree

316 files changed

+18884
-932
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

316 files changed

+18884
-932
lines changed

localization/v2.5.x/site/ar/menuStructure/ar.json

Lines changed: 12 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -607,6 +607,12 @@
607607
"children": []
608608
}
609609
]
610+
},
611+
{
612+
"label": "محللون متعددو اللغات",
613+
"id": "multi-language-analyzers.md",
614+
"order": 4,
615+
"children": []
610616
}
611617
]
612618
},
@@ -941,12 +947,6 @@
941947
"id": "embed-with-gemini.md",
942948
"order": 14,
943949
"children": []
944-
},
945-
{
946-
"label": "تضمينأي شيء",
947-
"id": "build_RAG_with_milvus_and_embedAnything.md",
948-
"order": 15,
949-
"children": []
950950
}
951951
]
952952
},
@@ -2020,6 +2020,12 @@
20202020
"id": "integrate_with_bentoml.md",
20212021
"order": 5,
20222022
"children": []
2023+
},
2024+
{
2025+
"label": "تضمينأي شيء",
2026+
"id": "build_RAG_with_milvus_and_embedAnything.md",
2027+
"order": 15,
2028+
"children": []
20232029
}
20242030
]
20252031
},

localization/v2.5.x/site/ar/tutorials/use_ColPali_with_milvus.md

Lines changed: 3 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
---
22
id: use_ColPali_with_milvus.md
33
summary: >-
4-
في هذا الدفتر، نشير إلى هذا النوع من التمثيل متعدد النواقل باسم "تضمينات
4+
في هذا الدفتر، نشير إلى هذا النوع من التمثيل متعدد المتجهات باسم "تضمينات
55
ColBERT" من أجل التعميم. ومع ذلك، فإن النموذج الفعلي المستخدم هو نموذج
66
ColPali. سنوضح كيفية استخدام ميلفوس لاسترجاع متعدد المتجهات. بناءً على ذلك،
77
سنقدم كيفية استخدام ColPali لاسترجاع الصفحات بناءً على استعلام معين.
@@ -31,12 +31,12 @@ title: استخدام كولبالي للاسترجاع متعدد الوسائ
3131
</button></h1><p>تستخدم نماذج الاسترجاع الحديثة عادةً تضمينًا واحدًا لتمثيل النص أو الصور. ومع ذلك، فإن ColBERT هو نموذج عصبي يستخدم قائمة من التضمينات لكل مثيل بيانات ويستخدم عملية "MaxSim" لحساب التشابه بين نصين. بالإضافة إلى البيانات النصية، تحتوي الأشكال والجداول والرسوم البيانية أيضًا على معلومات غنية، والتي غالبًا ما يتم تجاهلها في استرجاع المعلومات المستندة إلى النصوص.</p>
3232
<p>
3333
<span class="img-wrapper">
34-
<img translate="no" src="/docs/v2.5.x/images/colpali_formula.png" alt="" class="doc-image" id="" />
34+
<img translate="no" src="/docs/v2.5.x/assets/colpali_formula.png" alt="" class="doc-image" id="" />
3535
<span></span>
3636
</span>
3737
</p>
3838
<p>تقارن دالة MaxSim استعلامًا مع مستند (ما تبحث فيه) من خلال النظر في تضمينات الرموز المميزة الخاصة بهما. لكل كلمة في الاستعلام، تقوم باختيار الكلمة الأكثر تشابهًا من المستند (باستخدام تشابه جيب التمام أو مسافة L2 المربعة) وتجمع أوجه التشابه القصوى هذه عبر جميع الكلمات في الاستعلام</p>
39-
<p>ColPali هي طريقة تجمع بين تمثيل ColBERT متعدد المتجهات مع PaliGemma (نموذج لغوي كبير متعدد الوسائط) للاستفادة من قدرات الفهم القوية. يتيح هذا النهج تمثيل صفحة تحتوي على كل من النص والصور باستخدام تضمين موحد متعدد المتجهات. يمكن للتضمينات داخل هذا التمثيل متعدد النواقل أن تلتقط معلومات مفصلة، مما يحسّن أداء التوليد المعزز للاسترجاع (RAG) للبيانات متعددة الوسائط.</p>
39+
<p>ColPali هي طريقة تجمع بين تمثيل ColBERT متعدد المتجهات مع PaliGemma (نموذج لغوي كبير متعدد الوسائط) للاستفادة من قدرات الفهم القوية. يتيح هذا النهج تمثيل صفحة تحتوي على نص وصور باستخدام تضمين موحد متعدد المتجهات. يمكن للتضمينات داخل هذا التمثيل متعدد المتجهات أن تلتقط معلومات مفصلة، مما يحسن أداء التوليد المعزز للاسترجاع (RAG) للبيانات متعددة الوسائط.</p>
4040
<p>في هذا الدفتر، نشير في هذا الدفتر إلى هذا النوع من التمثيل متعدد النواقل باسم "تضمينات كولبيرت" من أجل العمومية. ومع ذلك، فإن النموذج الفعلي المستخدم هو <strong>نموذج ColPali</strong>. سنوضح كيفية استخدام ميلفوس لاسترجاع متعدد المتجهات. بناءً على ذلك، سنقدم كيفية استخدام ColPali لاسترجاع الصفحات بناءً على استعلام معين.</p>
4141
<h2 id="Preparation" class="common-anchor-header">التحضير<button data-href="#Preparation" class="anchor-icon" translate="no">
4242
<svg translate="no"

localization/v2.5.x/site/ar/userGuide/schema/analyzer/analyzer-overview.json

Lines changed: 1 addition & 1 deletion
Large diffs are not rendered by default.

localization/v2.5.x/site/ar/userGuide/schema/analyzer/analyzer-overview.md

Lines changed: 97 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -2,8 +2,8 @@
22
id: analyzer-overview.md
33
title: نظرة عامة على المحلل
44
summary: >-
5-
في معالجة النصوص، يعتبر المحلل مكونًا أساسيًا يحول النص الخام إلى تنسيق منظم
6-
وقابل للبحث. يتكون كل محلل عادةً من عنصرين أساسيين: مُحلل الرموز والمرشح.
5+
في معالجة النصوص، يعتبر المحلل عنصرًا أساسيًا في تحويل النص الخام إلى تنسيق
6+
منظم وقابل للبحث. يتكون كل محلل عادةً من عنصرين أساسيين: مُحلل الرموز والمرشح.
77
يقومان معًا بتحويل النص المدخل إلى رموز، وتنقيح هذه الرموز، وإعدادها للفهرسة
88
والاسترجاع بكفاءة.
99
---
@@ -119,11 +119,45 @@ result = client.run_analyzer(
119119
analyzer_params
120120
)
121121
<button class="copy-code-btn"></button></code></pre>
122-
<pre><code translate="no" class="language-java"><span class="hljs-comment">// java</span>
122+
<pre><code translate="no" class="language-java"><span class="hljs-keyword">import</span> io.milvus.v2.service.vector.request.RunAnalyzerReq;
123+
<span class="hljs-keyword">import</span> io.milvus.v2.service.vector.response.RunAnalyzerResp;
124+
125+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
126+
texts.add(<span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>);
127+
128+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
129+
.texts(texts)
130+
.analyzerParams(analyzerParams)
131+
.build());
132+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
123133
<button class="copy-code-btn"></button></code></pre>
124-
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// javascript</span>
134+
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// javascrip# Sample text to analyze</span>
135+
<span class="hljs-keyword">const</span> text = <span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>
136+
137+
<span class="hljs-comment">// Run analyzer</span>
138+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
139+
text,
140+
analyzer_params
141+
});
125142
<button class="copy-code-btn"></button></code></pre>
126-
<pre><code translate="no" class="language-go"><span class="hljs-comment">// go</span>
143+
<pre><code translate="no" class="language-go"><span class="hljs-keyword">import</span> (
144+
<span class="hljs-string">&quot;context&quot;</span>
145+
<span class="hljs-string">&quot;encoding/json&quot;</span>
146+
<span class="hljs-string">&quot;fmt&quot;</span>
147+
148+
<span class="hljs-string">&quot;github.com/milvus-io/milvus/client/v2/milvusclient&quot;</span>
149+
)
150+
151+
bs, _ := json.Marshal(analyzerParams)
152+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>}
153+
option := milvusclient.NewRunAnalyzerOption(texts).
154+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
155+
156+
result, err := client.RunAnalyzer(ctx, option)
157+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
158+
fmt.Println(err.Error())
159+
<span class="hljs-comment">// handle error</span>
160+
}
127161
<button class="copy-code-btn"></button></code></pre>
128162
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># restful</span>
129163
<button class="copy-code-btn"></button></code></pre>
@@ -182,7 +216,7 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
182216
]
183217
}&#x27;</span>
184218
<button class="copy-code-btn"></button></code></pre>
185-
<p>يقدم ميلفوس المحللات المدمجة التالية، كل منها مصمم لتلبية احتياجات معالجة نصية محددة:</p>
219+
<p>يقدم Milvus المحللات المدمجة التالية، كل منها مصمم لتلبية احتياجات معالجة نصية محددة:</p>
186220
<ul>
187221
<li><p><code translate="no">standard</code>: مناسب لمعالجة النصوص للأغراض العامة، مع تطبيق الترميز القياسي والتصفية بالأحرف الصغيرة.</p></li>
188222
<li><p><code translate="no">english</code>: مُحسّن للنصوص باللغة الإنجليزية، مع دعم كلمات التوقف الإنجليزية.</p></li>
@@ -220,7 +254,7 @@ analyzerParams.put(<span class="hljs-string">&quot;tokenizer&quot;</span>, <span
220254
<ul>
221255
<li><p><strong>مرشحات</strong> مدمجة: تم تكوينها مسبقًا بواسطة Milvus، وتتطلب الحد الأدنى من الإعداد. يمكنك استخدام هذه المرشحات خارج الصندوق من خلال تحديد أسمائها. المرشحات أدناه مدمجة للاستخدام المباشر:</p>
222256
<ul>
223-
<li><p><code translate="no">lowercase</code>: تحويل النص إلى أحرف صغيرة، مما يضمن مطابقة غير حساسة لحالة الأحرف. لمزيد من التفاصيل، راجع <a href="/docs/ar/lowercase-filter.md">الأحرف الصغيرة</a>.</p></li>
257+
<li><p><code translate="no">lowercase</code>: يحول النص إلى أحرف صغيرة، مما يضمن مطابقة غير حساسة لحالة الأحرف. لمزيد من التفاصيل، راجع <a href="/docs/ar/lowercase-filter.md">الأحرف الصغيرة</a>.</p></li>
224258
<li><p><code translate="no">asciifolding</code>: يقوم بتحويل الأحرف غير ASCII إلى معادلات ASCII، مما يبسط معالجة النص متعدد اللغات. لمزيد من التفاصيل، راجع <a href="/docs/ar/ascii-folding-filter.md">طي ASCII</a>.</p></li>
225259
<li><p><code translate="no">alphanumonly</code>: يحتفظ بالأحرف الأبجدية الرقمية فقط عن طريق إزالة الأحرف الأخرى. لمزيد من التفاصيل، راجع <a href="/docs/ar/alphanumonly-filter.md">Alphanumonly</a>.</p></li>
226260
<li><p><code translate="no">cnalphanumonly</code>: يزيل الرموز التي تحتوي على أي أحرف غير الأحرف الصينية أو الأحرف الإنجليزية أو الأرقام. لمزيد من التفاصيل، ارجع إلى <a href="/docs/ar/cnalphanumonly-filter.md">Cnalphanumonumonly</a>.</p></li>
@@ -414,13 +448,44 @@ result = client.run_analyzer(sample_text, analyzer_params_built_in)
414448
<button class="copy-code-btn"></button></code></pre>
415449
<pre><code translate="no" class="language-java">Map&lt;String, Object&gt; analyzerParamsBuiltin = <span class="hljs-keyword">new</span> <span class="hljs-title class_">HashMap</span>&lt;&gt;();
416450
analyzerParamsBuiltin.put(<span class="hljs-string">&quot;type&quot;</span>, <span class="hljs-string">&quot;english&quot;</span>);
451+
452+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
453+
texts.add(<span class="hljs-string">&quot;Milvus simplifies text ana
454+
455+
lysis for search.&quot;</span>);
456+
457+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
458+
.texts(texts)
459+
.analyzerParams(analyzerParams)
460+
.build());
461+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
462+
417463
<button class="copy-code-btn"></button></code></pre>
418464
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// Use a built-in analyzer for VARCHAR field `title_en`</span>
419465
<span class="hljs-keyword">const</span> analyzerParamsBuiltIn = {
420466
<span class="hljs-attr">type</span>: <span class="hljs-string">&quot;english&quot;</span>,
421467
};
468+
469+
<span class="hljs-keyword">const</span> sample_text = <span class="hljs-string">&quot;Milvus simplifies text analysis for search.&quot;</span>;
470+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
471+
<span class="hljs-attr">text</span>: sample_text,
472+
<span class="hljs-attr">analyzer_params</span>: analyzer_params_built_in
473+
});
474+
422475
<button class="copy-code-btn"></button></code></pre>
423476
<pre><code translate="no" class="language-go">analyzerParams := <span class="hljs-keyword">map</span>[<span class="hljs-type">string</span>]any{<span class="hljs-string">&quot;type&quot;</span>: <span class="hljs-string">&quot;english&quot;</span>}
477+
478+
bs, _ := json.Marshal(analyzerParams)
479+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;Milvus simplifies text analysis for search.&quot;</span>}
480+
option := milvusclient.NewRunAnalyzerOption(texts).
481+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
482+
483+
result, err := client.RunAnalyzer(ctx, option)
484+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
485+
fmt.Println(err.Error())
486+
<span class="hljs-comment">// handle error</span>
487+
}
488+
424489
<button class="copy-code-btn"></button></code></pre>
425490
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># restful</span>
426491
<button class="copy-code-btn"></button></code></pre></li>
@@ -471,6 +536,15 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
471536
}}
472537
)
473538
);
539+
540+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
541+
texts.add(<span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>);
542+
543+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
544+
.texts(texts)
545+
.analyzerParams(analyzerParams)
546+
.build());
547+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
474548
<button class="copy-code-btn"></button></code></pre>
475549
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// Configure a custom analyzer for VARCHAR field `title`</span>
476550
<span class="hljs-keyword">const</span> analyzerParamsCustom = {
@@ -487,6 +561,11 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
487561
},
488562
],
489563
};
564+
<span class="hljs-keyword">const</span> sample_text = <span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>;
565+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
566+
<span class="hljs-attr">text</span>: sample_text,
567+
<span class="hljs-attr">analyzer_params</span>: analyzer_params_built_in
568+
});
490569
<button class="copy-code-btn"></button></code></pre>
491570
<pre><code translate="no" class="language-go">analyzerParams = <span class="hljs-keyword">map</span>[<span class="hljs-type">string</span>]any{<span class="hljs-string">&quot;tokenizer&quot;</span>: <span class="hljs-string">&quot;standard&quot;</span>,
492571
<span class="hljs-string">&quot;filter&quot;</span>: []any{<span class="hljs-string">&quot;lowercase&quot;</span>,
@@ -497,6 +576,17 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
497576
<span class="hljs-string">&quot;type&quot;</span>: <span class="hljs-string">&quot;stop&quot;</span>,
498577
<span class="hljs-string">&quot;stop_words&quot;</span>: []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;of&quot;</span>, <span class="hljs-string">&quot;to&quot;</span>},
499578
}}}
579+
580+
bs, _ := json.Marshal(analyzerParams)
581+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>}
582+
option := milvusclient.NewRunAnalyzerOption(texts).
583+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
584+
585+
result, err := client.RunAnalyzer(ctx, option)
586+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
587+
fmt.Println(err.Error())
588+
<span class="hljs-comment">// handle error</span>
589+
}
500590
<button class="copy-code-btn"></button></code></pre>
501591
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># curl</span>
502592
<button class="copy-code-btn"></button></code></pre></li>

0 commit comments

Comments
 (0)