milvus 向量數據庫安裝

milvus 簡介

Milvus 是一個開源的向量數據庫，專門為處理和分析大規模向量數據而設計。它適用于需要高效存儲、檢索和管理向量數據的應用場景，如機器學習、人工智能、計算機視覺和自然語言處理等。以下是 Milvus 的一些關鍵特性和功能：
官方文檔：https://milvus.io/docs/zh

主要特性

1.高效的向量檢索：

? Milvus 支持多種高效的向量檢索算法，包括基于內存的和基于磁盤的索引，能夠快速處理大規模向量數據。

2.靈活的數據模型：

? Milvus 允許用戶存儲和管理不同類型的數據，包括結構化數據和非結構化數據，支持多種數據格式。

3.高并發處理：

? Milvus 能夠支持高并發的查詢請求，適合實時應用場景。

4.可擴展性：

? Milvus 支持水平擴展，可以根據需求增加節點，以處理更大的數據集和更多的查詢請求。

5.多種編程語言支持：

? Milvus 提供多種語言的 SDK，包括 Python、Java、Go 和 C++，方便開發者在不同的應用程序中集成。

6.集成機器學習框架：

? Milvus 可以與主流的機器學習和深度學習框架（如 TensorFlow 和 PyTorch）集成，便于處理和分析向量數據。

7.支持多種索引類型：

? Milvus 提供多種索引類型（如 IVF、HNSW 和 ANNOY），用戶可以根據具體需求選擇合適的索引方式，以優化檢索性能。

8.多種存儲后端：

? Milvus 支持多種存儲后端，包括本地存儲和云存儲，用戶可以根據需要選擇合適的存儲方案。

應用場景

?圖像和視頻檢索：在計算機視覺應用中，Milvus 可以用于圖像和視頻的相似性檢索。

?自然語言處理：在 NLP 應用中，Milvus 可以用于文本向量的檢索和分析。

?推薦系統：Milvus 可以幫助構建個性化推薦系統，通過用戶行為數據進行向量檢索。

?生物信息學：在生物信息學領域，Milvus 可以用于基因數據和蛋白質數據的分析和檢索。

總結

Milvus 是一個強大的向量數據庫，適合需要高性能向量檢索和分析的各種應用場景。它的設計使得數據存儲和檢索變得高效且靈活，能夠滿足現代數據驅動應用的需求。

milvus 安裝

初始化主機掛載目錄

mkdir-p /zpaas/volumes/etcd
mkdir-p /zpaas/volumes/milvus
mkdir-p /zpaas/volumes/minio
chmod700 /zpaas/volumes/etcd

docker-compose-milvus.yml

version:'3.5'
services:
etcd:
 container_name:milvus-etcd
 image:hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0
 environment:
  -ETCD_AUTO_COMPACTION_MODE=revision
  -ETCD_AUTO_COMPACTION_RETENTION=1000
  -ETCD_QUOTA_BACKEND_BYTES=4294967296
  -ETCD_SNAPSHOT_COUNT=50000
 volumes:
  -/zpaas/volumes/etcd:/etcd
 ports:
  -"3379:3379"
 command:etcd-advertise-client-urls=http://127.0.0.1:3379-listen-client-urlshttp://0.0.0.0:3379--data-dir/etcd
 healthcheck:
  test:["CMD","etcdctl","endpoint","health"]
  interval:5s
  timeout:3s
  retries:10

minio:
 container_name:milvus-minio
 image:hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z
 environment:
  MINIO_ACCESS_KEY:minioadmin
  MINIO_SECRET_KEY:minioadmin
 ports:
  -"9001:9001"
  -"9000:9000"
 volumes:
  -/zpaas/volumes/minio:/minio_data
 command:minioserver/minio_data--console-address":9001"
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9000/minio/health/live"]
  interval:5s
  timeout:3s
  retries:10

standalone:
 container_name:milvus-standalone
 image:hub-nj.iwhalecloud.com/public/milvus:v2.4.5
 command:["milvus","run","standalone"]
 security_opt:
  -seccomp:unconfined
 environment:
  ETCD_ENDPOINTS:etcd:3379
  MINIO_ADDRESS:minio:9000
 volumes:
  -/zpaas/volumes/milvus:/var/lib/milvus
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9091/healthz"]
  interval:30s
  start_period:90s
  timeout:20s
  retries:3
 ports:
  -"19530:19530"
  -"9091:9091"
 depends_on:
  -"etcd"
  -"minio"

networks:
default:
 name:milvus

啟動

`docker-compose -f docker-compose-milvus.yml up -d`

查看

root@10.10.194.210[/zpaas/volumes]# docker ps -a | grep milvus
df9f6e31a2f6  hub-nj.iwhalecloud.com/public/milvus:v2.4.5            "/tini -- milvus run…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9091->9091/tcp, :::9091->9091/tcp, 0.0.0.0:19530->19530/tcp, :::19530->19530/tcp  milvus-standalone
3e4c32da554c  hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z "/usr/bin/docker-ent…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9000-9001->9000-9001/tcp, :::9000-9001->9000-9001/tcp               milvus-minio
be224b2f19d7  hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0            "etcd -advertise-cli…" 33 minutes ago    Up 33 minutes (unhealthy)  2379-2380/tcp, 4001/tcp, 7001/tcp, 0.0.0.0:3379->3379/tcp, :::3379->3379/tcp        milvus-etcd
root@10.10.194.210[/zpaas/volumes]# dockerexec-it milvus-etcd etcdctl --endpoints=http://127.0.0.1:3379 endpoint health
http://127.0.0.1:3379 is healthy: successfully committed proposal: took = 9.597225ms

attu 安裝

attu 為 milvus 的一款圖形化管理工具，非常方便對 milvus 的一些管理

docker run -d 
--name=attu 
-p 8000:3000 
-e MILVUS_URL=10.10.194.210:19530 
hub-nj.iwhalecloud.com/public/attu:v2.3.9

minio 訪問

minioadmin / minioadmin
http://x.x.x.x:9001

鏈接:https://blog.csdn.net/shenyuanhaojie/article/details/146561917