AI 工程師喺處理海量多模態數據時，常遇上 Parquet 檔案隨機存取慢、缺乏向量索引支援同版本控制麻煩嘅痛點。Lance 就係一個開源 Lakehouse 格式，專為多模態 AI 設計，只需兩行代碼就可將現有 Parquet 轉換，帶來 100 倍更快嘅隨機存取速度、內建向量索引同數據版本管理。呢個工具特別適合依賴 Pandas、Polars 或 PyTorch 嘅數據科學家同 ML 開發者，輕鬆將傳統數據湖升級為高效 AI 工作流。
兩行代碼快速轉換 Parquet 檔案
Lance 嘅轉換過程極度簡化，開發者只需 import lance 庫同呼叫 convert_to_lance 函數，即可將 Parquet 檔案轉為 Lance 格式。呢個過程唔單止保留原有數據結構，仲自動優化儲存布局，令後續操作更高效。比起傳統 Parquet，Lance 喺隨機存取時表現突出，尤其適合需要頻繁讀取特定記錄嘅 AI 訓練場景。
轉換後嘅 Lance 數據集支援完整嘅列式儲存同壓縮，同時加入元數據管理，讓數據管道更易維護。對於已經習慣 PyArrow 或 DuckDB 嘅用戶，Lance 提供無縫相容，唔使重寫既有代碼。
內建向量搜尋支援多模態 AI 應用
喺向量搜尋方面，Lance 直接內建索引結構，支援高效近似最近鄰 (ANN) 查詢，特別適合圖像、文字或音頻等多模態數據。開發者可以喺數據集上直接建立向量索引，之後透過簡單 API 進行相似度匹配，而唔使額外依賴 Faiss 或 Milvus 等獨立系統。呢點令整個 AI 管道更緊湊，減少部署複雜度。
相比純 Parquet，Lance 嘅向量操作速度提升顯著，尤其喺大規模數據集上。佢仲支援動態索引更新，適合增量訓練或即時推薦系統。
數據版本控制確保 AI 訓練可追溯
Lance 引入完整嘅數據版本管理，類似 Git 嘅分支同合併機制，但針對列式數據優化。每個寫入操作自動產生版本快照，開發者可輕鬆切換歷史版本、比較差異或回滾變更。呢個功能喺 AI 實驗中至關重要，避免數據漂移或重訓成本。
版本控制唔影響讀取性能，Lance 使用 manifest 檔案追蹤變更，確保即使數據集增長到 TB 級，都能快速定位所需版本。對於團隊協作，呢個設計大大提升數據治理效率。
廣泛相容 Pandas DuckDB Polars 等工具
Lance 設計時考慮生態整合，目前已相容 Pandas、DuckDB、Polars、PyArrow 同 PyTorch，未來更多整合即將推出。用戶可以用熟悉嘅 DataFrame API 讀寫 Lance 數據集，PyTorch 用戶更可直接載入為 Tensor，加速模型訓練。呢種跨庫支援，令 Lance 成為數據湖向 AI Lakehouse 轉型嘅橋樑。
喺 DuckDB 入面，Lance 表現如原生表格般流暢；Polars 用戶則享受到並行查詢加速。總括嚟講，Lance 唔單止解決性能瓶頸，仲擴展咗開源數據工具嘅邊界，適合從原型到生產嘅全流程。
產品名稱：Lance (lance)
官方網站：https://github.com/lancedb/lance
