GDG DevFest Taichung 2024 心得筆記
Tech ·GDG DevFest Taichung 2024 心得筆記
agenda
- 1.GOOGLE 現在有的模型及相關應用
- vertex ai
- gemini
- gemma
- code interpreter
- notebookLM
- ai studio
- parse
- 2.RAG技術相關
- agent
- embedding
- 向量與資料庫
Gemma 2：開源語言模型的實際應用與性能比較
:::info Gemma 2是 Google 主打的「開源」語言模型，憑藉其強大的靈活性和可擴展性，在 lmsys 的評測中脫穎而出，特別是 Gemma 2 9B 和 27B 參數的優異表現。通過 Google AI Studio 的開發環境，開發者可以快速上手。但在實際任務上，Gemma 2 表現如何呢？我們將在特定任務上，探討 Gemma 2與其他同等級的模型(如 LLaMA、Mistral、QWen 類似規模的模型）的比較。 :::
source
在 GCP 運用Parse 全家餐管理那堆 AI 應用的資料
:::info 每次新AI點子來，光弄個backend就夠麻煩，有更快方案？ 作為一個後端資源中心，怎麼快速又有加購的提供API? 如何在GCP上快速上手Parse :::
source
LLM Comparator Running Comparative Evaluations with Google Vertex AI
模型比較工具
- 介紹了一個可比較不同語言模型的工具平台
- 可同時對比兩個模型的回應結果
- 提供約900筆測試案例供評估使用
- 支援視覺化分析模型表現差異
評估面向的演進
- 傳統評估方法主要關注準確率指標
- 現代評估更重視多元面向:
- 理解能力與反知識性
- 邏輯推理能力
- 人道性與道德觀
- 長文本理解能力
- 回應速度與品質
- 對不同使用者的適應性
有趣的評估實驗案例
情感分析實驗
- 透過正負面標註測試模型理解能力
- 例如:將正面句子標註為負面,測試模型是否真正理解語境
- 實驗發現並非所有模型都能完全理解標註的語境
大海撈針實驗
- 在長文本中插入特定內容,測試模型理解範圍
- 在不同位置(前、中、後段)插入內容觀察模型表現
- 用於評估模型對長文本的理解深度與限制
實用工具與資源
- 提供免費的模型評估平台
- 支援數據視覺化分析
- 提供相關教學資源與參考文獻
- 推薦了更多AI學習資源,如AI相關課程與影片
重要觀點
- 評估語言模型不應僅限於單一面向
- 需要多元且創新的評估方法
- 理解模型的限制與能力邊界很重要
- 應考慮模型在實際應用場景中的表現
安全性考量
- 提到了AI安全性的重要性
- 舉例說明需謹慎處理可能涉及危險的指令
- 強調在開發過程中需注意倫理問題
source
向量搜尋與Embedding Model的進階應用
:::info 是否知道如何實作圖搜圖呢？
甚至是圖搜文, 文搜圖, 音搜圖……各式各樣的的型態搜尋方式!
讓我們一起揭開向量搜索的神秘面紗, 體會向量資料庫的威力吧！
在當今跨越文本、圖像甚至多模態資料的需求下，光靠傳統的資料庫已經無法滿足現代的應用需求。
在本演講中，我們將深入探討如何運用 vector 資料庫與 embedding 模型來解決複雜的問題，特別是針對圖文搜尋等多模態應用。
透過 google multimodal與PG Vector 作為範例，從基礎理論到實際操作，深入淺出地帶你了解如何建構更強大的資料檢索系統，並有效提升其應用層次。 :::
source
知識點
PG Vector(PostgresQL的extension)
CLIP(圖文相似比對模型)
暴力搜尋法
ANN近似最鄰近查找
IVF Flat
HNSW
Firebase Data Connect - 打造基於 GraphQL 與 PostgreSQL 的資料驅動應用程式
Firebase 開發平台概述
- Google 的應用程式開發平台
- 不限於行動應用程式開發
- 提供多種產品服務和便利功能
- 包含預先打包和封裝的商業功能
- 基礎建設無需重複建置
新功能: Firebase Data Connect
- 今年新增的功能
- 支援關聯式資料庫整合
- 目前採用 NoSQL 文件式資料庫
- 與 Google Cloud Platform (GCP) 整合
- 支援 PostgreSQL
- 可無縫擴展至其他 GCP 服務
開發工具與功能
- 提供 API 端點
- 自動生成 SDK
- 支援身份驗證政策
- 支援 GraphQL 語法
- 自動化資料表建立
- 提供本地開發者工具和模擬器
- 包含程式碼擴充功能
向量嵌入功能
- 支援向量運算和矩陣操作
- 內容可轉換為向量形式
- 可進行向量計算
- 支援多種模型整合
- 提供直接的向量計算語法
- 可用於查詢和問答系統
資料庫管理
- 支援離線操作
- 完善的權限管理
- 支援產品迭代
- 可新增欄位查詢
- 資料庫結構變更仍具有挑戰性