Articles AI

React Native 端侧 AI:用 ExecuTorch 在本地运行 LLM
AI

React Native 端侧 AI:用 ExecuTorch 在本地运行 LLM

上一篇文章中,我们构建了由 FastAPI 后端驱动的流式 AI 聊天机器人。这一模式可覆盖大多数企业场景。但对于某些需求——满足《个人信息保护法(PIPL)》《数据安全法》和等保2.0(尤其是工控/OT 系统场景)的数据不出境要求、离线运行能力、高并发下的成本控制——在设备上直接运行模型才是正确答案。

Read More
React NativeでオンデバイスAI:ExecuTorchでLLMをローカル実行する
AI

React NativeでオンデバイスAI:ExecuTorchでLLMをローカル実行する

前回の記事では、FastAPIバックエンドを用いたストリーミングAIチャットボットを構築しました。このパターンはエンタープライズユースケースの大半をカバーします。しかし、個人情報保護法(APPI)・J-SOX監査証跡・経済安全保障推進法に対応した完全なデータローカライゼーション要件、オフライン動作、大量メッセージでのコスト管理など、特定の要件に対しては、デバイス上で直接モデルを実行することが正解となります。

Read More
On-Device AI ใน React Native: รัน LLM บนเครื่องโดยตรงด้วย ExecuTorch
AI

On-Device AI ใน React Native: รัน LLM บนเครื่องโดยตรงด้วย ExecuTorch

ในบทความก่อนหน้า เราสร้าง AI chatbot ที่ใช้ FastAPI backend รูปแบบนั้นครอบคลุม enterprise use case ส่วนใหญ่ได้ดี แต่สำหรับความต้องการบางประเภท — การประมวลผลข้อมูลส่วนบุคคลโดยไม่ส่งออกนอกอุปกรณ์ตาม PDPA และ พ.ร.บ. ความมั่นคงปลอดภัยไซเบอร์ การทำงานแบบ offline และการควบคุมต้นทุนที่ปริมาณสูง — คำตอบที่ถูกต้องคือรัน model โดยตรงบนอุปกรณ์

Read More
On-Device AI in React Native: Run LLMs Locally with ExecuTorch
AI

On-Device AI in React Native: Run LLMs Locally with ExecuTorch

In the previous post in this series, we built a streaming AI chatbot backed by a FastAPI server. That covers the majority of enterprise use cases. But for a growing set of requirements — strict data residency, offline functionality, zero per-token cost at scale — the right answer is to run the model directly on […]

Read More
pgvectorチュートリアル:PostgreSQLにベクトル検索を追加してRAGとセマンティック検索を実現する
AI

pgvectorチュートリアル:PostgreSQLにベクトル検索を追加してRAGとセマンティック検索を実現する

RAGパイプラインやセマンティック検索が必要なアプリケーションを構築する際、最初に決める必要があるのは「Embeddingをどこに保存するか」です。PineconeやQdrant、Weaviateといった専用ベクトルデータベースも選択肢の一つですが、すでにPostgreSQLを運用しているチームにとって、pgvectorはより速く、安価で、運用が簡単な方法です。

Read More
pgvector Tutorial: เพิ่ม Vector Search ให้ PostgreSQL สำหรับ RAG และ Semantic Search
AI

pgvector Tutorial: เพิ่ม Vector Search ให้ PostgreSQL สำหรับ RAG และ Semantic Search

ถ้าคุณกำลังสร้างระบบ RAG หรือแอปพลิเคชันที่ต้องการ Semantic Search คำถามแรกที่ต้องตัดสินใจคือจะเก็บ Embedding ไว้ที่ไหน Vector Database เฉพาะทางอย่าง Pinecone, Qdrant หรือ Weaviate เป็นตัวเลือกหนึ่ง แต่สำหรับทีมที่ใช้ PostgreSQL อยู่แล้ว pgvector คือทางเลือกที่เร็วกว่า ถูกกว่า และดูแลง่ายกว่า pgvector คือ Extension แบบ Open Source สำหรับ PostgreSQL ที่เพิ่ม Type ข้อมูล vector พร้อม Similarity Search Operator และ Index แบบ HNSW/IVFFlat เข้าไปใน Database ที่มีอยู่เดิม Embedding ของคุณอยู่ใน Database เดียวกับข้อมูลแอปพลิเคชัน Query ด้วย SQL มาตรฐาน รองรับ […]

Read More
pgvector Tutorial: Add Vector Search to PostgreSQL for RAG and Semantic Search
AI

pgvector Tutorial: Add Vector Search to PostgreSQL for RAG and Semantic Search

If you’re building a RAG pipeline or any application that needs semantic search, you’ll eventually need to decide where to store your embeddings. Dedicated vector databases (Pinecone, Qdrant, Weaviate) are one option. But for most teams — especially those already running PostgreSQL — pgvector is the faster, cheaper, and operationally simpler path.

Read More
RAG คืออะไร? คู่มืออธิบายแบบเข้าใจง่ายสำหรับผู้บริหาร
AI Chatbot

RAG คืออะไร? คู่มืออธิบายแบบเข้าใจง่ายสำหรับผู้บริหาร

ทุกองค์กรที่เคยลอง ChatGPT สำหรับงานภายในล้วนเจอปัญหาเดียวกัน: โมเดลไม่รู้จักผลิตภัณฑ์ของคุณ ระเบียบขั้นตอนของคุณ สัญญา หรือนโยบายภายใน มันตอบผิดด้วยความมั่นใจ

Read More