上一篇文章中，我们构建了由 FastAPI 后端驱动的流式 AI 聊天机器人。这一模式可覆盖大多数企业场景。但对于某些需求——满足《个人信息保护法（PIPL）》《数据安全法》和等保2.0（尤其是工控/OT 系统场景）的数据不出境要求、离线运行能力、高并发下的成本控制——在设备上直接运行模型才是正确答案。
Continue reading “React Native 端侧 AI：用 ExecuTorch 在本地运行 LLM”
React NativeでオンデバイスAI：ExecuTorchでLLMをローカル実行する
前回の記事では、FastAPIバックエンドを用いたストリーミングAIチャットボットを構築しました。このパターンはエンタープライズユースケースの大半をカバーします。しかし、個人情報保護法（APPI）・J-SOX監査証跡・経済安全保障推進法に対応した完全なデータローカライゼーション要件、オフライン動作、大量メッセージでのコスト管理など、特定の要件に対しては、デバイス上で直接モデルを実行することが正解となります。
Continue reading “React NativeでオンデバイスAI：ExecuTorchでLLMをローカル実行する”
On-Device AI ใน React Native: รัน LLM บนเครื่องโดยตรงด้วย ExecuTorch
ในบทความก่อนหน้า เราสร้าง AI chatbot ที่ใช้ FastAPI backend รูปแบบนั้นครอบคลุม enterprise use case ส่วนใหญ่ได้ดี แต่สำหรับความต้องการบางประเภท — การประมวลผลข้อมูลส่วนบุคคลโดยไม่ส่งออกนอกอุปกรณ์ตาม PDPA และ พ.ร.บ. ความมั่นคงปลอดภัยไซเบอร์ การทำงานแบบ offline และการควบคุมต้นทุนที่ปริมาณสูง — คำตอบที่ถูกต้องคือรัน model โดยตรงบนอุปกรณ์
Continue reading “On-Device AI ใน React Native: รัน LLM บนเครื่องโดยตรงด้วย ExecuTorch”
On-Device AI in React Native: Run LLMs Locally with ExecuTorch
In the previous post in this series, we built a streaming AI chatbot backed by a FastAPI server. That covers the majority of enterprise use cases. But for a growing set of requirements — strict data residency, offline functionality, zero per-token cost at scale — the right answer is to run the model directly on the device.
Continue reading “On-Device AI in React Native: Run LLMs Locally with ExecuTorch”
如何在 React Native 应用中添加 AI 聊天机器人（附 FastAPI 后端）
大多数 React Native 教程止步于 UI 层——展示如何渲染聊天气泡，然后用一句含糊的"直接从应用调用 OpenAI API"带过后端部分。
Continue reading “如何在 React Native 应用中添加 AI 聊天机器人（附 FastAPI 后端）”
React NativeアプリにAIチャットボットを追加する方法（FastAPIバックエンド付き）
React Nativeのチュートリアルの多くはUI層で止まります。チャットバブルの描画やキーボード制御は丁寧に説明しながら、バックエンドについては「OpenAI APIをアプリから直接呼ぶ」とだけ説明して終わりにしてしまいます。
Continue reading “React NativeアプリにAIチャットボットを追加する方法（FastAPIバックエンド付き）”
วิธีเพิ่ม AI Chatbot เข้าแอป React Native (พร้อม FastAPI Backend)
บทความ React Native ส่วนใหญ่หยุดแค่ UI layer — แสดงวิธีทำ chat bubble แต่ข้ามเรื่อง backend ด้วยคำแนะนำคลุมเครือว่า "เรียก OpenAI API จากแอปโดยตรง"
Continue reading “วิธีเพิ่ม AI Chatbot เข้าแอป React Native (พร้อม FastAPI Backend)”
How to Add an AI Chatbot to Your React Native App (with FastAPI Backend)
Most React Native tutorials stop at the UI layer. They show you how to render chat bubbles and handle keyboard offsets—then hand-wave the backend with a vague "call the OpenAI API from your app."
Continue reading “How to Add an AI Chatbot to Your React Native App (with FastAPI Backend)”
pgvector教程：为PostgreSQL添加向量搜索，实现RAG和语义搜索
在构建RAG管道或需要语义搜索的应用时，首先需要决定的是将Embedding存储在哪里。Pinecone、Qdrant、Weaviate等专用向量数据库是一种选择，但对于已经运行PostgreSQL的团队而言，pgvector是更快、更经济、运维更简单的方案。
pgvectorチュートリアル：PostgreSQLにベクトル検索を追加してRAGとセマンティック検索を実現する
RAGパイプラインやセマンティック検索が必要なアプリケーションを構築する際、最初に決める必要があるのは「Embeddingをどこに保存するか」です。PineconeやQdrant、Weaviateといった専用ベクトルデータベースも選択肢の一つですが、すでにPostgreSQLを運用しているチームにとって、pgvectorはより速く、安価で、運用が簡単な方法です。
Continue reading “pgvectorチュートリアル：PostgreSQLにベクトル検索を追加してRAGとセマンティック検索を実現する”