浏览器开发者工具里面没有视频字节跳动小程序开发者工具

　　当我们心中有了一个手艺舆图，那末剩下的，更深化的工具就可以够一点点地往这个手艺舆图内里安插

　　当我们心中有了一个手艺舆图，那末剩下的，更深化的工具就可以够一点点地往这个手艺舆图内里安插。那末当一个新的手艺又忽然来暂时，由于你胸中已有丘壑开发者模式意味着什么，你也就没有那末焦炙了。

　　有些场景是很难落地的，可是潜伏代价却很大。好比怎样让AI停止智能化的决议计划，也就是AI Agent的使用，各人还都在探索当中。

　　此时我们确实需求一些初级本领，和实战经历的总结和积聚。有用地挑选Embedding模子，优良的向量数据库，优化的索引和检索计划，和壮大的天生模子都是必不成少的。

　　量化：将模子参数从高精度暗示（如32位浮点数）转换为低精度暗示（如8位整数），以削减存储和计较资本。

　　常见的言语模子n-Gram模子、轮回神经收集（RNN）模子阅读器开辟者东西内里没有视频、是非时影象收集（LSTM）模子，和如今十分盛行的基于Transformer架构的预锻炼言语模子（Pre-trained Language Model，PLM），如BERT、GPT系列等，素质上都是言语模子。

　　设想生产等级此外RAG体系并不是易事，有许多工程细节需求考虑。好比说，假如几十万以至上百万文档，怎样还能高效检索。在文档切片时，怎样保存前后高低文。

　　详细到狂言语模子的使用处景，有两个维度，一个是当行进展，也就是落地的难度。难度小，停顿就大。

　　OpenAI API：OpenAI供给的API许可开辟者间接会见GPT-4和其他模子，用于各类文本天生和处置使命。API的设想旨在简化开辟者的利用流程，无需深化底层就可以构建使用。

　　前一段工夫，我在 CSDN 直播间分享的主题《大模子从道理到使用开辟——模棱两可 十问十答》遭到了一些存眷，被转发次数到达数百次字节跳动小法式开辟者东西。有伴侣反应，这个分享让他构成了大模子手艺栈的全局观开发者模式意味着什么，入路径线变得愈加明晰。

　　LlamaIndex：LlamaIndex 次要存眷于数据的深度索引和检索。它供给了数据毗连器、索引和查询引擎，这些东西协助将私有或特定范畴的数据集成到LLMs中。LlamaIndex 合适需求智能搜刮和检索功用的使用处景。

　　言语模子是一种用于计较和猜测天然言语序列几率散布的模子，它经由过程阐发大批的言语数据来揣度和猜测言语征象，为天然言语高低文相干的这类特征来成立数学模子。简朴地说，它能够按照给定的高低文，猜测接下来的单词。

　　LangChain：LangChain 专注于将言语模子与内部数据源（如数据库、APIs、文档等）分离利用。它撑持从多个数据源加载数据，并使这些数据在推理时可供LLMs利用。它经由过程尺度接口简化了提醒的构建和模子的交互字节跳动小法式开辟者东西，许可开辟者创立可以施行多使命的智能署理。

　　那末，这个分享中包罗了哪十个成绩，我又是怎样答复的，明天就收拾整顿成文章的情势再次显现给各人。（原视频能够在CSDN的视频号平台看回放）

　　桌面法式时期，互联网时期，挪动互联网时期，都催生了大批独角兽，惟独AI时期，仍旧有大批空缺地区虚位以待。—— 这是我们法式员、开辟职员、产物司理，每个IT人的时机。

　　Semantic Kernel：Semantic Kernel 是一个由微软撑持的SDK，它使开辟者可以将LLMs整合到通例编程言语（如C#、Python）中。它供给了插件机制，这些插件能够在几行代码中串连起来，撑持多种编程言语，很合适需求深度集成到Microsoft生态体系中的项目。

　　关于Transformer架构和留意力机制的具体拆解，上面的这本《GPT图解》非常明晰易懂。

　　推理加快：经由过程优化算法或硬件加快器削减模子在推理（即实践利用）过程当中的计较工夫，进步呼应速率。

　　特别是当你学到微调的时分，假如不睬解底层道理，你底子没法了解各类微调的区分（好比说口试官能够问你Lora和Adapter的区分）阅读器开辟者东西内里没有视频，那你也就更不克不及够轻松的了解更新的架构为何如许大概那样去设想。

　　做使用开辟也是。为何要打踏实道理根底 – 由于不深入理解道理，你用LLM来做使用的时分内心就没底。

　　在挑选这些东西时，主要的是思索您的详细需求：假如项目偏重于数据驱动的交互和大都据源集成，LangChain多是更好的挑选字节跳动小法式开辟者东西开发者模式意味着什么。假如需求高效的数据索引和检索，LlamaIndex将十分合适。而假如期望在多种编程情况中快速集成言语模子，大概需求与Microsoft的东西和效劳无缝合作，Semantic Kernel能够愈加适宜阅读器开辟者东西内里没有视频。关于间接会见最新的言语模子并快速布置文底细干使用，OpenAI API则供给了一个十分间接和壮大的选项。—— 关于我小我私家来讲，如今我常常利用OpenAI API（大概任何海内LLM的API）间接创立LLM使用。

　　重新手艺的发作周期来看，AI正逢当时，这是手艺带给我们每个人的家常便饭的良机。AI使用的发作期能够还需求2-3年的工夫，killer app临时没有进入群众用户人群是契合客观纪律的。

　　好了，十个成绩完毕。等待着和你一同共学AI大模子，从道理到实战，轻松入门。—— 对上面这个课程有爱好，扫码加助教教师。

　　由于不管进修甚么，老是要先俯瞰全局，再按部就班，归正我是这么学的，有先学后学，可是更主要的先入门，对系统中的每个部门都有一个最根本的常识，然后是不竭轮回开发者模式意味着什么，不竭深化。

　　狂言语模子的使用开辟 - 16个落地使用案例实战（LangChain/LlamaIndex等开辟框架）

　　以我小我私家的经历来看，对言语模子的道理，理解到科普的水平是远远不敷的，手撕几回Transformer框架，不管关于后续做使用开辟，仍是做微调，大概是去口试，都是很有益处的。

　　信息检索（Retrieval）：在这一阶段，体系会从一个大型的数据集合检索相干信息。这个数据集凡是包罗大批的文本数据，如维基百科文章、消息报导或其他相干文档。（固然，由于今朝的检索也是经由过程大模子来完成，并且大模子凡是具有多模态才能，因而这个被检索的数据集并没必要然都是文档，还可所以图片、代码、干系数据库等多种情势。）当体系领受到一个查询（比方一个成绩）时，它会在这个数据集合寻觅与查询相干的信息。

　　文本天生（Generation）：在检索到相干信息后，体系会利用这些信息来天生一个呼应。这个阶段凡是是经由过程一个预锻炼的言语模子完成的开发者模式意味着什么，如 GPT（Generative Pre-trained Transformer）。言语模子会按照检索到的信息来机关一个连接、相干的答复或文本。

　　很多大型言语模子（LLM）的使用需求利用用户特定的数据，而这些数据并非模子锻炼集的一部门。完成这一点的次要办法是经由过程检索加强天生（RAG）字节跳动小法式开辟者东西。在这个过程当中，会检索内部数据，然后在天生步调中通报给LLM。

　　我们要从言语模子的界说和来源开端去了解到底甚么是狂言语模子，看看它是如何一步一步退化到明天这个形态的。