今天是2024年3月9日，星期六，北京，天气晴。我们先来看看20230309大模型进展早报，主要还是涉及到一些嵌入和数据方面的事情。另一个是再来看看关于ICL(incontextlearning)的

今天是2024年3月12日，星期二。北京，天气晴。我们今天来看看大模型用于知识图谱推理的一些话题。知识图谱与大模型进行融合，我们已经有过多个工作介绍，我们在之前的文章《大模型用于知识图谱推理常用范式：

斯坦福大学此前提出的FlashAttention算法，能够在BERT-large训练中节省15%，将GPT训练速度提高23。此后又提出FlashAttentionV2，拥有了更好的并行性和工作分区

Anthropic在亚马逊和谷歌的支持下推出了迄今为止最强大的聊天机器人01关键点-Anthropic周一推出了Claude3，这是一个聊天机器人和人工智能模型套件，据称是迄今为止最快、最强大

大型语言模型(LLM)：类型、示例01前言大型语言模型(LLM)是生成式人工智能的关键支柱，由于其能够处理大量文本并生成与预测下一个单词相关的准确结果，因此在自然语言处理(NLP)领域越来越受到

最近了解了下些常见的推理和加速方案：量化方案：gptq、quantization、int8、int4、AWQ、SpeculativeDecoding、GGUFAttention加速方案：atten的