大模型相关学习（二）
1、探究AI-Agent可行性 针对客服系统AI大模型，可能需要返回具体答案，例：”安卓手机，该如何使用NFC”等问题，此类问题因有固化性（固定正确答案回答），使用AI大模型可能因为温度、topic等问题会返回不一样的问答，此时可利用智能体的调用工具能力来进行调用。以下为探索的步骤 1-1、阿里百炼如何调用 因无GPU环境，故使用阿里百炼API来实现基础模型调用 1234567891011121314151617181920212223242526272829303132333435363738import os, jsonimport dashscopefrom prompt import user_promptfrom dashscope.api_entities.dashscope_response import Messageclass ModelProvider(object): def __init__(self): #百炼模型、SK-KEY self.api_key =...
大模型相关学习（一）
使用Function_call调用大模型相关能力Function Call其实就是大模型调用工具的能力。 使用Function Call功能时，你需要定义（并不是真的写程序去定义一个函数，而仅仅是用文字来描述一个函数）一些function（需要指定函数名，函数用途的描述，参数名，参数描述），传给LLM，当用户输入一个问题时，LLM通过文本分析是否需要调用某一个function，如果需要调用，那么LLM返回一个json，json包括需要调用的function名，需要输入到function的参数名，以及参数值。总而言之，function...
大数据集群搭建【Dolphinscheduler】（八）
dolphinscheduler（3.1.4） IP1 master 5678：接收来自 Worker 节点的请求，并管理任务调度和工作流执行。 5679 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等 1235：Worker节点上运行的自定义插件与外部系统进行通信 api-server 12345：Web UI 端口，用于展示 Master 节点的状态和管理界面 IP2 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等 1235：Worker节点上运行的自定义插件与外部系统进行通信 IP3 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等...
大数据集群搭建【Spark + scala】（七）
scala（2.12.17） + spark（3.3.1） IP1 spark master 7077：接收来自 Worker 节点和应用程序的 RPC 请求，调度任务到 Worker 节点上执行。 8080：Master UI，查看 Master 节点的状态 spark worker 8081：Worker UI，查看 Worker 节点的状态 IP2 spark worker 8081：Worker UI，查看 Worker 节点的状态 IP3 spark worker 8081：Worker UI，查看 Worker 节点的状态 spark集群是基于hadoop集群来进行部署的，前置条件，记得设置服务器hostname 1hostnamectl set-hostname hostname 解压安装scala，并将scala设置入环境变量【所有执行】1tar -zxvf scala-2.12.17.tgz 编辑环境变量 123#scala语言版本export...
大数据集群搭建【Hive】（五）
Hive集群配置 Hive解压【storageServer1主机执行】 1234cd /data/upload_dirtar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../mv apache-hive-3.1.2-bin/ hive-3.1.2 配置Hive【storageServer1主机执行】 123456789101112# 切换root用户vim /etc/profile#HIVE_HOMEexport HIVE_HOME=/data/hive-3.1.2export PATH=$PATH:$HIVE_HOME/binsource /etc/profile# 上传pgsql JDBC驱动到/data/hive-3.1.2/libchown -R app:app /data/hive-3.1.2/lib 1mv $HIVE_HOME/lib/log4j-slf4j-impl-2.18.0.jar...
大数据集群搭建【Postgresql+keepalive】（四）
postgresql+repmgr+keepalived （16.0） ip6 postgresql 5432：用于接收客户端连接请求 ip7 postgresql 5432：用于接收客户端连接请求 前置准备工作（ip6/ip7 两台服务器执行相同操作）1234567891011mkdir -p /dataadduser apppasswd app# 设置密码如下yourpasswordchown -R app:app /datavim /etc/sudoersapp ALL = (root) NOPASSWD:/usr/bin/systemctl start postgresql.service,/usr/bin/systemctl restart postgresql.service,/usr/bin/systemctl stop postgresql.service,/usr/bin/systemctl reload postgresql.service,/usr/bin/systemctl status...
大数据集群搭建【Hadoop】（三）
前言此文档为hadoop对应服务部署组件说明，已经部署操作步骤服务器对应部署服务说明 ip 主机部署服务 服务端口 ip1 DataNode 9864：DataNode的Web UI端口，用于查看DataNode的状态和统计信息。 9866：DataNode的HTTP/HTTPS端口，用于提供DataNode的REST API服务。 9867：DataNode IPC服务，集群组件间通信 NodeManager 8040：用于Hadoop的ResourceManager通信。 8042：NodeManager的Web UI端口，用于查看NodeManager的状态和统计信息。 ip2 DataNode 9864：DataNode的Web UI端口，用于查看DataNode的状态和统计信息。 9866：DataNode的HTTP/HTTPS端口，用于提供DataNode的REST API服务。...
大数据集群搭建【Zookeeper】（二）
zookeeper （3.8.4） IP4 zookeeper 2181：客户端连接ZooKeeper集群的默认端口 2888：Follower节点通过这个端口从Leader节点同步数据，以保持集群数据的一致性。3888：ZooKeeper集群中的节点通过这个端口进行Leader选举。当集群中的Leader节点发生故障时，其他节点会通过这个端口进行选举，产生新的Leader IP5 zookeeper 2181：客户端连接ZooKeeper集群的默认端口 2888：Follower节点通过这个端口从Leader节点同步数据，以保持集群数据的一致性。3888：ZooKeeper集群中的节点通过这个端口进行Leader选举。当集群中的Leader节点发生故障时，其他节点会通过这个端口进行选举，产生新的Leader IP6 zookeeper 2181：客户端连接ZooKeeper集群的默认端口...
大数据集群搭建【前言】（一）
前言此文档是用于大数据集群环境搭建教程【自用】，包括项目 zookeeper Hadoop集群高可用 Hive集群 Hbase集群 scala + spark pgsql高可用【vip+keepalive】 dolphinscheduler任务调度系统 安装前介绍总计7台设备，3台计算服务层，4台存储服务层，因IP敏感此处IP使用ip1~ip7指代 硬件设备 序号 服务 ip CPU 内存（G） 磁盘（T） 操作系统 应用部署 4 数据仓库计算服务 ip1 32C64线程 64 2 redhat7.6 1、hadoop【DataNode、nodemanager】 2、dolphinscheduler【master、api、works】 3、spark【master】 5 数据仓库计算服务 ip2 32C64线程 64 2 redhat7.6 1、hadoop【DataNode、nodemanager】 2、dolphinscheduler【works】...