AWS 本地开发环境配置

概述

在本地开发环境中配置 AWS 服务可以帮助开发者在部署到云端之前进行测试和调试。本文将介绍如何配置本地 AWS 开发环境，包括虚拟环境配置、Lambda 函数本地运行以及 AWS CLI 的基本使用。

虚拟环境配置

为了隔离项目依赖并保持环境整洁，建议使用虚拟环境来管理 Python 依赖。

venv (推荐)

# 创建虚拟环境
python3 -m venv aws-env

# 激活虚拟环境 (Linux/macOS)
source aws-env/bin/activate

# 激活虚拟环境 (Windows)
aws-env\Scripts\activate

# 安装 AWS SDK
pip install boto3 awscli

# 退出虚拟环境
deactivate

Conda

# 创建 conda 环境
conda create -n aws-env python=3.9

# 激活环境
conda activate aws-env

# 安装 AWS SDK
conda install -c conda-forge boto3
pip install awscli

# 退出环境
conda deactivate

Pipenv

# 安装 pipenv
pip install pipenv

# 创建虚拟环境并安装依赖
pipenv install boto3 awscli

# 激活虚拟环境
pipenv shell

# 退出虚拟环境
exit

本地 AWS 服务

AWS Lambda 本地开发

使用 AWS SAM (Serverless Application Model) 或 LocalStack 可以在本地运行 Lambda 函数。

方法一：使用 AWS SAM

# 安装 AWS SAM CLI
pip install aws-sam-cli

# 初始化 SAM 项目
sam init

# 本地运行 Lambda 函数
sam local invoke HelloWorldFunction --event event.json

# 本地启动 API Gateway
sam local start-api

示例 Lambda 函数 (Python):

# app.py
import json

def lambda_handler(event, context):
    """
    AWS Lambda 函数处理程序
    """
    # 从 event 中获取参数
    name = event.get('name', 'World')
    
    # 处理业务逻辑
    message = f"Hello, {name}! 这是本地运行的 Lambda 函数。"
    
    # 返回响应
    return {
        'statusCode': 200,
        'headers': {
            'Content-Type': 'application/json'
        },
        'body': json.dumps({
            'message': message,
            'timestamp': event.get('timestamp')
        })
    }

SAM 模板示例 (template.yaml):

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31

Resources:
  HelloWorldFunction:
    Type: AWS::Serverless::Function
    Properties:
      Handler: app.lambda_handler
      Runtime: python3.9
      CodeUri: ./
      Events:
        HelloWorld:
          Type: Api
          Properties:
            Path: /hello
            Method: get

方法二：使用 LocalStack

LocalStack 提供了一个完整的本地 AWS 云栈，支持多种 AWS 服务。

# 使用 Docker 运行 LocalStack
docker run -d -p 4566:4566 -p 4571:4571 \
  --name localstack \
  localstack/localstack

# 配置 AWS CLI 使用 LocalStack
export AWS_ENDPOINT_URL=http://localhost:4566
export AWS_ACCESS_KEY_ID=test
export AWS_SECRET_ACCESS_KEY=test
export AWS_DEFAULT_REGION=us-east-1

# 创建本地 S3 存储桶
aws --endpoint-url=http://localhost:4566 s3 mb s3://my-local-bucket

# 列出本地存储桶
aws --endpoint-url=http://localhost:4566 s3 ls

AWS CLI 基本用法

AWS CLI 是管理 AWS 服务的命令行工具。以下是常用的基本命令。

安装和配置

# 安装 AWS CLI (Linux)
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install

# 配置 AWS CLI
aws configure

# 输入以下信息：
# AWS Access Key ID: [您的访问密钥]
# AWS Secret Access Key: [您的秘密密钥]
# Default region name: us-east-1
# Default output format: json

S3 操作

# 创建存储桶
aws s3 mb s3://my-bucket-name

# 列出所有存储桶
aws s3 ls

# 上传文件
aws s3 cp local-file.txt s3://my-bucket-name/

# 下载文件
aws s3 cp s3://my-bucket-name/file.txt ./local-file.txt

# 同步目录
aws s3 sync ./local-folder s3://my-bucket-name/folder/

# 删除文件
aws s3 rm s3://my-bucket-name/file.txt

# 删除存储桶（需先清空）
aws s3 rb s3://my-bucket-name --force

Lambda 操作

# 创建 Lambda 函数
aws lambda create-function \
  --function-name my-function \
  --runtime python3.9 \
  --role arn:aws:iam::123456789012:role/lambda-role \
  --handler app.lambda_handler \
  --zip-file fileb://function.zip

# 列出所有 Lambda 函数
aws lambda list-functions

# 调用 Lambda 函数
aws lambda invoke \
  --function-name my-function \
  --payload '{"name":"测试"}' \
  response.json

# 更新函数代码
aws lambda update-function-code \
  --function-name my-function \
  --zip-file fileb://function.zip

# 删除 Lambda 函数
aws lambda delete-function --function-name my-function

EC2 操作

# 列出所有实例
aws ec2 describe-instances

# 启动实例
aws ec2 run-instances \
  --image-id ami-12345678 \
  --instance-type t2.micro \
  --key-name my-key-pair

# 停止实例
aws ec2 stop-instances --instance-ids i-1234567890abcdef0

# 终止实例
aws ec2 terminate-instances --instance-ids i-1234567890abcdef0

IAM 操作

# 列出所有用户
aws iam list-users

# 创建 IAM 用户
aws iam create-user --user-name my-user

# 创建访问密钥
aws iam create-access-key --user-name my-user

# 附加策略到用户
aws iam attach-user-policy \
  --user-name my-user \
  --policy-arn arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess

使用 Python boto3 SDK

boto3 是 AWS 的官方 Python SDK，可以在本地开发环境中使用。

基本示例

import boto3
import json

# 创建 S3 客户端
s3_client = boto3.client('s3')

# 列出所有存储桶
def list_buckets():
    response = s3_client.list_buckets()
    print("存储桶列表:")
    for bucket in response['Buckets']:
        print(f"  - {bucket['Name']} (创建于: {bucket['CreationDate']})")

# 上传文件到 S3
def upload_file(bucket_name, local_file, s3_key):
    try:
        s3_client.upload_file(local_file, bucket_name, s3_key)
        print(f"文件 {local_file} 已上传到 s3://{bucket_name}/{s3_key}")
    except Exception as e:
        print(f"上传失败: {e}")

# 下载文件从 S3
def download_file(bucket_name, s3_key, local_file):
    try:
        s3_client.download_file(bucket_name, s3_key, local_file)
        print(f"文件已下载到 {local_file}")
    except Exception as e:
        print(f"下载失败: {e}")

# Lambda 客户端示例
lambda_client = boto3.client('lambda')

def invoke_lambda(function_name, payload):
    response = lambda_client.invoke(
        FunctionName=function_name,
        InvocationType='RequestResponse',
        Payload=json.dumps(payload)
    )
    result = json.loads(response['Payload'].read())
    return result

# 使用示例
if __name__ == "__main__":
    # 列出存储桶
    list_buckets()
    
    # 上传文件
    # upload_file('my-bucket', 'local-file.txt', 'remote-file.txt')
    
    # 调用 Lambda
    # result = invoke_lambda('my-function', {'name': '测试'})
    # print(result)

使用本地端点（LocalStack）

import boto3

# 配置使用 LocalStack
s3_client = boto3.client(
    's3',
    endpoint_url='http://localhost:4566',
    aws_access_key_id='test',
    aws_secret_access_key='test',
    region_name='us-east-1'
)

# 现在可以像使用真实 AWS 一样使用这些客户端
buckets = s3_client.list_buckets()
print(buckets)

最佳实践

1. 使用环境变量管理配置

   export AWS_PROFILE=my-profile
   export AWS_REGION=us-east-1

2. 使用配置文件

   # ~/.aws/config
   [profile dev]
   region = us-east-1
   output = json
   
   [profile prod]
   region = us-west-2
   output = table

3. 使用 IAM 角色而非硬编码密钥

   • 在 EC2 实例上使用 IAM 角色
   • 在 Lambda 中使用执行角色

4. 本地测试时使用模拟服务

   • 使用 LocalStack 或 SAM 进行本地测试
   • 避免在本地直接调用生产环境

故障排查

常见问题

问题：AWS CLI 命令返回 "Unable to locate credentials"

# 解决方案：检查凭证配置
aws configure list

# 或使用环境变量
export AWS_ACCESS_KEY_ID=your-key
export AWS_SECRET_ACCESS_KEY=your-secret

问题：Lambda 本地运行失败

# 检查 Docker 是否运行（SAM 需要 Docker）
docker ps

# 检查 SAM 版本
sam --version

# 查看详细日志
sam local invoke --debug

总结

配置本地 AWS 开发环境可以大大提高开发效率，允许开发者在部署到云端之前进行充分的测试。通过使用虚拟环境、AWS SAM、LocalStack 和 AWS CLI，您可以构建一个完整的本地开发工作流。

相关资源

• AWS CLI 官方文档
• AWS SAM 文档
• LocalStack 文档
• boto3 文档