Merge pull request 'Move migration functions to services layer - port of gitea#29497' (#2546) from algernon/forgejo:gitea/port/29497 into forgejo
Reviewed-on: https://codeberg.org/forgejo/forgejo/pulls/2546 Reviewed-by: Earl Warren <earl-warren@noreply.codeberg.org>
This commit is contained in:
commit
21b1381e36
5 changed files with 290 additions and 271 deletions
|
@ -6,16 +6,13 @@ package repository
|
||||||
|
|
||||||
import (
|
import (
|
||||||
"context"
|
"context"
|
||||||
"errors"
|
|
||||||
"fmt"
|
"fmt"
|
||||||
"io"
|
"io"
|
||||||
"net/http"
|
|
||||||
"strings"
|
"strings"
|
||||||
"time"
|
"time"
|
||||||
|
|
||||||
"code.gitea.io/gitea/models/db"
|
"code.gitea.io/gitea/models/db"
|
||||||
git_model "code.gitea.io/gitea/models/git"
|
git_model "code.gitea.io/gitea/models/git"
|
||||||
"code.gitea.io/gitea/models/organization"
|
|
||||||
repo_model "code.gitea.io/gitea/models/repo"
|
repo_model "code.gitea.io/gitea/models/repo"
|
||||||
user_model "code.gitea.io/gitea/models/user"
|
user_model "code.gitea.io/gitea/models/user"
|
||||||
"code.gitea.io/gitea/modules/container"
|
"code.gitea.io/gitea/modules/container"
|
||||||
|
@ -23,10 +20,8 @@ import (
|
||||||
"code.gitea.io/gitea/modules/gitrepo"
|
"code.gitea.io/gitea/modules/gitrepo"
|
||||||
"code.gitea.io/gitea/modules/lfs"
|
"code.gitea.io/gitea/modules/lfs"
|
||||||
"code.gitea.io/gitea/modules/log"
|
"code.gitea.io/gitea/modules/log"
|
||||||
"code.gitea.io/gitea/modules/migration"
|
|
||||||
"code.gitea.io/gitea/modules/setting"
|
"code.gitea.io/gitea/modules/setting"
|
||||||
"code.gitea.io/gitea/modules/timeutil"
|
"code.gitea.io/gitea/modules/timeutil"
|
||||||
"code.gitea.io/gitea/modules/util"
|
|
||||||
)
|
)
|
||||||
|
|
||||||
/*
|
/*
|
||||||
|
@ -48,267 +43,6 @@ func WikiRemoteURL(ctx context.Context, remote string) string {
|
||||||
return ""
|
return ""
|
||||||
}
|
}
|
||||||
|
|
||||||
// MigrateRepositoryGitData starts migrating git related data after created migrating repository
|
|
||||||
func MigrateRepositoryGitData(ctx context.Context, u *user_model.User,
|
|
||||||
repo *repo_model.Repository, opts migration.MigrateOptions,
|
|
||||||
httpTransport *http.Transport,
|
|
||||||
) (*repo_model.Repository, error) {
|
|
||||||
repoPath := repo_model.RepoPath(u.Name, opts.RepoName)
|
|
||||||
|
|
||||||
if u.IsOrganization() {
|
|
||||||
t, err := organization.OrgFromUser(u).GetOwnerTeam(ctx)
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
repo.NumWatches = t.NumMembers
|
|
||||||
} else {
|
|
||||||
repo.NumWatches = 1
|
|
||||||
}
|
|
||||||
|
|
||||||
migrateTimeout := time.Duration(setting.Git.Timeout.Migrate) * time.Second
|
|
||||||
|
|
||||||
var err error
|
|
||||||
if err = util.RemoveAll(repoPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("Failed to remove %s: %w", repoPath, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if err = git.Clone(ctx, opts.CloneAddr, repoPath, git.CloneRepoOptions{
|
|
||||||
Mirror: true,
|
|
||||||
Quiet: true,
|
|
||||||
Timeout: migrateTimeout,
|
|
||||||
SkipTLSVerify: setting.Migrations.SkipTLSVerify,
|
|
||||||
}); err != nil {
|
|
||||||
if errors.Is(err, context.DeadlineExceeded) {
|
|
||||||
return repo, fmt.Errorf("Clone timed out. Consider increasing [git.timeout] MIGRATE in app.ini. Underlying Error: %w", err)
|
|
||||||
}
|
|
||||||
return repo, fmt.Errorf("Clone: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if err := git.WriteCommitGraph(ctx, repoPath); err != nil {
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
|
|
||||||
if opts.Wiki {
|
|
||||||
wikiPath := repo_model.WikiPath(u.Name, opts.RepoName)
|
|
||||||
wikiRemotePath := WikiRemoteURL(ctx, opts.CloneAddr)
|
|
||||||
if len(wikiRemotePath) > 0 {
|
|
||||||
if err := util.RemoveAll(wikiPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if err := git.Clone(ctx, wikiRemotePath, wikiPath, git.CloneRepoOptions{
|
|
||||||
Mirror: true,
|
|
||||||
Quiet: true,
|
|
||||||
Timeout: migrateTimeout,
|
|
||||||
SkipTLSVerify: setting.Migrations.SkipTLSVerify,
|
|
||||||
}); err != nil {
|
|
||||||
log.Warn("Clone wiki: %v", err)
|
|
||||||
if err := util.RemoveAll(wikiPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
// Figure out the branch of the wiki we just cloned. We assume
|
|
||||||
// that the default branch is to be used, and we'll use the same
|
|
||||||
// name as the source.
|
|
||||||
gitRepo, err := git.OpenRepository(ctx, wikiPath)
|
|
||||||
if err != nil {
|
|
||||||
log.Warn("Failed to open wiki repository during migration: %v", err)
|
|
||||||
if err := util.RemoveAll(wikiPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
|
||||||
}
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
defer gitRepo.Close()
|
|
||||||
|
|
||||||
branch, err := gitRepo.GetDefaultBranch()
|
|
||||||
if err != nil {
|
|
||||||
log.Warn("Failed to get the default branch of a migrated wiki repo: %v", err)
|
|
||||||
if err := util.RemoveAll(wikiPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
|
||||||
}
|
|
||||||
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
repo.WikiBranch = branch
|
|
||||||
|
|
||||||
if err := git.WriteCommitGraph(ctx, wikiPath); err != nil {
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if repo.OwnerID == u.ID {
|
|
||||||
repo.Owner = u
|
|
||||||
}
|
|
||||||
|
|
||||||
if err = CheckDaemonExportOK(ctx, repo); err != nil {
|
|
||||||
return repo, fmt.Errorf("checkDaemonExportOK: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if stdout, _, err := git.NewCommand(ctx, "update-server-info").
|
|
||||||
SetDescription(fmt.Sprintf("MigrateRepositoryGitData(git update-server-info): %s", repoPath)).
|
|
||||||
RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
|
|
||||||
log.Error("MigrateRepositoryGitData(git update-server-info) in %v: Stdout: %s\nError: %v", repo, stdout, err)
|
|
||||||
return repo, fmt.Errorf("error in MigrateRepositoryGitData(git update-server-info): %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
gitRepo, err := git.OpenRepository(ctx, repoPath)
|
|
||||||
if err != nil {
|
|
||||||
return repo, fmt.Errorf("OpenRepository: %w", err)
|
|
||||||
}
|
|
||||||
defer gitRepo.Close()
|
|
||||||
|
|
||||||
repo.IsEmpty, err = gitRepo.IsEmpty()
|
|
||||||
if err != nil {
|
|
||||||
return repo, fmt.Errorf("git.IsEmpty: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if !repo.IsEmpty {
|
|
||||||
if len(repo.DefaultBranch) == 0 {
|
|
||||||
// Try to get HEAD branch and set it as default branch.
|
|
||||||
headBranch, err := gitRepo.GetHEADBranch()
|
|
||||||
if err != nil {
|
|
||||||
return repo, fmt.Errorf("GetHEADBranch: %w", err)
|
|
||||||
}
|
|
||||||
if headBranch != nil {
|
|
||||||
repo.DefaultBranch = headBranch.Name
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if _, err := SyncRepoBranchesWithRepo(ctx, repo, gitRepo, u.ID); err != nil {
|
|
||||||
return repo, fmt.Errorf("SyncRepoBranchesWithRepo: %v", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if !opts.Releases {
|
|
||||||
// note: this will greatly improve release (tag) sync
|
|
||||||
// for pull-mirrors with many tags
|
|
||||||
repo.IsMirror = opts.Mirror
|
|
||||||
if err = SyncReleasesWithTags(ctx, repo, gitRepo); err != nil {
|
|
||||||
log.Error("Failed to synchronize tags to releases for repository: %v", err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if opts.LFS {
|
|
||||||
endpoint := lfs.DetermineEndpoint(opts.CloneAddr, opts.LFSEndpoint)
|
|
||||||
lfsClient := lfs.NewClient(endpoint, httpTransport)
|
|
||||||
if err = StoreMissingLfsObjectsInRepository(ctx, repo, gitRepo, lfsClient); err != nil {
|
|
||||||
log.Error("Failed to store missing LFS objects for repository: %v", err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
ctx, committer, err := db.TxContext(ctx)
|
|
||||||
if err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
defer committer.Close()
|
|
||||||
|
|
||||||
if opts.Mirror {
|
|
||||||
remoteAddress, err := util.SanitizeURL(opts.CloneAddr)
|
|
||||||
if err != nil {
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
mirrorModel := repo_model.Mirror{
|
|
||||||
RepoID: repo.ID,
|
|
||||||
Interval: setting.Mirror.DefaultInterval,
|
|
||||||
EnablePrune: true,
|
|
||||||
NextUpdateUnix: timeutil.TimeStampNow().AddDuration(setting.Mirror.DefaultInterval),
|
|
||||||
LFS: opts.LFS,
|
|
||||||
RemoteAddress: remoteAddress,
|
|
||||||
}
|
|
||||||
if opts.LFS {
|
|
||||||
mirrorModel.LFSEndpoint = opts.LFSEndpoint
|
|
||||||
}
|
|
||||||
|
|
||||||
if opts.MirrorInterval != "" {
|
|
||||||
parsedInterval, err := time.ParseDuration(opts.MirrorInterval)
|
|
||||||
if err != nil {
|
|
||||||
log.Error("Failed to set Interval: %v", err)
|
|
||||||
return repo, err
|
|
||||||
}
|
|
||||||
if parsedInterval == 0 {
|
|
||||||
mirrorModel.Interval = 0
|
|
||||||
mirrorModel.NextUpdateUnix = 0
|
|
||||||
} else if parsedInterval < setting.Mirror.MinInterval {
|
|
||||||
err := fmt.Errorf("interval %s is set below Minimum Interval of %s", parsedInterval, setting.Mirror.MinInterval)
|
|
||||||
log.Error("Interval: %s is too frequent", opts.MirrorInterval)
|
|
||||||
return repo, err
|
|
||||||
} else {
|
|
||||||
mirrorModel.Interval = parsedInterval
|
|
||||||
mirrorModel.NextUpdateUnix = timeutil.TimeStampNow().AddDuration(parsedInterval)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
if err = repo_model.InsertMirror(ctx, &mirrorModel); err != nil {
|
|
||||||
return repo, fmt.Errorf("InsertOne: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
repo.IsMirror = true
|
|
||||||
if err = UpdateRepository(ctx, repo, false); err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
|
|
||||||
// this is necessary for sync local tags from remote
|
|
||||||
configName := fmt.Sprintf("remote.%s.fetch", mirrorModel.GetRemoteName())
|
|
||||||
if stdout, _, err := git.NewCommand(ctx, "config").
|
|
||||||
AddOptionValues("--add", configName, `+refs/tags/*:refs/tags/*`).
|
|
||||||
RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
|
|
||||||
log.Error("MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*) in %v: Stdout: %s\nError: %v", repo, stdout, err)
|
|
||||||
return repo, fmt.Errorf("error in MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*): %w", err)
|
|
||||||
}
|
|
||||||
} else {
|
|
||||||
if err = UpdateRepoSize(ctx, repo); err != nil {
|
|
||||||
log.Error("Failed to update size for repository: %v", err)
|
|
||||||
}
|
|
||||||
if repo, err = CleanUpMigrateInfo(ctx, repo); err != nil {
|
|
||||||
return nil, err
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return repo, committer.Commit()
|
|
||||||
}
|
|
||||||
|
|
||||||
// cleanUpMigrateGitConfig removes mirror info which prevents "push --all".
|
|
||||||
// This also removes possible user credentials.
|
|
||||||
func cleanUpMigrateGitConfig(ctx context.Context, repoPath string) error {
|
|
||||||
cmd := git.NewCommand(ctx, "remote", "rm", "origin")
|
|
||||||
// if the origin does not exist
|
|
||||||
_, stderr, err := cmd.RunStdString(&git.RunOpts{
|
|
||||||
Dir: repoPath,
|
|
||||||
})
|
|
||||||
if err != nil && !strings.HasPrefix(stderr, "fatal: No such remote") {
|
|
||||||
return err
|
|
||||||
}
|
|
||||||
return nil
|
|
||||||
}
|
|
||||||
|
|
||||||
// CleanUpMigrateInfo finishes migrating repository and/or wiki with things that don't need to be done for mirrors.
|
|
||||||
func CleanUpMigrateInfo(ctx context.Context, repo *repo_model.Repository) (*repo_model.Repository, error) {
|
|
||||||
repoPath := repo.RepoPath()
|
|
||||||
if err := CreateDelegateHooks(repoPath); err != nil {
|
|
||||||
return repo, fmt.Errorf("createDelegateHooks: %w", err)
|
|
||||||
}
|
|
||||||
if repo.HasWiki() {
|
|
||||||
if err := CreateDelegateHooks(repo.WikiPath()); err != nil {
|
|
||||||
return repo, fmt.Errorf("createDelegateHooks.(wiki): %w", err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
_, _, err := git.NewCommand(ctx, "remote", "rm", "origin").RunStdString(&git.RunOpts{Dir: repoPath})
|
|
||||||
if err != nil && !strings.HasPrefix(err.Error(), "exit status 128 - fatal: No such remote ") {
|
|
||||||
return repo, fmt.Errorf("CleanUpMigrateInfo: %w", err)
|
|
||||||
}
|
|
||||||
|
|
||||||
if repo.HasWiki() {
|
|
||||||
if err := cleanUpMigrateGitConfig(ctx, repo.WikiPath()); err != nil {
|
|
||||||
return repo, fmt.Errorf("cleanUpMigrateGitConfig (wiki): %w", err)
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
return repo, UpdateRepository(ctx, repo, false)
|
|
||||||
}
|
|
||||||
|
|
||||||
// SyncRepoTags synchronizes releases table with repository tags
|
// SyncRepoTags synchronizes releases table with repository tags
|
||||||
func SyncRepoTags(ctx context.Context, repoID int64) error {
|
func SyncRepoTags(ctx context.Context, repoID int64) error {
|
||||||
repo, err := repo_model.GetRepositoryByID(ctx, repoID)
|
repo, err := repo_model.GetRepositoryByID(ctx, repoID)
|
||||||
|
|
|
@ -25,7 +25,6 @@ import (
|
||||||
"code.gitea.io/gitea/modules/indexer/stats"
|
"code.gitea.io/gitea/modules/indexer/stats"
|
||||||
"code.gitea.io/gitea/modules/lfs"
|
"code.gitea.io/gitea/modules/lfs"
|
||||||
"code.gitea.io/gitea/modules/log"
|
"code.gitea.io/gitea/modules/log"
|
||||||
repo_module "code.gitea.io/gitea/modules/repository"
|
|
||||||
"code.gitea.io/gitea/modules/setting"
|
"code.gitea.io/gitea/modules/setting"
|
||||||
"code.gitea.io/gitea/modules/structs"
|
"code.gitea.io/gitea/modules/structs"
|
||||||
"code.gitea.io/gitea/modules/util"
|
"code.gitea.io/gitea/modules/util"
|
||||||
|
@ -715,7 +714,7 @@ func SettingsPost(ctx *context.Context) {
|
||||||
}
|
}
|
||||||
repo.IsMirror = false
|
repo.IsMirror = false
|
||||||
|
|
||||||
if _, err := repo_module.CleanUpMigrateInfo(ctx, repo); err != nil {
|
if _, err := repo_service.CleanUpMigrateInfo(ctx, repo); err != nil {
|
||||||
ctx.ServerError("CleanUpMigrateInfo", err)
|
ctx.ServerError("CleanUpMigrateInfo", err)
|
||||||
return
|
return
|
||||||
} else if err = repo_model.DeleteMirrorByRepoID(ctx, ctx.Repo.Repository.ID); err != nil {
|
} else if err = repo_model.DeleteMirrorByRepoID(ctx, ctx.Repo.Repository.ID); err != nil {
|
||||||
|
|
|
@ -120,7 +120,7 @@ func (g *GiteaLocalUploader) CreateRepo(repo *base.Repository, opts base.Migrate
|
||||||
r.DefaultBranch = repo.DefaultBranch
|
r.DefaultBranch = repo.DefaultBranch
|
||||||
r.Description = repo.Description
|
r.Description = repo.Description
|
||||||
|
|
||||||
r, err = repo_module.MigrateRepositoryGitData(g.ctx, owner, r, base.MigrateOptions{
|
r, err = repo_service.MigrateRepositoryGitData(g.ctx, owner, r, base.MigrateOptions{
|
||||||
RepoName: g.repoName,
|
RepoName: g.repoName,
|
||||||
Description: repo.Description,
|
Description: repo.Description,
|
||||||
OriginalURL: repo.OriginalURL,
|
OriginalURL: repo.OriginalURL,
|
||||||
|
|
287
services/repository/migrate.go
Normal file
287
services/repository/migrate.go
Normal file
|
@ -0,0 +1,287 @@
|
||||||
|
// Copyright 2024 The Gitea Authors. All rights reserved.
|
||||||
|
// SPDX-License-Identifier: MIT
|
||||||
|
|
||||||
|
package repository
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"errors"
|
||||||
|
"fmt"
|
||||||
|
"net/http"
|
||||||
|
"strings"
|
||||||
|
"time"
|
||||||
|
|
||||||
|
"code.gitea.io/gitea/models/db"
|
||||||
|
"code.gitea.io/gitea/models/organization"
|
||||||
|
repo_model "code.gitea.io/gitea/models/repo"
|
||||||
|
user_model "code.gitea.io/gitea/models/user"
|
||||||
|
"code.gitea.io/gitea/modules/git"
|
||||||
|
"code.gitea.io/gitea/modules/lfs"
|
||||||
|
"code.gitea.io/gitea/modules/log"
|
||||||
|
"code.gitea.io/gitea/modules/migration"
|
||||||
|
repo_module "code.gitea.io/gitea/modules/repository"
|
||||||
|
"code.gitea.io/gitea/modules/setting"
|
||||||
|
"code.gitea.io/gitea/modules/timeutil"
|
||||||
|
"code.gitea.io/gitea/modules/util"
|
||||||
|
)
|
||||||
|
|
||||||
|
// MigrateRepositoryGitData starts migrating git related data after created migrating repository
|
||||||
|
func MigrateRepositoryGitData(ctx context.Context, u *user_model.User,
|
||||||
|
repo *repo_model.Repository, opts migration.MigrateOptions,
|
||||||
|
httpTransport *http.Transport,
|
||||||
|
) (*repo_model.Repository, error) {
|
||||||
|
repoPath := repo_model.RepoPath(u.Name, opts.RepoName)
|
||||||
|
|
||||||
|
if u.IsOrganization() {
|
||||||
|
t, err := organization.OrgFromUser(u).GetOwnerTeam(ctx)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
repo.NumWatches = t.NumMembers
|
||||||
|
} else {
|
||||||
|
repo.NumWatches = 1
|
||||||
|
}
|
||||||
|
|
||||||
|
migrateTimeout := time.Duration(setting.Git.Timeout.Migrate) * time.Second
|
||||||
|
|
||||||
|
var err error
|
||||||
|
if err = util.RemoveAll(repoPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("Failed to remove %s: %w", repoPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = git.Clone(ctx, opts.CloneAddr, repoPath, git.CloneRepoOptions{
|
||||||
|
Mirror: true,
|
||||||
|
Quiet: true,
|
||||||
|
Timeout: migrateTimeout,
|
||||||
|
SkipTLSVerify: setting.Migrations.SkipTLSVerify,
|
||||||
|
}); err != nil {
|
||||||
|
if errors.Is(err, context.DeadlineExceeded) {
|
||||||
|
return repo, fmt.Errorf("Clone timed out. Consider increasing [git.timeout] MIGRATE in app.ini. Underlying Error: %w", err)
|
||||||
|
}
|
||||||
|
return repo, fmt.Errorf("Clone: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := git.WriteCommitGraph(ctx, repoPath); err != nil {
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
|
||||||
|
if opts.Wiki {
|
||||||
|
wikiPath := repo_model.WikiPath(u.Name, opts.RepoName)
|
||||||
|
wikiRemotePath := repo_module.WikiRemoteURL(ctx, opts.CloneAddr)
|
||||||
|
if len(wikiRemotePath) > 0 {
|
||||||
|
if err := util.RemoveAll(wikiPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := git.Clone(ctx, wikiRemotePath, wikiPath, git.CloneRepoOptions{
|
||||||
|
Mirror: true,
|
||||||
|
Quiet: true,
|
||||||
|
Timeout: migrateTimeout,
|
||||||
|
SkipTLSVerify: setting.Migrations.SkipTLSVerify,
|
||||||
|
}); err != nil {
|
||||||
|
log.Warn("Clone wiki: %v", err)
|
||||||
|
if err := util.RemoveAll(wikiPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
// Figure out the branch of the wiki we just cloned. We assume
|
||||||
|
// that the default branch is to be used, and we'll use the same
|
||||||
|
// name as the source.
|
||||||
|
gitRepo, err := git.OpenRepository(ctx, wikiPath)
|
||||||
|
if err != nil {
|
||||||
|
log.Warn("Failed to open wiki repository during migration: %v", err)
|
||||||
|
if err := util.RemoveAll(wikiPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
||||||
|
}
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
defer gitRepo.Close()
|
||||||
|
|
||||||
|
branch, err := gitRepo.GetDefaultBranch()
|
||||||
|
if err != nil {
|
||||||
|
log.Warn("Failed to get the default branch of a migrated wiki repo: %v", err)
|
||||||
|
if err := util.RemoveAll(wikiPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("Failed to remove %s: %w", wikiPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
repo.WikiBranch = branch
|
||||||
|
|
||||||
|
if err := git.WriteCommitGraph(ctx, wikiPath); err != nil {
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if repo.OwnerID == u.ID {
|
||||||
|
repo.Owner = u
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = repo_module.CheckDaemonExportOK(ctx, repo); err != nil {
|
||||||
|
return repo, fmt.Errorf("checkDaemonExportOK: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if stdout, _, err := git.NewCommand(ctx, "update-server-info").
|
||||||
|
SetDescription(fmt.Sprintf("MigrateRepositoryGitData(git update-server-info): %s", repoPath)).
|
||||||
|
RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
|
||||||
|
log.Error("MigrateRepositoryGitData(git update-server-info) in %v: Stdout: %s\nError: %v", repo, stdout, err)
|
||||||
|
return repo, fmt.Errorf("error in MigrateRepositoryGitData(git update-server-info): %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
gitRepo, err := git.OpenRepository(ctx, repoPath)
|
||||||
|
if err != nil {
|
||||||
|
return repo, fmt.Errorf("OpenRepository: %w", err)
|
||||||
|
}
|
||||||
|
defer gitRepo.Close()
|
||||||
|
|
||||||
|
repo.IsEmpty, err = gitRepo.IsEmpty()
|
||||||
|
if err != nil {
|
||||||
|
return repo, fmt.Errorf("git.IsEmpty: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !repo.IsEmpty {
|
||||||
|
if len(repo.DefaultBranch) == 0 {
|
||||||
|
// Try to get HEAD branch and set it as default branch.
|
||||||
|
headBranch, err := gitRepo.GetHEADBranch()
|
||||||
|
if err != nil {
|
||||||
|
return repo, fmt.Errorf("GetHEADBranch: %w", err)
|
||||||
|
}
|
||||||
|
if headBranch != nil {
|
||||||
|
repo.DefaultBranch = headBranch.Name
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if _, err := repo_module.SyncRepoBranchesWithRepo(ctx, repo, gitRepo, u.ID); err != nil {
|
||||||
|
return repo, fmt.Errorf("SyncRepoBranchesWithRepo: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if !opts.Releases {
|
||||||
|
// note: this will greatly improve release (tag) sync
|
||||||
|
// for pull-mirrors with many tags
|
||||||
|
repo.IsMirror = opts.Mirror
|
||||||
|
if err = repo_module.SyncReleasesWithTags(ctx, repo, gitRepo); err != nil {
|
||||||
|
log.Error("Failed to synchronize tags to releases for repository: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if opts.LFS {
|
||||||
|
endpoint := lfs.DetermineEndpoint(opts.CloneAddr, opts.LFSEndpoint)
|
||||||
|
lfsClient := lfs.NewClient(endpoint, httpTransport)
|
||||||
|
if err = repo_module.StoreMissingLfsObjectsInRepository(ctx, repo, gitRepo, lfsClient); err != nil {
|
||||||
|
log.Error("Failed to store missing LFS objects for repository: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
ctx, committer, err := db.TxContext(ctx)
|
||||||
|
if err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
defer committer.Close()
|
||||||
|
|
||||||
|
if opts.Mirror {
|
||||||
|
remoteAddress, err := util.SanitizeURL(opts.CloneAddr)
|
||||||
|
if err != nil {
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
mirrorModel := repo_model.Mirror{
|
||||||
|
RepoID: repo.ID,
|
||||||
|
Interval: setting.Mirror.DefaultInterval,
|
||||||
|
EnablePrune: true,
|
||||||
|
NextUpdateUnix: timeutil.TimeStampNow().AddDuration(setting.Mirror.DefaultInterval),
|
||||||
|
LFS: opts.LFS,
|
||||||
|
RemoteAddress: remoteAddress,
|
||||||
|
}
|
||||||
|
if opts.LFS {
|
||||||
|
mirrorModel.LFSEndpoint = opts.LFSEndpoint
|
||||||
|
}
|
||||||
|
|
||||||
|
if opts.MirrorInterval != "" {
|
||||||
|
parsedInterval, err := time.ParseDuration(opts.MirrorInterval)
|
||||||
|
if err != nil {
|
||||||
|
log.Error("Failed to set Interval: %v", err)
|
||||||
|
return repo, err
|
||||||
|
}
|
||||||
|
if parsedInterval == 0 {
|
||||||
|
mirrorModel.Interval = 0
|
||||||
|
mirrorModel.NextUpdateUnix = 0
|
||||||
|
} else if parsedInterval < setting.Mirror.MinInterval {
|
||||||
|
err := fmt.Errorf("interval %s is set below Minimum Interval of %s", parsedInterval, setting.Mirror.MinInterval)
|
||||||
|
log.Error("Interval: %s is too frequent", opts.MirrorInterval)
|
||||||
|
return repo, err
|
||||||
|
} else {
|
||||||
|
mirrorModel.Interval = parsedInterval
|
||||||
|
mirrorModel.NextUpdateUnix = timeutil.TimeStampNow().AddDuration(parsedInterval)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if err = repo_model.InsertMirror(ctx, &mirrorModel); err != nil {
|
||||||
|
return repo, fmt.Errorf("InsertOne: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
repo.IsMirror = true
|
||||||
|
if err = UpdateRepository(ctx, repo, false); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
|
||||||
|
// this is necessary for sync local tags from remote
|
||||||
|
configName := fmt.Sprintf("remote.%s.fetch", mirrorModel.GetRemoteName())
|
||||||
|
if stdout, _, err := git.NewCommand(ctx, "config").
|
||||||
|
AddOptionValues("--add", configName, `+refs/tags/*:refs/tags/*`).
|
||||||
|
RunStdString(&git.RunOpts{Dir: repoPath}); err != nil {
|
||||||
|
log.Error("MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*) in %v: Stdout: %s\nError: %v", repo, stdout, err)
|
||||||
|
return repo, fmt.Errorf("error in MigrateRepositoryGitData(git config --add <remote> +refs/tags/*:refs/tags/*): %w", err)
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if err = repo_module.UpdateRepoSize(ctx, repo); err != nil {
|
||||||
|
log.Error("Failed to update size for repository: %v", err)
|
||||||
|
}
|
||||||
|
if repo, err = CleanUpMigrateInfo(ctx, repo); err != nil {
|
||||||
|
return nil, err
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return repo, committer.Commit()
|
||||||
|
}
|
||||||
|
|
||||||
|
// cleanUpMigrateGitConfig removes mirror info which prevents "push --all".
|
||||||
|
// This also removes possible user credentials.
|
||||||
|
func cleanUpMigrateGitConfig(ctx context.Context, repoPath string) error {
|
||||||
|
cmd := git.NewCommand(ctx, "remote", "rm", "origin")
|
||||||
|
// if the origin does not exist
|
||||||
|
_, stderr, err := cmd.RunStdString(&git.RunOpts{
|
||||||
|
Dir: repoPath,
|
||||||
|
})
|
||||||
|
if err != nil && !strings.HasPrefix(stderr, "fatal: No such remote") {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// CleanUpMigrateInfo finishes migrating repository and/or wiki with things that don't need to be done for mirrors.
|
||||||
|
func CleanUpMigrateInfo(ctx context.Context, repo *repo_model.Repository) (*repo_model.Repository, error) {
|
||||||
|
repoPath := repo.RepoPath()
|
||||||
|
if err := repo_module.CreateDelegateHooks(repoPath); err != nil {
|
||||||
|
return repo, fmt.Errorf("createDelegateHooks: %w", err)
|
||||||
|
}
|
||||||
|
if repo.HasWiki() {
|
||||||
|
if err := repo_module.CreateDelegateHooks(repo.WikiPath()); err != nil {
|
||||||
|
return repo, fmt.Errorf("createDelegateHooks.(wiki): %w", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
_, _, err := git.NewCommand(ctx, "remote", "rm", "origin").RunStdString(&git.RunOpts{Dir: repoPath})
|
||||||
|
if err != nil && !strings.HasPrefix(err.Error(), "exit status 128 - fatal: No such remote ") {
|
||||||
|
return repo, fmt.Errorf("CleanUpMigrateInfo: %w", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if repo.HasWiki() {
|
||||||
|
if err := cleanUpMigrateGitConfig(ctx, repo.WikiPath()); err != nil {
|
||||||
|
return repo, fmt.Errorf("cleanUpMigrateGitConfig (wiki): %w", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return repo, UpdateRepository(ctx, repo, false)
|
||||||
|
}
|
|
@ -14,7 +14,6 @@ import (
|
||||||
"code.gitea.io/gitea/modules/git"
|
"code.gitea.io/gitea/modules/git"
|
||||||
"code.gitea.io/gitea/modules/gitrepo"
|
"code.gitea.io/gitea/modules/gitrepo"
|
||||||
"code.gitea.io/gitea/modules/migration"
|
"code.gitea.io/gitea/modules/migration"
|
||||||
"code.gitea.io/gitea/modules/repository"
|
|
||||||
mirror_service "code.gitea.io/gitea/services/mirror"
|
mirror_service "code.gitea.io/gitea/services/mirror"
|
||||||
release_service "code.gitea.io/gitea/services/release"
|
release_service "code.gitea.io/gitea/services/release"
|
||||||
repo_service "code.gitea.io/gitea/services/repository"
|
repo_service "code.gitea.io/gitea/services/repository"
|
||||||
|
@ -52,7 +51,7 @@ func TestMirrorPull(t *testing.T) {
|
||||||
|
|
||||||
ctx := context.Background()
|
ctx := context.Background()
|
||||||
|
|
||||||
mirror, err := repository.MigrateRepositoryGitData(ctx, user, mirrorRepo, opts, nil)
|
mirror, err := repo_service.MigrateRepositoryGitData(ctx, user, mirrorRepo, opts, nil)
|
||||||
assert.NoError(t, err)
|
assert.NoError(t, err)
|
||||||
|
|
||||||
gitRepo, err := gitrepo.OpenRepository(git.DefaultContext, repo)
|
gitRepo, err := gitrepo.OpenRepository(git.DefaultContext, repo)
|
||||||
|
|
Loading…
Add table
Reference in a new issue